Multimodale Interaktion: Die Zukunft?

18. März 2005

Wie kann das menschliche Arbeitsgedächtnis optimal für die Mensch-Maschine-Interaktion genutzt werden? Dieser Frage ging ein Forschungsteam aus den USA nach. Sie präsentieren einen neuen Ansatz, in welchem Informationen auf die verschiedenen Sinnesmodalitäten so aufgeteilt werden sollen, dass die menschliche Informationsarbeitungskapazität optimal ausgenutzt werden kann.

Modell des Arbeitsgedächtnisses

Grundlage des Ansatzes ist ein Modell des Arbeitsgedächtnisses, welches funktionell trennbare Komponenten postuliert. Jede dieser Komponenten ist wiederum auf die Verarbeitung von Informationen einer bestimmten Sinnesmodalität spezialisiert (z.B. der „auditory loop“ für akustische Informationen). Dabei können die Komponenten jedoch parallel aktiv sein, ohne sich gegenseitig die limitierten Verarbeitungsressourcen des Arbeitsgedächtnisses streitig zu machen. In diesem Modell entspricht die vollständige Kapazität des Arbeitsgedächtnisses ungefähr der Summe der Kapazitäten der einzelnen Komponenten. Neueste neurowissenschaftliche Erkenntnisse unterstützen verstärkt dieses Modell des Arbeitsgedächtnisses.

Multimodale Interaktion

Wenn nun eine Komponente überfüllt sein sollte, so könnten theoretisch andere – noch nicht ausgelastete – Komponenten genutzt werden, um parallel mehr Informationen zu verarbeiten. Durch die gleichzeitige Inanspruchnahme verschiedener Komponenten des Arbeitsgedächtnisses könnte somit die Verarbeitungskapazität optimiert werden. Dafür ist es aber notwendig, die entsprechenden Informationen über eine andere Sinnesmodalität zu vermitteln. Dies versteht das Forscherteam als multimodale Interaktion und sieht darin ein großes Potenzial für neue Mensch-Maschine -Schnittstellen, die sich an die Arbeitsbelastung des Benutzers anpassen können. Neben der schon erwähnten bestmöglichen Kapazitätsausnutzung, lässt sich durch multimodale Interaktion auch die Reaktionsfähigkeit von Benutzern erheblich erhöhen und eine umfassendere Verarbeitungstiefe der Informationen erreichen.

Neurophysiological Interactive Computing Systems

Um aber überhaupt die Auslastung des Arbeitsgedächtnisses eines Benutzers feststellen zu können, muss zuerst die Gehirnaktivität und der damit einhergehende kognitive Zustand gemessen werden. Dies sollen die bildgebenden Verfahren aus der Gehirnforschung bewerkstelligen. Ausgehend von Daten über die Gehirnaktivität sollen so genannte „neurophysiological interactive computing systems“ (NICS) die Informationen entsprechend auf die verschiedenen Sinnesmodalitäten aufteilen. Hierfür sind jedoch explizite Regeln für die Gestaltung der multimodalen Interaktion vonnöten.

Designprinzipien

Um das Potenzial ausschöpfen zu können muss zunächst geklärt werden, welche Informationstypen sich besonders für welche Sinnesmodalität eignen. Außerdem müssen auch Transformationsprinzipien erarbeitet werden, die festlegen, wie sich eine Information von einer Sinnesmodalität in eine andere Modalität ohne Informationsverlust überführen lässt.

In ihrer Arbeit haben sich die Wissenschaftler hauptsächlich darum bemüht, aus vielfältigen Forschungsquellen solche Designprinzipien abzuleiten. Dabei werden sowohl die Potenziale, die sich mittels multimodaler Interaktion realisieren lassen, wie auch die verzerrenden Effekte – intermodale Illusionen – berücksichtigt.

Interessierte finden in dem Beitrag eine sehr übersichtliche Matrix über erste Designregeln für multimodale Interaktion.

Originaltitel: A Paradigm Shift in Interactive Computing: Deriving Multimodal Design Principles from Behavioural and Neurological Foundations
Autor(en): Stanny, K.; Samman, S.; Reeves, L.; Hale, K.; Buff, W.; Bowers, C.; Goldiez, B.; Nicholson, D. & Lackey, S.
Journal: International Journal of Human-Computer Interaction
Ausgabe: 17(2)
Seiten: 229 – 257
Diesen Beitrag bookmarken bei:
Bookmark bei: Yigg Bookmark bei: Webnews Bookmark bei: Technorati Bookmark bei: Mr. Wong Bookmark bei: Linkarena Bookmark bei: Del.icio.us Bookmark bei: Google Bookmark bei: Favoriten Bookmark bei: Facebook

Autor des Beitrags