Multimodale Interaktion: Die Zukunft?

18. MĂ€rz 2005

Wie kann das menschliche ArbeitsgedĂ€chtnis optimal fĂŒr die Mensch-Maschine-Interaktion genutzt werden? Dieser Frage ging ein Forschungsteam aus den USA nach. Sie prĂ€sentieren einen neuen Ansatz, in welchem Informationen auf die verschiedenen SinnesmodalitĂ€ten so aufgeteilt werden sollen, dass die menschliche InformationsarbeitungskapazitĂ€t optimal ausgenutzt werden kann.

Modell des ArbeitsgedÀchtnisses

Grundlage des Ansatzes ist ein Modell des ArbeitsgedĂ€chtnisses, welches funktionell trennbare Komponenten postuliert. Jede dieser Komponenten ist wiederum auf die Verarbeitung von Informationen einer bestimmten SinnesmodalitĂ€t spezialisiert (z.B. der „auditory loop“ fĂŒr akustische Informationen). Dabei können die Komponenten jedoch parallel aktiv sein, ohne sich gegenseitig die limitierten Verarbeitungsressourcen des ArbeitsgedĂ€chtnisses streitig zu machen. In diesem Modell entspricht die vollstĂ€ndige KapazitĂ€t des ArbeitsgedĂ€chtnisses ungefĂ€hr der Summe der KapazitĂ€ten der einzelnen Komponenten. Neueste neurowissenschaftliche Erkenntnisse unterstĂŒtzen verstĂ€rkt dieses Modell des ArbeitsgedĂ€chtnisses.

Multimodale Interaktion

Wenn nun eine Komponente ĂŒberfĂŒllt sein sollte, so könnten theoretisch andere – noch nicht ausgelastete – Komponenten genutzt werden, um parallel mehr Informationen zu verarbeiten. Durch die gleichzeitige Inanspruchnahme verschiedener Komponenten des ArbeitsgedĂ€chtnisses könnte somit die VerarbeitungskapazitĂ€t optimiert werden. DafĂŒr ist es aber notwendig, die entsprechenden Informationen ĂŒber eine andere SinnesmodalitĂ€t zu vermitteln. Dies versteht das Forscherteam als multimodale Interaktion und sieht darin ein großes Potenzial fĂŒr neue Mensch-Maschine -Schnittstellen, die sich an die Arbeitsbelastung des Benutzers anpassen können. Neben der schon erwĂ€hnten bestmöglichen KapazitĂ€tsausnutzung, lĂ€sst sich durch multimodale Interaktion auch die ReaktionsfĂ€higkeit von Benutzern erheblich erhöhen und eine umfassendere Verarbeitungstiefe der Informationen erreichen.

Neurophysiological Interactive Computing Systems

Um aber ĂŒberhaupt die Auslastung des ArbeitsgedĂ€chtnisses eines Benutzers feststellen zu können, muss zuerst die GehirnaktivitĂ€t und der damit einhergehende kognitive Zustand gemessen werden. Dies sollen die bildgebenden Verfahren aus der Gehirnforschung bewerkstelligen. Ausgehend von Daten ĂŒber die GehirnaktivitĂ€t sollen so genannte „neurophysiological interactive computing systems“ (NICS) die Informationen entsprechend auf die verschiedenen SinnesmodalitĂ€ten aufteilen. HierfĂŒr sind jedoch explizite Regeln fĂŒr die Gestaltung der multimodalen Interaktion vonnöten.

Designprinzipien

Um das Potenzial ausschöpfen zu können muss zunĂ€chst geklĂ€rt werden, welche Informationstypen sich besonders fĂŒr welche SinnesmodalitĂ€t eignen. Außerdem mĂŒssen auch Transformationsprinzipien erarbeitet werden, die festlegen, wie sich eine Information von einer SinnesmodalitĂ€t in eine andere ModalitĂ€t ohne Informationsverlust ĂŒberfĂŒhren lĂ€sst.

In ihrer Arbeit haben sich die Wissenschaftler hauptsĂ€chlich darum bemĂŒht, aus vielfĂ€ltigen Forschungsquellen solche Designprinzipien abzuleiten. Dabei werden sowohl die Potenziale, die sich mittels multimodaler Interaktion realisieren lassen, wie auch die verzerrenden Effekte – intermodale Illusionen – berĂŒcksichtigt.

Interessierte finden in dem Beitrag eine sehr ĂŒbersichtliche Matrix ĂŒber erste Designregeln fĂŒr multimodale Interaktion.

Originaltitel: A Paradigm Shift in Interactive Computing: Deriving Multimodal Design Principles from Behavioural and Neurological Foundations
Autor(en): Stanny, K.; Samman, S.; Reeves, L.; Hale, K.; Buff, W.; Bowers, C.; Goldiez, B.; Nicholson, D. & Lackey, S.
Journal: International Journal of Human-Computer Interaction
Ausgabe: 17(2)
Seiten: 229 – 257
Diesen Beitrag bookmarken bei:
Bookmark bei: Yigg Bookmark bei: Webnews Bookmark bei: Technorati Bookmark bei: Mr. Wong Bookmark bei: Linkarena Bookmark bei: Del.icio.us Bookmark bei: Google Bookmark bei: Favoriten Bookmark bei: Facebook

Autor des Beitrags