Machen automatisierte Usability-Tests Versuchsleiter ├╝berfl├╝ssig?

1. Februar 2007

In ihrer Studie vergleichen die Autoren die Ergebnisse des automatischen Datenerhebungssystems ASE bei Usabilitytests mit den Ergebnissen einer herk├Âmmlichen Testung mit beobachtenden Versuchsleitern. Die Untersuchung kommt zu dem Ergebnis, dass automatisiertes Testen f├╝r summative Usability-Tests eine ann├Ąhernd gleichwertige Alternative darstellt.

L├Ąsst sich bei Usability-Tests ein automatisiertes System zur Datenerhebung als gleichwertige Alternative zur Testung im Usability-Labor unter Beobachtung durch einen professionellen Versuchsleiter einsetzen? Gibt es Unterschiede bez├╝glich der inhaltlichen Testergebnisse zwischen den beiden Methoden? Welche Informationen gehen verloren, wenn die Beobachtung durch einen w├Ąhrend des Usabilitytests anwesenden Versuchsleiter wegf├Ąllt?

In ihrer Studie vergleichen die Autoren ein automatisches System zur Datenerhebung mit der „normalen“ Testung in einem Usability-Labor. Die Autoren gehen nicht davon aus, dass eine automatische Datenerhebung f├╝r jegliche Fragestellungen von Usability-Tests einsetzbar ist. Sie erhoffen sich jedoch, damit eine gleichwertige Alternative f├╝r summative Usability-Tests entwickelt zu haben. Mit dem Begriff summative Usability-Tests bezeichnen die Autoren der Studie vergleichende Untersuchungen bereits fertig entwickelter Produkte.

Automated summative Evaluation (ASE)

Untersucht wurde das webbasiertes System zur Datenerhebung bei Usability-Tests ASE. Den Benutzern werden von diesem System verschiedene Aufgaben vorgegeben, die diese dann selbstst├Ąndig durchf├╝hren. W├Ąhrend und nach der Aufgabendurchf├╝hrung werden vom System verschiedene Daten erhoben.

Die Messung des Aufgabenerfolgs geschieht ├╝ber eine Frage, die der Benutzer nur dann korrekt beantworten kann, wenn er die Aufgabe erfolgreich zu Ende gef├╝hrt hat. F├╝r die Erhebung der ben├Âtigten Zeit pro Aufgabe m├╝ssen die Benutzer jeweils einen Button zu Beginn und Ende der Aufgabe anklicken. Ihre subjektive Zufriedenheit geben die Testpersonen mittels einer siebenstufigen Rating-Skala an. Au├čerdem erh├Ąlt jede Person am Ende des Tests die M├Âglichkeit, einen offenen Kommentar zu Gesamteindruck, aufgetretenen Schwierigkeiten etc. abzugeben. Alle Testpersonen k├Ânnen w├Ąhrend des Tests die Aufgabendurchf├╝hrung jeder Zeit beenden und eine Schritt-f├╝r-Schritt-Instruktion zur Zielerreichung erhalten.

Die Studie

F├╝r die Beantwortung oben genannten Fragestellungen wurden im Rahmen der Untersuchung drei verschiedene Bedingungen realisiert: Eine Gruppe von Testpersonen f├╝hrte die Aufgaben unter Laborbedingungen mit einem professionellen Versuchsleiter durch (Lab-Observer). Eine zweite Gruppe bearbeitete die Aufgaben ebenfalls im Labor, aber unter Anweisung des Datenerhebungssystems ASE (Lab-ASE). Die dritte Testpersonengruppe befand sich nicht in einem Usability-Labor und erhielt ihre Instruktionen durch ASE via Internet (Remote-ASE).

Die Ergebnisse

Zwischen den Gruppen Lab-Observer und Lab-ASE zeigen sich keine signifikanten Unterschiede bez├╝glich Aufgabenerfolg, ben├Âtigter Zeit pro Aufgabe und subjektiver Zufriedenheit. Auch die Kommentare der Benutzer beider Gruppen sind vergleichbar.

Zwischen den Gruppen Remote-ASE und Lab-ASE zeigen sich ebenfalls keine signifikanten Unterschiede bez├╝glich Aufgabenerfolg und subjektiver Zufriedenheit. Die Personen der Remote-ASE Gruppe befassen sich aber insgesamt signifikant k├╝rzer mit den Aufgaben als die Lab-ASE Gruppe. Au├čerdem geben die Testpersonen der Remote-ASE Gruppe bei Schwierigkeiten w├Ąhrend der Aufgabendurchf├╝hrung signifikant h├Ąufiger auf.

Die beobachtenden Versuchsleiter identifizieren die gleichen prim├Ąren Usability-Themen, die auch von den Benutzern selbst unter allen drei Bedingungen genannt werden. Zus├Ątzlich beschreiben die Beobachter auch noch eine Reihe weiterer Usability-Themen, die einigen Benutzern w├Ąhrend der Testung zwar Schwierigkeiten bereiten, von diesen aber in den Kommentaren nicht benannt werden.

Fazit

Die Autoren der Studie werten ihre Ergebnisse als Hinweis darauf, dass automatische Datenerhebungssysteme eine Alternative zu herk├Âmmlichen Usability-Tests darstellen k├Ânnen. Vorteile sehen sie vor allem in einer h├Âheren ├Âkologischen Validit├Ąt durch Vor-Ort-Testung und einen geringeren Aufwand der Testdurchf├╝hrung.

Allerdings weisen die Autoren auch darauf hin, dass eine Anwendung nur bei einem Teil der Fragestellungen in der Usability-Testung m├Âglich ist. Teilweise fehlen bei diesem Verfahren die Beobachtungen der professionellen Versuchsleiter, welche f├╝r die Verbesserung der Usability wichtig sein k├Ânnen.

Originaltitel: Automated Summative Usability Studies: An Empirical Evaluation
Autor(en): West, R.; Lehman, K.
Journal: CHI 2006 Proceedings
Ausgabe: –
Seiten: 631 – 639

Diesen Beitrag bookmarken bei:
Bookmark bei: Yigg Bookmark bei: Webnews Bookmark bei: Technorati Bookmark bei: Mr. Wong Bookmark bei: Linkarena Bookmark bei: Del.icio.us Bookmark bei: Google Bookmark bei: Favoriten Bookmark bei: Facebook

Autor des Beitrags