FIT für Usability

In ihrer Studie vergleichen die Autoren die Ergebnisse des automatischen Datenerhebungssystems ASE bei Usabilitytests mit den Ergebnissen einer herkömmlichen Testung mit beobachtenden Versuchsleitern. Die Untersuchung kommt zu dem Ergebnis, dass automatisiertes Testen für summative Usability-Tests eine annähernd gleichwertige Alternative darstellt.

Lässt sich bei Usability-Tests ein automatisiertes System zur Datenerhebung als gleichwertige Alternative zur Testung im Usability-Labor unter Beobachtung durch einen professionellen Versuchsleiter einsetzen? Gibt es Unterschiede bezüglich der inhaltlichen Testergebnisse zwischen den beiden Methoden? Welche Informationen gehen verloren, wenn die Beobachtung durch einen während des Usabilitytests anwesenden Versuchsleiter wegfällt?

In ihrer Studie vergleichen die Autoren ein automatisches System zur Datenerhebung mit der „normalen“ Testung in einem Usability-Labor. Die Autoren gehen nicht davon aus, dass eine automatische Datenerhebung für jegliche Fragestellungen von Usability-Tests einsetzbar ist. Sie erhoffen sich jedoch, damit eine gleichwertige Alternative für summative Usability-Tests entwickelt zu haben. Mit dem Begriff summative Usability-Tests bezeichnen die Autoren der Studie vergleichende Untersuchungen bereits fertig entwickelter Produkte.

Automated summative Evaluation (ASE)

Untersucht wurde das webbasiertes System zur Datenerhebung bei Usability-Tests ASE. Den Benutzern werden von diesem System verschiedene Aufgaben vorgegeben, die diese dann selbstständig durchführen. Während und nach der Aufgabendurchführung werden vom System verschiedene Daten erhoben.

Die Messung des Aufgabenerfolgs geschieht über eine Frage, die der Benutzer nur dann korrekt beantworten kann, wenn er die Aufgabe erfolgreich zu Ende geführt hat. Für die Erhebung der benötigten Zeit pro Aufgabe müssen die Benutzer jeweils einen Button zu Beginn und Ende der Aufgabe anklicken. Ihre subjektive Zufriedenheit geben die Testpersonen mittels einer siebenstufigen Rating-Skala an. Außerdem erhält jede Person am Ende des Tests die Möglichkeit, einen offenen Kommentar zu Gesamteindruck, aufgetretenen Schwierigkeiten etc. abzugeben. Alle Testpersonen können während des Tests die Aufgabendurchführung jeder Zeit beenden und eine Schritt-für-Schritt-Instruktion zur Zielerreichung erhalten.

Die Studie

Für die Beantwortung oben genannten Fragestellungen wurden im Rahmen der Untersuchung drei verschiedene Bedingungen realisiert: Eine Gruppe von Testpersonen führte die Aufgaben unter Laborbedingungen mit einem professionellen Versuchsleiter durch (Lab-Observer). Eine zweite Gruppe bearbeitete die Aufgaben ebenfalls im Labor, aber unter Anweisung des Datenerhebungssystems ASE (Lab-ASE). Die dritte Testpersonengruppe befand sich nicht in einem Usability-Labor und erhielt ihre Instruktionen durch ASE via Internet (Remote-ASE).

Die Ergebnisse

Zwischen den Gruppen Lab-Observer und Lab-ASE zeigen sich keine signifikanten Unterschiede bezüglich Aufgabenerfolg, benötigter Zeit pro Aufgabe und subjektiver Zufriedenheit. Auch die Kommentare der Benutzer beider Gruppen sind vergleichbar.

Zwischen den Gruppen Remote-ASE und Lab-ASE zeigen sich ebenfalls keine signifikanten Unterschiede bezüglich Aufgabenerfolg und subjektiver Zufriedenheit. Die Personen der Remote-ASE Gruppe befassen sich aber insgesamt signifikant kürzer mit den Aufgaben als die Lab-ASE Gruppe. Außerdem geben die Testpersonen der Remote-ASE Gruppe bei Schwierigkeiten während der Aufgabendurchführung signifikant häufiger auf.

Die beobachtenden Versuchsleiter identifizieren die gleichen primären Usability-Themen, die auch von den Benutzern selbst unter allen drei Bedingungen genannt werden. Zusätzlich beschreiben die Beobachter auch noch eine Reihe weiterer Usability-Themen, die einigen Benutzern während der Testung zwar Schwierigkeiten bereiten, von diesen aber in den Kommentaren nicht benannt werden.

Fazit

Die Autoren der Studie werten ihre Ergebnisse als Hinweis darauf, dass automatische Datenerhebungssysteme eine Alternative zu herkömmlichen Usability-Tests darstellen können. Vorteile sehen sie vor allem in einer höheren ökologischen Validität durch Vor-Ort-Testung und einen geringeren Aufwand der Testdurchführung.

Allerdings weisen die Autoren auch darauf hin, dass eine Anwendung nur bei einem Teil der Fragestellungen in der Usability-Testung möglich ist. Teilweise fehlen bei diesem Verfahren die Beobachtungen der professionellen Versuchsleiter, welche für die Verbesserung der Usability wichtig sein können.

Originaltitel: Automated Summative Usability Studies: An Empirical Evaluation
Autor(en): West, R.; Lehman, K.
Journal: CHI 2006 Proceedings
Ausgabe: –
Seiten: 631 – 639