Aussagekraft von Eyetracking-Untersuchungen: Wie viele Benutzer sind nötig?

1. Juli 2008

Eyetracking wird zunehmend als Methode zur Usability-Evaluation von Internetseiten eingesetzt, insbesondere um die Aussagekraft der sonst stark qualitativen Untersuchungsergebnisse einer Studie mit quantitativen Ergebnisse zu untermauern bzw. zusĂ€tzliche Erkenntnisse zu gewinnen. Da die Blickbewegungen zwischen verschiedenen Benutzern bei der gleichen Aufgabe stark variieren, stellt sich die Frage, wie viele Benutzer an einem solchen Test teilnehmen mĂŒssen, um aussagekrĂ€ftige Ergebnisse zu erzielen.

Elisabeth Lesemann fand in einer Untersuchung mit 393 Benutzern deutliche Hinweise, dass fĂŒr praxisnahe Usability-Studien mit 30 Benutzern einer Zielgruppe akzeptable Ergebnisse erzielt werden können. FĂŒr Studien zu Forschungszwecken ist allerdings eine Anzahl von 50 Benutzern pro Zielgruppe notwendig um exakte Ergebnisse zu erzielen. Die Anzahl der notwendigen Benutzer liegt damit in dieser Studie weit höher als bisher von anderen Autoren angenommen (10 bis 15 z.B. laut Heinsen und Scheier, 2003).

Fragestellung der Studie

Die beschriebene Studie untersucht die Frage, wie viele Testpersonen notwendig sind, um bei Eyetracking-Untersuchungen aussagekrÀftige Ergebnisse zu erzielen.

Methode

Als Rahmen fĂŒr die vorliegende Studie wurde ein Kontext festgelegt, der den Fragestellungen von Auftraggebern in der Praxis entspricht. So wurde untersucht, welche Bereiche einer Internetseite („Areas of Interest“) wĂ€hrend der ersten zehn Sekunden der Orientierungsphase auf dem Bildschirm von den Benutzern fixiert werden.

Den 393 Benutzern, die an der Studie teilnahmen, wurden jeweils fĂŒr zehn Sekunden in unterschiedlicher Reihenfolge die Startseiten von „Otto“, „Spiegel Online“ und „T-Online“ gezeigt. Gleichzeitig wurden mit Hilfe eines Eyetracking-GerĂ€ts die Blickbewegungen aufgezeichnet. Anschließend wurden die von den Benutzern gemachten Fixationen auf zehn zuvor definierten „Areas of Interest“ (AOI) pro Seite fĂŒr die Auswertung herangezogen.

Zur ÜberprĂŒfung der Frage, wie viele Benutzer notwendig sind, um aussagekrĂ€ftige Ergebnisse bei der Blickbewegungsanalyse zu erzielen, wurden aus der Gesamtstichprobe jeweils mehrere Zufallsstichproben verschiedener GrĂ¶ĂŸe gezogen und mit Hilfe eines Äquivalenztests ĂŒberprĂŒft, ob und zu welchem Grad die Fixationen auf den AOIs der Zufallsstichproben mit denen der Gesamtstichprobe ĂŒbereinstimmen.

Ergebnisse

Die Auswertung der Daten ergab, dass bei einer StichprobengrĂ¶ĂŸe von 50 Benutzern alle Ergebnisse der zufĂ€llig gezogenen Stichproben mit den Ergebnissen der Gesamtstichprobe ĂŒbereinstimmen. Auch bei einer StichprobengrĂ¶ĂŸe von 40 Benutzern stimmten die Ergebnisse der meisten zufĂ€llig gezogenen Stichproben noch mit denen der Gesamtstichprobe ĂŒberein (99,64 % der Ergebnisse). Eine StichprobengrĂ¶ĂŸe von 30 Benutzern ergab ebenfalls noch relativ hohe Übereinstimmungen mit der Gesamtstichprobe (97,9% der Ergebnisse). Ab einer StichprobengrĂ¶ĂŸe von 20 Benutzern fiel die Übereinstimmungsrate jedoch rapide ab (91, 2% bei 20 Benutzern; 71,01% bei 10 Benutzern).

Schlussfolgerungen

Aus diesen Ergebnissen kann abgeleitet werden, dass bei einem Ă€hnlichen Versuchsaufbau eine StichprobengrĂ¶ĂŸe von 30 Benutzern fĂŒr praxisrelevante Fragestellungen ausreichend erscheint. Von einer geringeren Benutzerzahl muss abgeraten werden, da dies die Aussagekraft der Ergebnisse beeintrĂ€chtigen wĂŒrde. Bei Studien zu Forschungszwecken, bei denen Fehlinterpretationen schwerwiegend wĂ€ren, sollten die Tests allerdings mit 40 bis 50 Benutzern durchgefĂŒhrt werden.

EinschrÀnkung der Ergebnisse

Es ist anzumerken, dass bei dieser Studie die untersuchte Gesamtstichprobe von 393 Benutzern mit der Gesamtpopulation der Internetnutzer gleich gesetzt wurde. Es kann jedoch nicht uneingeschrĂ€nkt davon ausgegangen werden, dass die untersuchte Stichprobe die Gesamtpopulation exakt widerspiegelt. Dennoch gibt die Studie erste Hinweise auf die notwendige GrĂ¶ĂŸe einer aussagekrĂ€ftigen Stichprobe fĂŒr Eyetracking-Untersuchungen.

Originaltitel: ReliabilitÀt von Eye Tracking-Untersuchungen: Wie viele Probanden werden benötigt?
Autor(en):Lesemann, E.; Wilms, U.
Journal: Usability Professionals 2007 – Berichtband des fĂŒnften Workshops des German Chapters der Usability Professionals Association e. V.
Ausgabe: 5
Seiten: 15 – 21

Diesen Beitrag bookmarken bei:
Bookmark bei: Yigg Bookmark bei: Webnews Bookmark bei: Technorati Bookmark bei: Mr. Wong Bookmark bei: Linkarena Bookmark bei: Del.icio.us Bookmark bei: Google Bookmark bei: Favoriten Bookmark bei: Facebook

Autor des Beitrags