Aussagekraft von Eyetracking-Untersuchungen: Wie viele Benutzer sind nötig?
1. Juli 2008
Elisabeth Lesemann fand in einer Untersuchung mit 393 Benutzern deutliche Hinweise, dass für praxisnahe Usability-Studien mit 30 Benutzern einer Zielgruppe akzeptable Ergebnisse erzielt werden können. Für Studien zu Forschungszwecken ist allerdings eine Anzahl von 50 Benutzern pro Zielgruppe notwendig um exakte Ergebnisse zu erzielen. Die Anzahl der notwendigen Benutzer liegt damit in dieser Studie weit höher als bisher von anderen Autoren angenommen (10 bis 15 z.B. laut Heinsen und Scheier, 2003).
Fragestellung der Studie
Die beschriebene Studie untersucht die Frage, wie viele Testpersonen notwendig sind, um bei Eyetracking-Untersuchungen aussagekräftige Ergebnisse zu erzielen.
Methode
Als Rahmen für die vorliegende Studie wurde ein Kontext festgelegt, der den Fragestellungen von Auftraggebern in der Praxis entspricht. So wurde untersucht, welche Bereiche einer Internetseite („Areas of Interest“) während der ersten zehn Sekunden der Orientierungsphase auf dem Bildschirm von den Benutzern fixiert werden.
Den 393 Benutzern, die an der Studie teilnahmen, wurden jeweils für zehn Sekunden in unterschiedlicher Reihenfolge die Startseiten von „Otto“, „Spiegel Online“ und „T-Online“ gezeigt. Gleichzeitig wurden mit Hilfe eines Eyetracking-Geräts die Blickbewegungen aufgezeichnet. Anschließend wurden die von den Benutzern gemachten Fixationen auf zehn zuvor definierten „Areas of Interest“ (AOI) pro Seite für die Auswertung herangezogen.
Zur Überprüfung der Frage, wie viele Benutzer notwendig sind, um aussagekräftige Ergebnisse bei der Blickbewegungsanalyse zu erzielen, wurden aus der Gesamtstichprobe jeweils mehrere Zufallsstichproben verschiedener Größe gezogen und mit Hilfe eines Äquivalenztests überprüft, ob und zu welchem Grad die Fixationen auf den AOIs der Zufallsstichproben mit denen der Gesamtstichprobe übereinstimmen.
Ergebnisse
Die Auswertung der Daten ergab, dass bei einer Stichprobengröße von 50 Benutzern alle Ergebnisse der zufällig gezogenen Stichproben mit den Ergebnissen der Gesamtstichprobe übereinstimmen. Auch bei einer Stichprobengröße von 40 Benutzern stimmten die Ergebnisse der meisten zufällig gezogenen Stichproben noch mit denen der Gesamtstichprobe überein (99,64 % der Ergebnisse). Eine Stichprobengröße von 30 Benutzern ergab ebenfalls noch relativ hohe Übereinstimmungen mit der Gesamtstichprobe (97,9% der Ergebnisse). Ab einer Stichprobengröße von 20 Benutzern fiel die Übereinstimmungsrate jedoch rapide ab (91, 2% bei 20 Benutzern; 71,01% bei 10 Benutzern).
Schlussfolgerungen
Aus diesen Ergebnissen kann abgeleitet werden, dass bei einem ähnlichen Versuchsaufbau eine Stichprobengröße von 30 Benutzern für praxisrelevante Fragestellungen ausreichend erscheint. Von einer geringeren Benutzerzahl muss abgeraten werden, da dies die Aussagekraft der Ergebnisse beeinträchtigen würde. Bei Studien zu Forschungszwecken, bei denen Fehlinterpretationen schwerwiegend wären, sollten die Tests allerdings mit 40 bis 50 Benutzern durchgeführt werden.
Einschränkung der Ergebnisse
Es ist anzumerken, dass bei dieser Studie die untersuchte Gesamtstichprobe von 393 Benutzern mit der Gesamtpopulation der Internetnutzer gleich gesetzt wurde. Es kann jedoch nicht uneingeschränkt davon ausgegangen werden, dass die untersuchte Stichprobe die Gesamtpopulation exakt widerspiegelt. Dennoch gibt die Studie erste Hinweise auf die notwendige Größe einer aussagekräftigen Stichprobe für Eyetracking-Untersuchungen.
Originaltitel: Reliabilität von Eye Tracking-Untersuchungen: Wie viele Probanden werden benötigt?
Autor(en):Lesemann, E.; Wilms, U.
Journal: Usability Professionals 2007 – Berichtband des fünften Workshops des German Chapters der Usability Professionals Association e. V.
Ausgabe: 5
Seiten: 15 – 21
