Fragebögen als Ergänzung des Usability Tests

Usability Tests sind eine qualitative Methode ohne die Quantifizierung von Urteilen anhand von Kennwerten. Dennoch entsteht oft der Wunsch, genau eine solche Kennzahl zu erhalten. Im Vergleich zu einem langen Ergebnisband mit einzelnen Problemdarstellungen ermöglichen es Zahlen und Diagramme, auf einen Blick den Status Quo zu erfassen. Dies stellt einen eindeutigen Vorteil zu einem langen Ergebnisbericht dar.

Bei wissenschaftlich entwickelten Fragebögen stehen zudem sehr häufig gute Benchmarkwerte zur Verfügung. Dies bedeutet, dass auch bei einer erstmaligen Erfassung via Fragebogen ein direkter Vergleich zur Branche möglich ist. Dieser Beitrag zeigt auf, was beim Einsatz von Fragebögen im Labtest beachtet werden muss.

Der Einsatz von Fragebögen im Usability Test

Der Fragebogen ist ein standardisiertes Instrument – daher sollte auch die Erhebungssituation soweit wie möglich gleich gehalten werden. Die Fragebögen sollten möglichst früh im Test den Probanden vorgelegt werden. Bestenfalls beginnt das eigentliche Interview erst danach.

Optimaler Weise erhalten die Probanden nur eine kleine Einführung bzw. Warm Up zum Test, dann eine (standardisierte!) Aufgabe, die jedem Probanden im gleichen Wortlaut gestellt wird (hier empfiehlt sich ggf. ein kurzes Nachfragen, um sicherzugehen, dass der Proband die Aufgabe richtig verstanden hat). Der Interviewer sollte nun den Raum verlassen und das Verhalten des Probanden im Beobachtungsraum ansehen. Sollte dies nicht möglich sein, muss sich der Interviewer stark zurücknehmen und darf nur bei Sackgassen helfen, aus denen der Proband ohne weitere Hilfe nicht mehr herausfindet. Im Anschluss kann nach dem gleichen Prinzip noch eine zweite oder dritte standardisierte Aufgabe gestellt werden. Wichtig hierbei ist, dass alle Probanden die gleiche Aufgabe bekommen. Direkt nach diesen Aufgaben erhalten die Probanden den Fragebogen. Während die Probanden den Fragebogen ausfüllen, sollte der Interviewer entweder wieder den Raum verlassen oder sich stark im Hintergrund halten und nur auf Nachfragen kurz antworten. Dies erhöht wahrheitsgemäße Antworten, da die Probanden sich anonym äußern können. Werden mehrere Fragebögen verwendet, sollte die Reihenfolge zwischen den Probanden rotiert werden, um einen Reihenfolgeeffekt zu vermeiden. Erst jetzt startet der eigentliche Usability Test mit Interviewteil.

Weiterhin ist die Teilnehmerzahl wichtig! Bei 4 Probanden pro Testobjekt ist auch eine Kennzahl des Fragebogens nicht aussagekräftig. Die Statistik empfiehlt uns N = 30 Probanden pro Objekt, um signifikante Aussagen anhand parametrischer Tests wie T-Tests oder Varianzanalysen treffen zu können. Diese Fallzahl ist jedoch für einen Usability Test im Labor meist utopisch. Nichtparametrische Verfahren wie der Kolmogorov-Smirnov-Test oder der Wilcoxon-Mann-Whitney-U-Test erlauben auch eine statistische Überprüfung von kleinen Stichproben ohne die Voraussetzung auf Normalverteilung.

Der System Usability Scale (SUS) liefert laut den Autoren Tullis und Stetson (2004) beispielsweise schon reliable Ergebnisse bei 8 bis 10 Probanden. Wir bei eResult nutzen daher folgende Eckpunkte als Orientierung, um das Ganze auch wirtschaftlich umsetzen zu können:

  • 10 Probanden pro Testobjekt als Orientierung, in Einzelfällen auch darunter.
  • Die Standardabweichung der einzelnen Skalen im Fragebogen wird IMMER betrachtet (ein Scatterplot  der hilft bei der Einschätzung der Einzelwertverteilung). Diese liefert das Maß der Übereinstimmung der Probanden.
  • Bei zu hoher Standardabweichung kann der Fragebogenwert nicht als quantitative Kennzahl genutzt und interpretiert werden. "Zu hoch" ist dabei nicht eindeutig von uns festgelegt und hängt von der jeweiligen Antwortskala des Fragebogens und der Anzahl der Teilnehmer ab.

Diese Fragebögen eignen sich für den Einsatz im Usability Test

Die Zeit in einem Usability Test ist kostbar und sollte daher möglichst effizient genutzt werden. Durch die standardisierten Aufgaben zu Beginn verliert man deutlich Zeit - daher sollte das Ausfüllen eines Fragebogens einfach und schnell sein und das richtige Konstrukt messen. Es empfehlen sich daher wissenschaftlich entwickelte Fragebögen mit einer Likert-Skala  zum Ankreuzen und ohne weitere Eingabefelder für Kommentare und Anmerkungen. Für qualitative Ergebnisse folgt schließlich der Usability Test. Folgende Veröffentlichung liefert eine gute Grundlage für die Schwerpunkte für den Einsatz von Fragebögen: Das Zusammenspiel von Website-Inhalten, Usability und Ästhetik. Darin wird der Einfluss der drei genannten Konstrukte auf die Variablen Ersteindruck, Gesamteindruck, Wiederbesuchsintention und Weiterempfehlungsbereitschaft untersucht.

Die Abbildung zeigt den Zusammenhang der 3 Konstrukte mit den abhängigen Variablen. Stärkere Pfeile stehen dabei für einen höheren Zusammenhang (Abbildung nach Thielsch & Moshagen (2014), ergänzt durch eResult)

Ästhetik spielt dabei vor allem für den Ersteindruck eine wichtige Rolle, aber auch Usability und Inhalt sind hier wichtig. Damit der Nutzer die Seite nicht sofort wieder verlässt, ist also die Ästhetik wichtig. Beim Gesamteindruck ist der Inhalt maßgeblicher - ist der Content für den Nutzer also interessant, bleibt er auch länger auf der Website. Für Widerbesuchs- und Weiterempfehlungsbereitschaft ist ebenfalls der Inhalt am ausschlaggebendsten. Die Usability spielt dabei eine vermittelnde Rolle. In einer Veröffentlichung von Ilmberger, Schrepp & Held (2009) zu kognitiven Prozessen zwischen Ästhetik und Usability zeigt sich, dass Websites, die eine hohe Usability aufweisen, auch als ästhetisch wahrgenommen werden. Die Konstrukte sind demnach nicht unabhängig.

Folgende Fragebögen, erfüllen die von uns festgelegten Kriterien und decken ebenso die zentralen Gestaltungselemente einer Website ab:

  • SUS - der System Usability Scale: Ein schneller Fragebogen um einen Gesamtwert für die Usability von 0 bis 100 zu erhalten. Entwickelt aus einer Basis von ursprünglich 50 Items (Brook 1996) spiegelt die Skala ein Messinstrument für die Usability, u.a. hinsichtlich der Einfachheit, Erlernbarkeit, Komplexität als auch der weiteren Nutzungsabsicht wider. Die Skala eignet sich für den Einsatz in Bezug auf verschiedene Systeme und kann sich auch im Vergleich zu anderen, teils weit komplexeren Skalen wie bspw. dem SUMI (Software Usability Measurement Inventory) behaupten.
  • UEQ - der User Experience Questionnaire: Ein Fragebogen mit 5 Dimensionen zur Erfassung der User Experience. Es gibt keinen Gesamtwert. Anhand des bei SAP entwickelten Fragebogens kann der Nutzer seine Erfahrungen mit dem Produkt oder der Website Beschreiben. Erhoben werden dabei nicht nur hedonische, sondern auch wirtschaftliche Aspekte und Einflussfaktoren.
  • WWI - Fragebogen zur Wahrnehmung von Website-Inhalten: Dieser von Thielsch, Blotenberg und Jaron (2013) entwickelte Fragebogen befindet sich noch in der Veröffentlichung und ist noch nicht für nichtwissenschaftliche Zwecke freigegeben. Der Fragebogen umfasst aktuell 9 Items, die auf einer siebenstufigen Likert-Skala beantwortet werden. Damit ist er prädestiniert für den Einsatz in einem Usability Test.

Sind Sie anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!

zum Kontaktformular

Sie wollen den Forschungsbeitrag zitieren? Gerne können Sie folgende Quellenangabe nutzen:

 

Jotz, Melanie (2016): Fragebögen als Ergänzung des Usability Tests, In: Forschungsbeiträge der eResult GmbH, URL: www.eresult.de/studien_artikel/forschungsbeitraege/frageboegen-in-usability-tests.html

Das könnte Sie auch interessieren:

Relevante eResult-Produkte: