Auf der Suche nach der optimalen Vorgehensweise – Usability-Testmethoden im Vergleich

Als Alternative zum klassischen Usability-Test im Labor gibt es schon seit Längerem die Möglichkeit, den Test asynchron mit einem Remote-Tool durchzuführen, damit die Probanden von zu Hause aus zu einer von ihnen gewünschten Zeit teilnehmen können. Als relativ neues Verfahren erhält zurzeit die Erhebung von Nutzern im Rahmen von Usability-Tests mit lautem Denken als asynchroner Test verstärkte Verbreitung. Hierbei führen die Nutzer den Test von zu Hause aus ohne Betreuung selbst durch und kommentieren ihre Aktionen. Als Ergebnis erhält der Auftraggeber ein Video, das den aufgezeichneten Bildschirm des Probanden und seine gesprochenen Kommentare beinhaltet. Asynchroner Videotest kann daher eine passende Benennung des Verfahrens sein.

Thesen

Im Vorfeld wurden sechs Thesen aufgestellt, die bereits einige Vermutungen über die Verfahren enthielten und auf Basis bisheriger Vergleiche aus der Literatur zusammengestellt wurden.

  1. Der Labortest ist durch das Zusammenspiel zwischen Proband und Interviewer ergiebiger als die asynchronen Verfahren und deckt daher mehr schwerwiegende Probleme auf.
  2. Der asynchrone Videotest deckt insgesamt gleich viele Probleme auf wie der Labortest.
  3. In den asynchronen Verfahren verhalten sich die Probanden natürlicher, da ihr Verhalten nicht durch soziale Erwünschtheit beeinflusst wird.
  4. Das Verhalten der Probanden in den asynchronen Verfahren ist realistischer, da die Probanden nur Initialanweisungen erhalten und dann nach eigenem Ermessen auf der Site agieren.
  5. Aufgrund individueller Konfigurationen der eigenen Rechner der Probanden können die asynchronen Verfahren Probleme in diesem Zusammenhang aufdecken.
  6. Der Videotest liefert innerhalb kurzer Zeit für den Auftraggeber direkt verwertbare Ergebnisse, aus denen dieser selbsttätig die wichtigsten Erkenntnisse generieren kann.

Studiendesign

Mit einem einheitlichen Studienkonzept wurde mit allen drei Methoden im Juni 2012 ein Usability-Test am Untersuchungsobjekt mein-schnulli.de durchgeführt, einem Onlineshop für individualisierte Babyartikel.
Die durchzuführenden Aufgaben waren identisch, wurden aber an die jeweilige Methode angepasst, sodass die Tests alle praktikabel durchführbar waren. Im Labor wurde mit einer Testdauer von 30 Minuten inklusive Warm-up und Danksagung und insgesamt 12 Probanden getestet. Im asynchronen Videotest betrug die reine Testdauer 20 Minuten und es wurde mit 20 Probanden getestet, während im asynchronen Videotest die identische Testdauer gewählt wurde, aber insgesamt 40 Probanden an dem Test teilnahmen.

Ergebnisse

Die Thesen konnten in Teilen bestätigt werden. So spielt der Labortest definitiv seinen Vorteil durch die Möglichkeit des Austausches mit dem Testleiter aus: Dieser kann auch bei zurückhaltenden Probanden durch gezieltes Nachfragen noch sehr viele Erkenntnisse generieren. Und auch Verbesserungsvorschläge der Probanden werden erst durch die Möglichkeit zur Nachfrage durch den Testleiter wirklich klar, was aus einer asynchronen Aufzeichnung ggf. nicht mehr vollständig hervorgeht. Überhaupt ist jederzeit eine unmittelbare Reaktion auf das Nutzerverhalten möglich.
Die These vom natürlicheren Nutzerverhalten (These 3) in den asynchronen Verfahren ist nach den Erhebungen nach wie vor umstritten: Denn es kann schwer festgestellt werden, ob die Probanden sich von zu Hause aus eher natürlich verhalten oder aber ggf. unkonzentrierter sind als sie es im Labor sein dürften. Wären sie dann bei einem tatsächlich intrinsisch motivierten Kauf zu Hause eventuell sogar sehr konzentriert und auf alle Schritte bedacht, wäre das Verhalten in den asynchronen Verfahren sogar vom natürlichen Verhalten entfernt. Dennoch kann dieses realistischere Verhalten (These 4) bei asynchronen Tests bestätigt werden, denn die Nutzer weichen teilweise schnell von der Aufgabenstellung ab oder lassen Teile aus. Der Großteil der Aufgaben wird dennoch erfüllt und diese Abweichungen führen ggf. andere, sonst nicht festgestellte Usability-Probleme mit zutage. Die individuellen Konfigurationen der Rechner der Probanden (These 5) machen sich v. a. bei der Performance und der Bildschirmauflösung bemerkbar. Der Erkenntnisgewinn ist somit vorhanden, aber ließe sich auch anderweitig simulieren.
Bestätigt werden konnte die These (These 6) der schnellen Vorlage von Ergebnissen aus dem Videotest, die theoretisch auch durch eher unerfahrene Beobachter verwertet werden können. Diese Rohdaten müssen aber in Echtzeit gesichtet werden und das Ableiten von Empfehlungen ist für Personen mit wenig Auswertungserfahrung auch nicht so einfach.

Problemanzahl und -qualität

#

Tabelle 1: Anzahl der mit den einzelnen Methoden aufgedeckten Usability-Probleme
[Bild vergrößern]

 

Anhand der Tabelle zeigt sich, dass der Videotest in der Summe zwar mehr Probleme aufgedeckt hat, hierfür aber auch mehr Probanden zur Verfügung standen und einen Großteil davon leichte und mittelschwere Probleme ausmachen. Der Labortest findet indes genauso viele Usability-Probleme wie der Videotest, wobei dort die Überschneidungen auch am größten sind. Die oberste Zeile zeigt rein rechnerisch, wie die Verfahren bei gleichen Probandenzahlen in etwa abgeschnitten hätten.
Die geringe Anzahl an aufgefundenen Probleme aus dem asynchronen Remote-Test lässt sich u. a. auf den Funktionsumfang des verwendeten Tools zurückführen. Dieses wertet nur einen Bruchteil der Daten aus, die man erheben könnte, sodass sich bestimmte Nutzeraktionen nicht mehr vollständig nachvollziehen lassen. Der Fokus lag hier aber ohnehin auf der Einstufung des asynchronen Videotests im Vergleich zum Labortest. Daher soll hier nochmal ein kurzer Blick auf die kategorisierten Probleme bei einem auf n=12 herunter gebrochenen Ergebnis des Videotests geworfen werden:

 

#

Tabelle 2:Auf n=12 umgerechnete Problemanzahl beim Videotest und ins Verhältnis gesetzte Problemfindungsquote der beiden Verfahren [Bild vergrößern]

 

Der Videotest spielt seine Stärke demnach beim Auffinden von mittelschweren und leichten Problemen aus. Um insgesamt in der gleichen Liga wie der Labortest zu spielen, benötigt man etwa 1,7 mal so viele Probanden.

 

Involvement

Wie stark sich die Probanden in die Auseinandersetzung mit der Anwendung hineinversetzen, hat einen entscheidenden Einfluss auf die Qualität der Ergebnisse und die daraus abzuleitenden Handlungsempfehlungen. Hier konnte Folgendes festgestellt werden: Die Probanden in den asynchronen Verfahren erledigen die Aufgaben zügig und geben hilfreiche Anregungen zu Funktionen und Elementen der Anwendung. Richtigen Tiefgang lassen diese Äußerungen aber teilweise vermissen, sodass zwar eine Anregung formuliert wird und auf ein zu verbesserndes Element hinweist. Die Interpretation und Schlussfolgerung aus der meist kurz formulierten Anregung ist dagegen Schwerstarbeit, da nicht sichergestellt ist, dass der Proband korrekt verstanden wurde. Hier spielt das Labor seine Stärke aus:
Die Probanden geben auch hier die üblichen Anregungen. Wird jedoch ein Aspekt nicht ganz deutlich oder ist nicht klar genug vom Probanden erklärt, besteht die Möglichkeit für einen intensiven Austausch. Der Testleiter kann nachfragen und es können auch Dinge direkt am Bildschirm gezeigt und besprochen werden, um sicherzustellen, dass der Nutzer korrekt verstanden wurde.

Kosten und Aufwände

#

Tabelle 3: Erhebungsaufwände für einen Usability-Test mit den drei verglichenen Methoden
[Bild vergrößern]

 

Bei der Wahl des Tools für den asynchronen Remote-Test sind auch deutlich höhere Kosten denkbar. Der Auswertungsaufwand des Videotests ist sehr hoch, da alle Tests in Echtzeit angeschaut werden müssen, um Erkenntnisse daraus generieren zu können. Im Labortest werden während der Durchführung schon die zentralen Eindrücke gesammelt, sodass der Großteil der Aufzeichnungen nicht nochmals angeschaut werden muss. Dafür sind dort für die Erhebung stets zwei Mitarbeiter (Interviewer und Protokollant) notwendig, damit einer den Probanden betreut und der andere Mitarbeiter beobachten und dokumentieren kann.

 

Fazit

Der Videotest sorgt mit vertretbarem Aufwand für eine ordentliche Anzahl an aufgedeckten Usability-Problemen, wenn eine angemessene Zahl an Probanden gewählt wird. Von Vorteil ist hier außerdem die Durchführbarkeit innerhalb sehr kurzer Zeit, wenn über das Panel direkt die passenden Teilnehmer eingeladen werden und deren Aufzeichnungen bereits nach 24 Stunden vorliegen können. Die Ergiebigkeit des asynchronen Remote-Usability-Tests hängt v. a. mit dem Funktionsumfang des Tools zusammen, welcher dann aber auch entscheidend für die Kosten und den Auswertungsaufwand ist. Insgesamt ist mit deutlich weniger aufgedeckten Problemen zu rechnen als im Labor- oder Videotest.
Der Labortest bietet die ganzheitliche Analyse, wenngleich er mit einem hohen Aufwand verbunden ist. Dafür deckt er sehr viele Usability-Probleme (besonders die schwerwiegenden) auf und ermöglicht auch die Durchführung von längeren Tests (bis zu 90 Minuten) als es in den asynchronen Verfahren denkbar ist (maximal 20 Minuten). Darüber hinaus bietet er das höchste Involvement der Probanden. Diese agieren sehr konzentriert und geben tiefgründige Rückmeldungen ab. Auch deren Verbesserungsvorschläge können sehr intensiv diskutiert werden. Dieser Vorzug des Labortests steigert die Ergiebigkeit erheblich und sorgt dafür, dass das Verfahren ein gutes Gesamtpaket bietet. Mit dieser Studie liegt ein erster methodischer Vergleich vom asynchronen Videotest und dem klassischen Labortest vor. Die Erkenntnisse sind durch weitere Forschung zu vertiefen/validieren. Diese neue Form des asynchronen Testings ist jedoch in jedem Fall ein interessanter neuer Ansatz in Sachen toolbasierter UX-Forschung und gehört ins Portfolio jedes UX-Professionals.

-------------------------

 

Sind Sie anderer Meinung?

 

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!