Usability-Tests im Lab – mehr als Interviews mit Testperson!

Usability-Tests im Lab erleben seit 2009 einen „2. Frühling“ – und das ist gut so!

Ich kann das sehr gut an den eingehenden Auftragsanfragen der eResult GmbH beobachten: Hatten wir in den Jahren 2007 und 2008 unter 10 Kundenanfrage ca. eine darunter, bei der explizit ein Usability-Test im Lab angefragt wurde, so waren es 2009 im Mittel 3. Ein Anstieg von 20 Prozentpunkten.

Und auch 2010 zeichnet sich diese steigende Entwicklung weiter ab.

Labtests sind wieder „In“.

Grund genug sich mit dieser Methode zu beschäftigen – und „ungünstige Marktentwicklungen“ aufzuzeigen und abzuschwächen.

Welche „ungünstige Marktentwicklung“ gibt es?

Eine differenzierte Analyse von Marktteilnehmern, Mitbewerbern und Anfragen ergab, dass immer öfter auf den Einsatz von Maus-Tracking, Protokolle lauten Denkens, Eyetracking und die Messung von Erfolgsraten bei der Aufgabenbearbeitung verzichtet wird.

In vielen Fällen werden den Testpersonen im Uselab lediglich Aufgaben gegeben und zum Abschluss ein Interview geführt. Das ist eine bedauerliche Entwicklung. Denn jedes der genannten Erhebungsverfahren hat Stärken und damit im Rahmen einer ganzheitlichen Analyse im Usability-Lab seine volle Berechtigung.

Interviews mit Testpersonen stellen ein notwendiges Erhebungsverfahren dar, es ist jedoch keinesfalls so, dass dieses Verfahren ausreichend ist. Über Interviews ist es z. B. nicht möglich Probleme in der Bedienung zu erfassen oder zu erkennen welche Elemente einer Webseite stärker hervorgehoben werden sollten.

Da gibt es weitere und deutlich bessere Verfahren …

Eyetracking – es gibt keine Alternative für eine Aufmerksamkeitsanalyse
Mit diesem Erhebungsverfahren wird der Prozess der Informationsaufnahme abgebildet. Ein alternatives Verfahren zur Messung der Informationsaufnahme und Wahrnehmung von Elementen gibt es nicht. Es ist unmöglich den Prozess der Informationsaufnahme zu erfragen und auch durch ein Tracking von Mausbewegungen kann die Informationsaufnahme noch nicht einmal annähernd abgebildet werden. Nur mit dem Verfahren der Blickbewegungsmessung kann z. B. erkannt werden, ob Nutzer ein für die Aufgabenbearbeitung zielführendes Element wahrnehmen oder eben nicht.

Protokolle lauten Denkens – leider viel zu wenig beachtet:
Wie das Eyetracking-Verfahren ein Erhebungsverfahren, mit dessen Hilfe Daten unmittelbar während der Aufgabenbearbeitung erfasst werden können. Protokolle lauten Denkens ermöglichen die Erhebung von spontanen Gedanken, Bewertungen und Empfindungen. Die Testpersonen können diese in dem Moment aussprechen, in dem sie sich einstellen.
Ein Vorteil z. B. im Vergleich zu Interviews nach einer Aufgabenbearbeitung: In nachträglich durchgeführten Interviews können spontan aufgetretene Gedanken nicht mehr zuverlässig erfasst werden, da sich die Testpersonen an diese schlicht und ergreifend nicht mehr erinnern können. Unser Arbeitsgedächtnis ist ein Speicher mit einer geringen Speicherkapazität. Aufgetretene Gedanken und Empfindungen während einer Aufgabenverarbeitung werden dort nur kurz zwischengespeichert. Will man diese Gedanken und Empfindungen erfassen, dann muss man den Testpersonen die Möglichkeit einräumen ihre Gedanken laut auszusprechen. Anders geht das (noch) nicht.

Beobachtung des Klickverhaltens:
Die Beobachtung des Klickverhaltens stellt ebenfalls ein Verfahren dar, das permanent Daten liefert – über den gesamten Prozess einer Aufgabenbearbeitung im Usability-Lab.
Mit Hilfe der Beobachtung und Analyse von Klicks ist es z. B. möglich „nicht zielführende Handlungen“ zu erkennen. Also „Fehlklicks“ im Sinne einer Aufgabenstellung. Erst auf diese Weise werden Probleme in der Bedienung erkannt: Wählt eine Testperson den für die Aufgabenstellung nicht effizienten Klickpfad, dann gibt es ganz offensichtlich Bedienungsprobleme.
Die Gründe für Bedienungsprobleme können durch die reine Beobachtung und Messung von Klicks jedoch nicht erfasst werden – da braucht es zusätzlich Protokolle lauten Denkens und nachträglich durchgeführte Interviews.

Ob überhaupt ein Problem der Bedienung vorliegt, das kann jedoch ausschließlich beobachtet werden. Eine ergänzende Erfassung und Analyse der Mauszeigerbewegungen liefert zusätzliche Erkenntnisse, z. B. bei der Analyse von Formularen.

Interviews – notwendig aber keinesfalls ausreichend:
Mündlich geführte Interviews im Nachgang einer Aufgabenbearbeitung oder zum Ende eines Usability-Tests im Lab ermöglichen ein „gezieltes Nachfragen“ und die Erfassung von Bewertungen.

Zusammen mit dem Interviewer können sich die Testpersonen einzelne Seiten oder Ansichten der Anwendung noch einmal und in aller Ruhe im Interview anschauen, eine Bewertung dieser Seiten im Detail vornehmen und gezielt auf Bereiche eingehen, welche sie als z. B. unverständlich oder nicht erwartungskonform angesehen haben.
Geführt und geleitet wird dieses nachgelagerte Gespräch von einem erfahrenen Interviewer, der sich an einem Gesprächsleitfaden orientieren sollte (muss).
Fehlende Erwartungskonformität, ein nicht gelungenes Wording, unverständliche Beschreibungen und/oder eine optisch als nicht ansprechend empfundene Gestaltung können nicht beobachtet werden, solche Themen und Aspekte müssen erfragt werden, gezielt und im Nachgang zu einer Aufgabenbearbeitung.

Mit Interviews ist es jedoch nicht möglich die Informationsaufnahme zu erfassen oder Bedienungsprobleme zu erkennen - die müssen (!) beobachtet werden – das geht nicht anders.

Ich könnte zu den einzelnen Verfahren der Datenerhebung noch viel mehr erzählen, erläutern und darstellen. An dieser Stelle möchte ich jedoch bewusst darauf verzichten. Mir war es wichtiger – und ich hoffe es ist mir gelungen – ein Plädoyer für den Einsatz mehrerer Erhebungsverfahren zu halten und Ihnen so aufzuzeigen, dass erst die Verfahrenskombination eine ganzheitliche Analyse und Optimierung einer Anwendung, z. B. Website, Intranet oder iPhone-App, ermöglicht.

Usability-Tests im Lab bei denen lediglich Aufgaben gegeben werden und nach deren Bearbeitung ein Interview stattfindet sind wenig wertvoll.

Protokolle lauten Denkens und die Beobachtung der Handlungen müssen unbedingt zum Einsatz kommen. Eyetracking ist immer dann einzusetzen, wenn die Vermutung besteht, dass für die Aufgabenbearbeitung wichtige („zielführende“) Elemente übersehen werden könnten. Maus-Tracking im Sinne einer Erfassung von Mauszeigerbewegungen sollte z. B. zum Einsatz kommen, wenn die Analyse von Formularen und dynamischen Bedien- oder Seitenelementen im Vordergrund steht.
Ich hoffe mit meinen Überlegungen und Anmerkungen ein wenig dazu beigetragen zu haben, dass in Zukunft wieder mehr „richtige“ Labtests durchgeführt werden, mit einer sinnvollen Kombination mehrerer Erhebungsverfahren.

Uns – der eResult GmbH – ist dies bereits gelungen. Wir kombinieren bei unseren Labtests stets mindestens drei Erhebungsverfahren.

Sind Sie anderer Meinung?

 

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!