Denkprotokolle und Videokonfrontation als
verhaltensbasierte Evaluationsmethoden
24.09.2005

Die Methode des lauten Denkens (in der Literatur u.a. auch als Denkprotokollierung und Protokolle lauten Denkens bezeichnet) dient der Erfassung von Gedanken und Emotionen, die mit einer Handlung oder Tätigkeit (z.B. Surfen auf einer Website) einhergehen.

Auf Basis dieser Daten kann u.a. auf Probleme der Gebrauchstauglichkeit (Usability) von Websites geschlossen werden.

Idealerweise werden die Aussagen und die Bildschirminhalte simultan aufgezeichnet und mit Hilfe einer speziellen Software zur Analyse von Beobachtungsdaten ausgewertet (z.B. INTERACT aus dem Hause Mangold).
Diese Vorgehensweise erfordert auch besondere Hardware-Komponenten (z.B. Scan-Converter, Videokamera, Mikrofon).

Beim sog. postaktionalen lauten Denkens (in der Literatur als als Nachträgliche Protokolle lauten Denkens bezeichnet) wird das Surfverhalten zunächst mit Hilfe einer Videokamera (zur Erfassung der Gestik und Mimik) und/oder einer ScreenCam (zur Erfassung des Clickstreams) aufgezeignet.
Anschließend wird den Untersuchungsteilnehmern/-innen das Videomaterial vorgeführt, mit der Bitte ihre handlungsbegleitenden Gedanken und Emotionen nachträglich zu verbalisieren. Doppelbelastungen wie beim periaktionalen lauten Denken werden somit ausgeschlossen.

Vergleich: Periaktionale und postaktionale Denkprotokolle

Vergleichsuntersuchen belegen, dass die postaktionale Datenerhebung qualitativ höherwertige Informationen bereitstellt (siehe dazu Ohnemus & Biers, 1993). Nachteilig ist bei dieser Variante jedoch der Verlust an Spontanität - wodurch emotionale Reaktionen weniger stark verbalisiert werden. Dies konnten wir im Rahmen verschiedener Usability-Tests, in denen die Erhebung der Gedanken/ Emotionen variierte wurde, beobachten.

Die Technik der Videokonfrontation wird seit Mitte der 80er Jahre eingesetzt, zunächst im Bereich der Aufgabenanalyse und Softwaregestaltung (Hamborg & Greif, 1999), bisher noch nicht so häufig bei der Evaluation von Websites.

Ähnlich wie bei postaktionalen Denkprotokollen wird der Surfprozess der Untersuchungsteilnehmer/-innen zunächst per entsprechender Videotechnik aufgezeichnet und im Anschluss präsentiert. Dabei findet jedoch ein qualitatives, halb-standardisiertes Interview statt - keine (offene) Erhebung von Gedanken und Emotionen. Auf Basis eines Leitfadens wird über aufgetretene Probleme, die Gestaltung von Prozessen und die formale/ inhaltliche Gestaltung ausgewählter Seiten des Web-Angebots gesprochen.
Nachteilig ist auch bei diesem Ansatz, dass bis zu einem gewissen Grad Spontanität verloren geht. Auch ist die Qualität des Videomaterials entscheidend für die Qualität der Interviewdaten: Können die Untersuchungsteilnehmer aufgrund mangelnder Videoqualität die Gestaltung der Webseiten nicht deutlich erkennen, dann besteht die Gefahr, dass nicht alle Usability-Probleme aufgedeckt werden.

Sog. stimulusorientierte Interviews (siehe dazu Yom 2003) - bei denen die Webseiten nach dem Surfprozess erneut am Bildschirm aufgerufen werden - weisen diesen Nachteil nicht auf. Gekoppelt mit periaktionalen Protokollen lauten Denkens können solche Interviews eine sinnvolle und effiziente Alternative zur Videokonfrontation darstellen.

Weiterführende Literaturquellen

• Ohnemus, K.R. & Biers, D.W. (1993). Retrospective vs concurrent thinking loud in usability testing. In Proceedings of the Human Factors and Ergonomics Society 37th Annual Meeting, 1127-1131
• Homburg, K.-C. & Greif, S. (1999). Heterarchische Aufgabenanalyse. In H. Dunckel (Ed.). Handbuch psychologischer Arbeitsanalyseverfahren. Zürich: vdf, 147-177
• Yom, M. (2003). Web Usability von Online-Shops, Göttingen: Better Solutions

Sind Sie anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!

---