Auswirkungen von „Inhouse“-Tests auf das Antwortverhalten der Testpersonen

#

Die Bedeutung des Themas Usability nimmt in vielen Unternehmen eine positive Entwicklung. Immer häufiger wird Usability als Erfolgsfaktor für Websites und mobile Anwendungen wahrgenommen und die Nutzer daher bereits in frühen Entwicklungsphasen involviert. Manche Unternehmen haben bereits ein eigenes Usability-Labor eingerichtet, aber oft werden externe Dienstleister hinzugezogen.

Die Auswahl des Erhebungsortes wird dabei von verschiedenen Kriterien beeinflusst. Bei Anbietern mit regionaler Ausrichtung ist es zum Beispiel sehr wichtig, Testpersonen vor Ort zu rekrutieren, um realistische Kontaktsituationen herzustellen. In anderen Fällen kommt es dem Kunden entgegen, in seiner Stadt mit einem mobilen Usability-Labor zu testen, um eine effektive Beobachtung zu gewährleisten.

In diesen Fällen stellt sich sicherlich manchmal auch die Frage, ob nicht direkt in den Räumen des Kunden getestet werden sollte, statt ein Teststudio anzumieten oder andere Möglichkeiten in Betracht zu ziehen. Hat es denn Nachteile, den Test direkt beim Site-Betreiber durchzuführen?

"Die mag ich, da mach ich mit"

Es gibt durchaus Einflussfaktoren, die bei dieser Entscheidung berücksichtigt werden sollten. Nehmen wir zum Beispiel an, der Site-Betreiber rekrutiert bereits selbst: Er wählt die kontaktierenden Personen aus und vereinbart per Telefon Termine. Schon bei diesem Kontakt ist die potenzielle Testperson nicht frei von „Vorurteilen“. So verbindet sie mit dem Anrufer direkt positive oder negative Erfahrungen bzw. einen bestimmten Ruf, den das Unternehmen genießt. Schon diese Meinung, die die Person von vornherein von dem Site-Betreiber hat, kann die Entscheidung, am Test teilzunehmen oder nicht, beeinflussen („Den find ich gut, den möchte ich unterstützen“ – oder: „Beim letzten Anruf im Kundencenter hing ich 10 Minuten in der Warteschleife - von denen habe ich erstmal die Nase voll.“). Es besteht also die Gefahr, vermehrt positiv eingestellte Personen zu rekrutieren.

"Toll, dass ich herkommen darf"

Aber selbst wenn die Akquise von einem externen Dienstleister übernommen wird, können Tests in eigenen Räumen Auswirkungen haben. Die Testpersonen finden es vielleicht sehr spannend zu sehen, wie es bei dem Unternehmen aussieht, sind vielleicht beeindruckt von der Größe oder der Ausstattung des Gebäudes. Mehr oder weniger unbewusst kann dadurch eine bestimmte Haltung gefördert werden, die weniger kritisch und eher respektvoll ist.

Auch das Umfeld und seine Ausstrahlung (die Mitarbeiter, die sich hier bewegen), können die Testperson in dem Sinne beeinflussen, dass ein gewisses „Zugehörigkeitsgefühl“ entsteht. Dass sie sich also allein dadurch mit den Mitarbeitern und dem Unternehmen verbunden fühlen, weil sie sich zur selben Zeit im selben Raum befinden. Aber auch freundliche Empfangsdamen oder andere direkte Kontakte haben den beschriebenen Effekt.

"Wie nett, ich bekomme etwas geschenkt"

Im Sinne realistischer Kontaktsituationen werden die Testpersonen häufig mit Gutscheinen oder Gutschriften incentiviert (die sie zum Beispiel beim Test eines Online-Shops gleich einlösen sollen). Manchmal gibt es auch noch kleine Geschenke dazu, die direkt vom Unternehmen gestellt werden und/oder stark „gebrandet“ sind. Wissen die Testpersonen vorher schon, welche „Geschenke“ ihnen der Site-Betreiber machen wird, kann es sein, dass sie das Gefühl haben, etwas zurück geben zu müssen, um das Verhältnis auszugleichen. Wenn die Aufwandentschädigung also sehr großzügig ist und augenscheinlich direkt von dem betreffenden Unternehmen stammt, kann eventuell wohlwollender bewertet und weniger Kritik geübt werden. Das geschieht zumeist unbewusst, da den Testpersonen ja durchaus gesagt wird, dass es um die Verbesserung einer Anwendung und deren Bedienbarkeit geht. Dennoch sollte solchen Dankbarkeitseffekten vorgebeugt werden.

"Der Mann, der die Fragen stellt, ist sehr sympathisch"

Zu guter Letzt kann natürlich auch der Interviewer theoretisch vom Kunden gestellt werden. Gerade wenn ein eigenes Usability-Labor eingerichtet wurde, liegt es nahe, einen Mitarbeiter auch entsprechend zum Thema Interviewführung zu schulen. Das spart Kosten und Einarbeitungszeit. Die Testperson sollte jedoch möglichst nicht wissen, dass sie es mit einem Mitarbeiter zu tun hat. Je nach dem welchen Eindruck er oder sie hinterlässt, sieht die Testperson vielleicht über Fehler eher hinweg oder möchte die Anwendung sehr positiv bewerten, um dem Interviewer „einen Gefallen zu tun“.

Im ungünstigsten Fall war der Interviewer selbst an der Entwicklung der Konzepte beteiligt, was sich auch im Frageverhalten widerspiegeln kann. Auch er natürlich weiß, dass der Nutzertest Probleme aufdecken soll, ist es doch immer „schöner“, wenn die eigens entwickelte Anwendung gut bedienbar ist und „gut ankommt“. Ein ganz natürliches Verhalten, das weder verwerflich noch komplett zu unterbinden ist. Außer durch die Maßnahme, einen wirklich unbeteiligten Interviewer einzusetzen.

Fazit: Möglichst auswärts testen

Die genannten Gefahren bzw. Einflussfaktoren lassen sich zu einem großen Teil minimieren, wenn für einen Usability-Test Räume zur Verfügung stehen, die möglichst wenig Kontakt zum Site-Betreiber herstellen. Schon bei der Auswahl der Testpersonen (Akquise) sollte auf Unabhängigkeit geachtet werden. Gleiches gilt für den/die Interviewer. Wenn derartige Möglichkeiten nicht realisiert werden können, sollte das Projektteam sich zumindest dessen bewusst sein bzw. dafür sensibel bleiben, welche Effekte auftreten könnten. Letztendlich ist jedoch jeder Test besser als kein Test, solang keine falschen Schlüsse gezogen werden, weil methodische Schwächen übersehen wurden.

 

Sind Sie anderer Meinung?

 

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!