Asynchroner Remote Test – ein praktisches Beispiel, durchgeführt mit WebEffective

Der asynchrone Remote Test als solches wurde von uns im Frühjahr dieses Jahres zum ersten Mal durchgeführt. Hierfür wurde das Tool WebEffective, das von der amerikanischen Firma Keynote entwickelt und vertrieben wird, verwendet. Diese erste Anwendung des asynchronen Remote Tests verlief eingebettet in einen Vergleich der Testmethoden Usability-Test im Labor, synchroner Remote Test und asynchroner Remote Test.

Beim asynchronen Remote Test mit WebEffective können sowohl quantitative als auch qualitative Daten erhoben werden. WebEffective beinhaltet ein Modul zum Aufsetzen der Studien, TestScripter genannt, den WebEffective Connector, der die Daten der Erhebung erfasst und das Modul CustomerScope, in welchem die gesammelten Daten aufbereitet werden.

Die Einstellungen für den Testablauf sowie die Formulierung und Verknüpfung der Fragen werden im WebEffective-Modul TestScripter vorgenommen. Um die Daten der Testpersonen zu sammeln stehen verschiedene Möglichkeiten zur Verfügung. Es wurde die „Local-Connector“-Variante verwendet. Hierbei werden die Testpersonen zu Beginn der Erhebung aufgefordert, ein Plugin zu installieren, welches dann die Eingaben und Klickdaten der Testpersonen aufzeichnete. Diese Variante erlaubt es, auch Browserinteraktionen, z.B. das Klicken des „Zurück“-Buttons aufzuzeichnen. Im TestScripter stehen viele verschiedene Fragetypen zur Verfügung. So kann unter anderem zwischen Freitext-, Checkbox-, Radiobutton- oder Skalenfragen gewählt werden.

Während des Tests erhält die Testperson eine Ansicht mit zwei Browserfenstern.

#WebEffective: Ansicht Testperson, zwei Browserfenster


Ein Fenster wird im oberen Bildschirmbereich angezeigt.

#WebEffective: AnsichtTestperson, oberes Browserfenster


Hier werden der Testperson mit einem Fortschrittsbalken der Fortschritt der Befragung (1), die zu bearbeitende Aufgabe (2) und Möglichkeiten zum Abgeben von Kommentaren, dem Abbrechen von Aufgaben und dem Anfordern von Hilfe geboten (3).

Im darunter liegenden Browserfenster wird in gewohnter Weise die getestete Website dargestellt. Dieses Fenster ist lediglich in seiner Größe etwas reduziert, da das andere Fenster den oberen Bildschirmbereich einnimmt.

Fragen an die Testperson, beispielsweise zu konkreten Seitenelementen wurden in diesem Test in einem Popup im unteren Browserfenster angezeigt (siehe Abbildung 3), es gibt jedoch auch andere Anzeigemöglichkeiten.

#WebEffective: Ansicht Testperson, Popup Frage


Alle erhobenen Daten, dazu gehören Performanz-Daten, Antworten, Profildaten, Kommentare und Klickpfade, werden im Modul CustomerScope gespeichert und stehen dem Testleiter zur Betrachtung und weiteren Nutzung zur Verfügung.

Die Testpersonen wurden durch eine E-Mail zum Test eingeladen. In dieser E-Mail befand sich ein Link, der die Testpersonen direkt zur Befragung führte, zu deren Beginn Informationen über die Benutzung der Testoberfläche und die Installation des benötigten Plugins gegeben wurden. Zum asynchronen Remote Test wurden in diesem Fall per E-Mail 1.581 Panelmitglieder des unseres Online-Access-Panels Bonopolis.de eingeladen. Die Befragung begannen 114 Personen, beendet wurde sie allerdings nur von 51 Personen. Die restlichen 63 Personen gaben zum großen Teil bereits nach der ersten Seite auf.

Sobald eine Testperson die Befragung abgeschlossen hat, stehen die Daten dieser Testsitzung im Modul CustomerScope zur Verfügung. Der Testleiter kann die Daten noch überprüfen, beispielsweise darauf, ob sich eine Person „blind“ in wenigen Minuten durch die Befragung geklickt und nur Blindtext hinterlassen hat. Ist der Datensatz vollständig und brauchbar kann er in die Auswertung einbezogen werden. In CustomerScope werden die Daten automatisch visuell aufbereitet, so dass zu jedem Zeitpunkt ein schneller Datenüberblick mittels Diagrammen von Antworten oder tabellarischen Auflistungen von Kommentaren möglich ist. Für den Testleiter läuft also die Datenerhebung ohne jeglichen Arbeitsaufwand ab und auch die Datenauswertung wird hier sichtlich erleichtert.

Die große Reichweite dieser Methode erlaubt es, große Stichproben zu nehmen und spezifische Stichproben, trotz der Ausfallrate, relativ leicht abzubilden. Auch werden, wie beim synchronen Remote Test, verschiedene Einstellungen an den PCs der Testpersonen und unterschiedliche Bandbreiten-Verbindungen in den Test mit einbezogen. Als ein Manko ist zu nennen, dass WebEffective in der Local-Connector-Variante bisher nur mit dem Internet Explorer läuft. Alternativ könnte die Remote-Connector-Variante (Datensammlung via Proxy-Server) gewählt werden, dies beinhaltet jedoch leichte Einbußen bei den gesammelten Daten – im Bezug auf deren Anzahl bzw. Vielfalt.

Sind Sie anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!