Asynchroner Remote Test – theoretisch betrachtet

Als eine Möglichkeit des Remote Testings soll hier ein kurzer theoretischer Überblick über die Methode des asynchronen Remote Tests gegeben werden. Verschiedene Möglichkeiten des asynchronen Remote Tests werden beschrieben, außerdem werden einige Vor- und Nachteile, die dieser Methode innewohnen, aufgeführt.

Methodenbeschreibung

Wie es für Remote Tests typisch ist, nehmen die Testpersonen beim asynchronen Remote Test von ihrem Rechner zu Hause oder am Arbeitsplatz aus teil. Anders als beim synchronen Remote Test, bei welchem immer noch eine direkte Interaktion zwischen Testperson und Testleiter geschieht, ist es bei dieser Variante darüber hinaus möglich, dass die Testperson zu jeder ihr passenden Zeit an dem Test teilnehmen kann. Es besteht also sowohl eine räumliche als auch eine zeitliche Trennung zwischen dem Testleiter und der Testperson.

Die bei einem Test anfallenden Daten werden automatisch gesammelt und gespeichert, so dass sie dem Testleiter später zur Auswertung vorliegen. Aus diesem Grund wird der asynchrone Remote Test teilweise auch als automatisierter Usability-Test bezeichnet.

Unterschiedliche Verfahren

In der vorhandenen Literatur werden unterschiedliche Datenerhebungsverfahren zur Methode des asynchronen Remote Tests gezählt.

Als eine mögliche Ausführung des asynchronen Remote Tests wird die Datenerhebung mittels eines Fragebogens beschrieben, welcher durch eine bestimmte Nutzeraktion, bspw. dem Erreichen einer zuvor definierten Seite ausgelöst wird. Folglich ist die Erhebung hierbei auf subjektive Daten beschränkt und fängt keine Daten ein, die direkt beim Auffinden spezifischer Usability-Probleme behilflich sind.

Als eine andere Möglichkeit wird der instrumentierte Remote Test gesehen. Bei dieser Methode wird der getesteten Applikation ein Code eingefügt, mittels dem ein Protokoll der Nutzeraktionen, z.B. Mausklicks und Tastatureingaben, angefertigt wird. Diese Variante beeinträchtigt den Nutzer in keiner Weise bei seiner Interaktion mit dem System. Jedoch ist es schwierig, nur aus den Log-Files konkrete Usability-Probleme abzuleiten.

Weiterhin wird die Möglichkeit des semi-instrumentierten Remote Tests angeführt. Hierbei geben die Nutzer Rückmeldung über kritische Vorkommnisse, sogenannte „Critical Incidents“, welche sowohl positiv als auch negativ sein können. Stößt eine Testperson bei der Nutzung auf ein Problem oder einen Aspekt, der ihr gut gefällt, kann sie dies über einen Button melden und einen kurzen Kommentar hinterlassen. Hierfür erhalten Sie vor dem Test eine kurze Einweisung. Negative Critical Incidents werden als Indikatoren für Usability-Probleme angesehen. Die Eingaben der Nutzer werden zusammen mit Kontextinformationen, beispielsweise Mausklicks oder sogar Screenvideos, zur späteren Analyse abgespeichert. Hierbei ist schwierig, das zum Auffinden von Usability-Problemen nötige Maß an Kontextinformationen zu den Critical Incidents abzuspeichern, da die Meldung über einen solchen meist mit etwas Verzögerung geschieht.

Vorteile

Einige der Vorteile des asynchronen Remote Tests decken sich mit denen des synchronen Remote Tests. Hier sind zu nennen:

  • Einbezug schwer erreichbarer Zielgruppen
  • Nutzung aus natürlicher Umgebung heraus, sehr eng an realer Nutzungssituation
  • Die Nutzer arbeiten mit unterschiedlicher Hardware und verschiedenen Softwareeinstellungen
  • Zielgruppen können einfacher abgebildet werden, da man bei der Auswahl der Testpersonen nicht geografisch eingeschränkt ist.

Ein zusätzlicher Vorteil des asynchronen Remote Tests ist, dass eine sehr große Anzahl an Testpersonen getestet werden kann, dass die (qualitativen) Aussagen der einzelnen Testpersonen durch diese Stichprobengröße quantifiziert werden können.

Ebenfalls von Vorteil ist, dass viele der Tools zur Durchführung eines asynchronen Remote Tests es ermöglichen, auf einfache Weise Klick-, Befragungs- und Kommentardaten integriert und entweder auf der Ebene einzelner Testpersonen oder über alle Testpersonen hinweg, auszuwerten.

Als weiterer Vorteil ist zu nenne, dass die Testleiter nur noch in der Vor- und Nachbereitung des Tests involviert sind, die Phase der Datenerhebung aber ohne ihre aktive Teilnahme abläuft.

Nachteile

Als Nachteil des asynchronen Remote Tests ist zu nennen, dass er den Kunden (Anbietern / Entwicklern der Website) nicht erlaubt die Testpersonen bei der Nutzung zu beobachten. Diese Beobachtung ist meist jedoch sehr eindrucksvoll und führt bei den Kunden zu „Aha-Erlebnissen“ bei der Bedeutung von Usability-Problemen. Hier ist auch zu nennen, dass bei dieser Methode die Mimik der Testpersonen nicht in die Auswertung einbezogen werden kann.

Ein Kritikpunkt der auch schon beim synchronen Remote Test auftritt, ist, dass bei der Datenerhebung Probleme durch auf Seiten der Testpersonen installierte Firewalls entstehen können. Dies kann eventuell umgangen werden, wenn die Testpersonen rechtzeitig darauf hingewiesen werden und sich bereit erklären, ihre Sicherheitseinstellungen für die Dauer des Tests etwas zu lockern.

Weiterhin wird von einigen Autoren kritisch gesehen, dass die Testpersonen zur Durchführung des Tests teilweise ein Plugin installieren müssen, wogegen sich viele Nutzer aber aufgrund von Sicherheitsbedenken sträuben bzw. es ablehnen.

Tools

Ein bekanntes Tool zum Durchführen von asynchronen Remote Tests ist z. B. „WebEffective“ des amerikanischen Anbieters Keynote. Dieses Tool lässt sich dem semi-instrumentellen Ansatz zuschreiben und verfügt über breite Möglichkeiten der Datensammlung. In einem folgenden Artikel wird die Durchführung eines asynchronen Remote Tests mit Hilfe dieses Tools beschrieben.

Sind Sie anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!