Ein Vergleich verschiedener Tools zur Durchführung von Remote-Usability-Tests

Hinweis: Dieser Beitrag erschien im März 2017

Das heißt, dass die hier gebotenen Informationen zu den einzelnen Forschungs- & Evaluationsmethoden weiterhin aktuell sind und bleiben; die skizzierte Toolausawahl und -beschreibung ist es jedoch nicht mehr, da sich die Techniklandschaft rasant entwickelt.

Bitte schauen Sie auf folgender Seite, was eresult in Sachen Remote UX alles bieten kann: Forschung, Evaluation, Testing, Training & Beratung.

(Remote) Tools alleine bringen keinen Erkentnisgewinn; es kommt auf die Zielsetzung an sowie ein wohldurchachtes Studiendesign; erst dann geben wir eine Empfehlung für ein Tool ab und machen mit Ihnen gerne einen kostenlosen, unverbindlichen Probelauf.

 

Was ist Remote-Testing?

Frei ins Deutsche übersetzt bedeutet der englische Begriff remote {adj} so etwas wie fern oder abgelegen. Tatsächlich beschreibt dieser Begriff bereits sehr gut, worum es beim Remote-Testing eigentlich geht, denn Letztendlich versuchen UX-Researcher mit einem Remote-Test nicht weiteres als einen herkömmlichen Usability-Test im Labor in das Web zu übertragen. Anders als bei einem Usability-Test im Labor sind der Proband und der Testleiter demzufolge räumlich voneinander getrennt. Dadurch befindet sich der Proband während eines Remote-Tests in seinem natürlichen Umfeld, dem sogenannten Feld.

Remote-Test bieten sich besonders gut an, sofern eine schwer zu erreichende Zielgruppe vorhanden ist, da die Probanden von einem beliebigen Ort aus am Test teilnehmen können. Weiterhin wird durch einen Remote-Test die künstliche Labor- und Testsituation abgemildert, sodass mit natürlicheren Ergebnissen gerechnet werden kann.
 

Arten von Remote-Testing?

Im Kontext von Remote-Testing unterscheidet man zwischen drei verschiedenen Ansätzen: Moderiert, selbst-moderiert und automatisiert.

Der moderierte Remote-Test definiert sich indem der Proband und der Testleiter während des Tests in Echtzeit miteinander verbunden sind, sodass diese Variante des Remote-Testings dem klassischen Usability-Test im Labor am ähnlichsten ist.  Ziel des moderierten Remote-Tests ist ein Austausch von Eindrücken und Erwartungen zwischen Proband und Testleiter. Das Gespräch beider Teilnehmer orientiert sich an einem vorab konzipierten Testleitfaden des Testleiters. Dadurch wird garantiert, sodass Probanden die identischen Fragestellungen bearbeiten. Die Daten welche aus einem moderierten Remote-Test hervorgehen besitzen einen qualitativen Charakter und ähneln strak an die eines klassischen Labortests.

Den Kontrast zum moderierten Remote-Test bildet der automatisierte Remote-Test. Hier sind Proband und Testleiter neben der räumlichen Distanz auch zeitlich voneinander getrennt. Der Probanden ist somit unabhängig vom Testleiter und folglich bei der Bearbeitung des Usecases auf sich allein gestellt. Automatisierte Remote-Tests setzten einen Fokus auf quantitative Daten, sodass eine größere Stichprobe befragt werden muss als bei einem moderierten Remote-Test. Vielmehr als die Frage "Warum handeln Nutzer auf meiner Website so" wird durch einen automatisierten Remote-Test die Frage geklärt "Was machen die Nutzer auf meiner Website?".

Eine Symbiose aus beiden soeben vorgestellten Ansätzen bildet der selbstmoderierte Remote-Test. Auch hier sind der Proband und Testleiter neben der räumlichen Distanz zeitlich voneinander getrennt. Der Moderator wird durch ein interaktives System ersetzt, welches die Probanden mit Usecases und Fragen versorgt. Der Nachteil dieser Methode ist offensichtlich: Da kein Testleiter direkt am Test teilnimmt können auch nicht weiterführende Fragen angesprochen werden, sollten diese während eines Tests aufkommen. Weiterhin kann auch der Schwerpunkt eines Interviews nach der Liveschaltung des Tests nicht verändert werden.

Verschiedene Arten von Remote-Tests (Abbildung 1)
 

Remote-Testing-Tools

Im folgenden Teil dieses Forschungsbeitrags möchten wir Ihnen eine Auswahl an Tools vorstellen, die speziell für das Remote-Testing entwickelt wurden oder dafür genutzt werden können. Dabei unterscheiden wir auch hier zwischen moderierten, selbstmoderierten und automatisierten Tools und zeigen Ihnen auch Tools welche gleich mehrere dieser Bereiche abdecken.


 

Tools zur Durchführung von Remote-Tests (Abbildung 2, aktualisiert im Mai 2020)

 

Tools für das moderierte Testen

Der moderierte Remote-Test definiert sich indem der Proband und der Testleiter während des Tests in Echtzeit miteinander verbunden sind. Demzufolge bildet die Kommunikation zwischen Proband und Testleiter den Grundstein für einen reibungslosen Ablauf. Neben dem verbalen Austausch von Eindrücken und Erwartungen zwischen Proband und Testleiter, ist der visuelle Austausch ebenso entscheidend für den Erfolg eines moderierten Remote-Tests. Folglich entsteht eine weitere Voraussetzung an die verwendeten Tools, nämlich das Teilen des Device-Screens. Beim sogenannten Screensharing teilt der Proband seinen Bildschirm, sodass der Testleiter in Echtzeit mitverfolgen kann welche Aktionen der Proband innerhalb des Testobjekts durchführt und so gegebenenfalls aus der Beobachtung wertvolle UX-Findings ableiten kann. Online-Meeting-Tool wie z. B. TeamViewer oder Cisco WebEx erfüllen diese Voraussetzungen und werden häufig für moderierte Remote-Test eingesetzt.

TeamViewer ist eine weit verbreitete Software für Screensharing und Remote-Tech-Support. Durch seinen Ursprung als Remote-Tech-Support-Tool bietet TeamViewer neben den herkömmlichen Funktionen eins Online-Meeting-Tools auch die Funktionen, dass der Testleiter das System des Probanden aktiv steuern kann. Die sogenannte Fernsteuerung ermöglicht es dem Testleiter den PC des Probanden zu bedienen, was besonders bei Situationen in denen der Probanden aktive Unterstützung benötigt sich extrem hilfreich erweist. Ein weiterer Vorteil von TeamViewer ist die Möglichkeit des mobilen Screensharings. Dadurch sind moderierte Remote-Tests auf mobilen Devices  problemlos möglich. Einzige Einschränkung dabei ist, dass diese Funktion momentan lediglich für Android-Nutzer verfügbar ist.

Cisco WebEx ist das Tool, welches bei den moderierten Remote-Tests bei eresult verstärkt zur Verwendung kommt. Das klassische Online-Meeting-Tool besticht vor allem durch seine Funktionsvielfalt. Folglich ermöglicht WebEx ein einfaches Screensharing, die verbale und visuelle Kommunikation via VoIP-Videokonferenz und eine interne Aufnahmefunktion. Für die erfolgreiche Teilnahme an einem Test ist für die Probanden lediglich die Installation eines Browser Plug-Ins nötig und schon kann der Test beginnen.

 

TeamViewer

Cisco WebEx

Mobile Testing

Screensharing und Fernsteuerung bei Android-Devices problemlos möglich. Bei iOS-Devices kann lediglich an einer Audiokonferenz teilgenommen werden.

Mobile kann lediglich an einer Audiokonferenz teilgenommen werden. Screensharing auf mobilen Devices ist nicht möglich.

Rekrutierung

Da es sich um kein spezifisches Usability-Tool handelt, ist nur eine eigenständige Rekrutierung möglich.

Da es sich um kein spezifisches Usability-Tool handelt, ist nur eine eigenständige Rekrutierung möglich.

Besonderheiten

Ermöglicht die Fernsteuerung der Probanden-PCs oder Smartphones durch den Testleiter.

Gute Funktionsvielfalt und Usability

 

Hybride Tools - Zwischen moderiert und selbstmoderiert

Validately ist ein Tool welches speziell für die Konzeption und Durchführung von Usability-Tests entwickelt wurde. In seiner Funktion als hybrides Tool bietet Validately die Möglichkeit sowohl moderierte als auch selbstmoderierte Tests durchzuführen. Die Implementierung eines Remote-Tests mithilfe von Validately gestaltet sich dabei sehr leicht und benutzerfreundlich, denn das Tool leitet einen Schritt für Schritt an. Zunächst muss ausgewählt werden ob ein moderierter oder selbstmoderierter Test durchgeführt werden soll. Anschließend werden das Testobjekt und das Device (Smartphone oder Desktop) festgelegt. Nachdem die ersten Parameter definiert wurden geht es im Falle eines selbstmoderierten Tests an die Beschreibung der Usecases inkl. retrospektiver Fragestellungen. Als letzten Schritt besteht die Möglich sich seine Studie in einer Preview anzusehen bevor diese für die Probanden zugänglich gemacht wird. Validately generiert nun einen Link welcher an die Probanden verschickt wird. Die Rekrutierung kann hierbei selbst durchgeführt werden oder wird für einen Preis von 15 $ je Proband von Validately übernommen. Das Tool führt die Probanden nun zunächst durch ein Tutorial über den Ablauf, bevor der eigentlich Test startet. Nachdem ein Proband einen Test erfolgreich abgeschlossen hat kann der Testleiter das hierbei aufgezeichnete innerhalb seinen Validately-Dashboards ansehen und downloaden. Was er sieht ist der Screen und die Mimik der Probanden. Weiterhin können die Daten der retrospektiven Fragenstellungen analysiert werden.


Konzeption und Durchführung eines Remote-Tests mit Validately (Abbildung 3)

Auch Lookback ist ein Tool welches speziell für Usability-Tests entwickelt wurde. Wie Validately ermöglicht Lookback sowohl moderierte Tests als auch selbst-moderierte Test durchzuführen. Im Gegensatz zu Validately fällt die Implementierung eines selbstmoderierten Tests bei Lookback jedoch deutlich kürzer aus. Neben der Definition des Testobjekts wird lediglich angeboten einen kurzen Einführungstext an die Probanden zu verfassen. Folgend wird eine E-Mail generiert, welche an die Probanden versendet werden kann. Diese führt die Probanden direkt zum Start des Tests, was sich als sehr simple in der Durchführung erweist.

Abläufe eines Remote-Tests mit Lookback (Abbildung 4)

Nachdem ein Proband einen Test erfolgreich abgeschlossen hat, kann der Testleiter das hierbei aufgezeichnete innerhalb seinen Lookback-Dashboards ansehen und downloaden. Was er sieht ist der Screen und die Mimik der Probanden.

Im Kontext der selbstmoderierten Test besteht der Vorteil von Validately gegenüber Lookback darin, dass die Einbindung von Usecases und retrospektiven Fragestellung an den Probanden möglich ist. Diese Funktion fehlt bei Lookback, wodurch das Tool für Researcher deutlich unattraktiver gestaltet, da ein Weg gefunden werden muss, um die Usecases und Fragestellung an den Probanden zu übermitteln.

Neben selbstmoderierten Test sind ebenfalls moderierte Remote-Tests mit Lookback möglich, sogar auf mobilen Devices. Wie sich diese gestalten kann im folgenden Beispielvideo des Unternehmens gut nachvollzogen werden. Leider ist die Funktion einen moderierten Remote-Test durchzuführen momentan lediglich für Desktop und iOS-Nutzer verfügbar. Android Nutzer müssen auf anderen Tool zurückgreifen oder warten bis diese Funktion implementiert wird.

Link zum Live Demo von Lookback

 

Validately

Lookback

Mobile Testing

Mobile Test mit Validately sind lediglich auf mobile Websites ausgelegt. Test nativer Applikationen ist nur sehr beschränkt möglich.

Moderiertes Testen ist lediglich mit iOS-Devices möglich. Unmoderiertes Testen nur mit Android-Devices.

Rekrutierung

Sowohl eine eigene Rekrutierung als auch die Rekrutierung über Validately ist möglich.

Nur eine eigene Rekrutierung ist möglich.

Besonderheiten

Sehr vielfältiges Tool mit großem Funktionsumfang und sehr guter Usability für Testleiter und Proband. Leider ist das Tutorial für die Probanden nur in englischer Sprache verfügbar. 

Das Unternehmen Lookback entwickelt sich sehr schnell weiter und bringt regelmäßig eine Verbesserung ihrer Produkte hervor. Es empfiehlt sich diesen Anbieter im Auge zu behalten.

 

Tools für das selbstmoderiert Testen

Rapidusertests ist ein deutscher Anbieter für klassische selbstmoderierte Remote-Tests. Hinter Rapidusertests verbürgt sich die Usability-Agentur Userlution aus Berlin. Ausschlaggebend für einen Test mit Rapidusertests ist der günstige Preis. Ab 49 € pro Video (inkl. Rekrutierung) ist Rapidusertests damit deutlich günstiger als viele Tool-Konkurrenten. Weiterhin bleibt zu beachten, dass je mehr Probanden gebucht werden sich der Preis weiter reduziert. So zahl man bei 10 Probanden einen Gesamtpreis von 390 €. Was Sie für diesen Preis bekommen sehen Sie im folgenden Beispielvideo des Unternehmens:
https://www.youtube.com/watch?v=RlD30uQDjF0

Im Gegenzug zum günstigen Preis besitzt der UX-Researcher lediglich eine eingeschränkte Anzahl an Fragen und Aufgaben die einem Probanden gestellt werden können. Auch die Länge eines Videos ist auf 15 bis 20 Minuten beschränkt. Folglich eigene sich Rapidusertests eher, um kleine Funktionen zu testen.

Das US-amerikanische Unternehmen Usertesting.com ist Marktführer unter den Remote-Testing-Tools und leistet seit Jahren Pionierarbeit in diesem Feld. Mittlerweile hat sich das Tool vom einfachen Anbieter von Remote-Tests zu einem Full-Service-Anbieter im Bereich UX entwickelt. Usertesting.com bietet demzufolge neben den klassischen Remote-Test Produkten Optionen wie z. B. A/B-Testing, Fokusgruppen oder Card-Sortings an. Um an geeignete Probanden zu gelangen kann zum einen selbstständig rekrutiert werden oder dies ebenfalls Usertesting.com überlassen. Panels des Unternehmens befinden sich in den USA, in Großbritannien, Kanada, Australien und Indien. Preise veröffentlicht das Unternehmen auf seiner Website nicht, diese müssen individuell verhandelt werden.

 

Rapidusertests

Usertesting.com

Mobile Testing

Mobile Tests sind durchführbar, jedoch nicht im Feld. Der Proband ist an einen festen Ort gebunden.

Mobile Test sind laut Website des Anbieters problemlos durchführbar. Über den technischen Hintergrund wird geschwiegen.

Rekrutierung

Tool und Rekrutierung ist nur auf Deutsch verfügbar. Eigene Probanden können laut Website ebenfalls rekrutiert werden.

Eigene Probanden können laut Website ebenfalls rekrutiert werden.

Besonderheiten

Einer der günstigsten Anbieter.

Marktführer und Pionier im Bereich Remote-Testing.

 

Tools für das automatisierte Testen

Der Fokus des Tools Loop11 liegt auf dem Testen mit größeren Stichprobe und generiert einen Datensatz mit quantitativen Charakter. Metriken welche innerhalb von Loop11 erhoben werden sind z. B. die Klickpfade der einzelnen Probanden während eines Szenarios oder dessen Erfolgsrate. Eine Aufzeichnung der einzelnen Sessions findet lediglich statt sofern ein Java-Script in den Quellcode des Testobjekts eingebunden ist. Hierbei ist jedoch zu beachten, dass es sich um eine Aufnahme des PC Screens handelt. Demzufolge ist eine Aufzeichnung des Probanden inkl. Ton (Stichwort: "lautes Denken") nicht möglich.

Das Tool Chalkmark aus dem Hause Optimalworkshop ist eine Anwendung welche sich auf einen sogenannten "First-Click Test" spezialisiert hat. Den Probanden wird zunächst ein vorab vom Testleiter definierter Usecase vorgestellt. Anschließend sehen sie ein Bild eines Screens und müssen einen einzelnen Klick durchführen. Das folgende Demovideo gibt einen guten Einblick in das Tool:

https://www.youtube.com/watch?v=GTi55c_60pc

Die Implementierung eines Tests mit Chalkmark gestaltet sich als sehr schnell und einfach. Für einen erfolgreichen Test ist lediglich die Bilddatei eines Screens notwendig sowie ein dazugehörige Task. Es ist zu beachten, dass für eine valide Datenerhebung eine große Stichprobe verwendet werden muss.

Das Ergebnis eines Tests mit Chalkmark sind verschiedene Metriken (z. B. Zeit bis zum ersten Klick), wobei das Kernstück der Auswertung eindeutig die Heatmaps bilden. Ein Beispiel für eine durch Chalkmark erzeugten Heatmap ist folgend zu sehen.

Beispiel einer Heatmap durch Chalkmark (Abbildung 5)

 

Loop11

Chalkmark

Mobile Testing

Ist lediglich für mobile Websites möglich.

Ist problemlos möglich, da lediglich Bilddateien von Screens hochgeladen werden.

Rekrutierung

Lediglich die Rekrutierung eigener Probanden ist möglich.

Lediglich die Rekrutierung eigener Probanden ist möglich.

Besonderheiten

Durch das Tool lassen sich eine Vielzahl an Metriken erheben. Eine Videoaufzeichnung findet nicht statt.

Extrem einfache und schnelle Implementierung eines Tests.

 

Hybride Tools zwischen selbstmoderiert und automatisiert

Userzoom ist ein etablierter Name, wenn es um Remote-Testing geht. Der international agierende Anbieter beschreibt sich selber als Self-Service-Plattform für onlinebasierte Nutzerstudien. Ich bin der Meinung dieser Begriff trifft es sehr gut. Userzoom besticht durch seinen enormen Funktionsumfang und die Option, verschiedene Ansätze von UX-Methoden zu kombinieren. Neben einem klassischen Remote-Test (wie etwa mit Validately) bietet Userzoom die Möglichkeit komplexe Fragenbögen einzubinden oder gar ein (Reverse-) Cardsorting in seinen Test einzubinden. Im Vergleich zu anderen Tools ist Userzoom dementsprechend kostenintensiv. Die Preise werden individuell vereinbart und beginnen ab ca. 2.500 € pro Studie.

Applause ist Full-Service-UX-Anbieter. Das Unternehmen aus erfahrenen UXlern berät bei der Konzeption der Usecases, implementiert den Test und hilft bei der Auswertung. Folglich ist Applause nicht als Do-It-Yourself-Anbieter wie z. B. Userzoom anzusehen, sondern gleicht mehr einer UX-Agentur, welche sich auf den Remote-Markt konzentriert hat. Bei der Rekrutierung arbeitet Applause mit einem globalen Netzwerk von vorab geschulten Probanden. Die Rekrutierung eigener Probanden ist folglich nicht möglich ohne eine vorangehende Schulung des Unternehmens. Demzufolge eignet sich die Nutzung von Applause eher für Inhouse UX Consultants bzw. langfristig angelegte Projekte. Es ist davon auszugehen dass es UX Agenturen oder Freiberufler an Flexibilität bei Applause mangelt. So kann z. B. selbst eine kleine Änderung an den Usecases nur durch einen Mitarbeiter von Applause vorgenommen werden.

 

Userzoom

Applause

Mobile Testing

Bei mobilen Websites problemlos möglich. Native Applikationen benötigen eine SDK

Bei mobilen Websites problemlos möglich. Bei Nativen Applikationen müssen Abstriche vorgenommen wenden.

Rekrutierung

Möglich

Nicht möglich

Besonderheiten

Sehr großer Funktionsumfang, aber dafür sehr kostenintensiv

Team aus Erfahrenen UXlern berät bei der Umsetzung eines Tests

 

Wünschen Sie sich mehr Informationen oder Beratung zu den Remote Testing-Tools? Gerne können Sie uns kontaktieren und einen Beratungstermin mit uns vereinbaren! Nutzen Sie dafür einfach das unten stehende Formular:

Sind Sie anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!

Martin Beschnitt

zum Kontaktformular


Das könnte Sie auch interessieren:

Relevante eresult-Produkte: