AB-Tests sind wertlos ... wenn sie ohne Nutzerbefragung durchgeführt werden!

Gleich vorab: AB-Tests sollten zur Toolbox von Website-Betreibern und Usability-Consultants genauso dazugehören wie z. B. Labtests und Zufriedenheitsbefragungen – keine Frage.

Ich möchte an dieser Stelle jedoch die Grundproblematik jeder Art von Erhebung aufzeigen, bei der keine Segementierung und differenzierte Gruppenanalyse in Bezug auf gemessene Daten vorgenommen wird. Und stattdessen einfach „über alle Untersuchungsteilnehmer“ Daten ausgewiesen und interpretiert werden. Das sollte unbedingt vermieden werden.

Dazu ein Beispiel aus der Praxis: Nehmen wir an Sie führen einen Test zur Gestaltung des Warenkorb-Teasers auf Ihrem Online-Shop durch. Dabei setzen Sie zwei Varianten um und führen einen AB-Test durch:

Variante 1 - „der Klassiker“ (Status Quo, Mai 2010)
Der Teaser wird mit Warenkorb bezeichnet. Zudem ist ein Warenkorb bzw. Einkaufswagen im Teaser abgebildet.

Variante 2 – „die Unkonventionelle“

Beispiel Adler Moden (2010)

Bei dieser Variante wird eine Einkaufstasche im Teaser abgebildet, und ein entsprechendes Wording verwendet.

In dem AB-Test werden verschiedene Zielgrößen gemessen. Unter anderem die Anzahl an Klicks auf den Button „zur Kasse“, welcher in beiden Teaservarianten vorhanden, identisch gestaltet und positioniert ist.

Ergebnis des AB-Tests: Variante 1 – der Klassiker gewinnt. Und zwar auf fast allen Zielgrößen.

Sollte und kann das Unternehmen nun die Ableitung vornehmen: „Wir belassen alles so wie es ist, der Status Quo (Warenkorb) kann beibehalten werden.“?

Das kommt drauf an! – und zwar auf das im Test gezeigte Verhalten verschiedener Nutzer-/Kundengruppen!

Der für den AB-Test verantwortliche Mitarbeiter sollte sich unbedingt die Frage stellen, wie unterschiedliche Zielgruppen oder Nutzer-/ Kundensegmente auf die beiden Varianten „reagiert“ haben.
Erst mit Hilfe solcher Gruppenbetrachtungen bzw. –analysen können entscheidungsrelevante Erkenntnisse aus den Daten abgeleitet werden.

Beispielsweise erkennt der für den Test verantwortliche Mitarbeiter, dass Frauen deutlich vorteilhafter auf die Variante 2 (E inkaufstasche) reagiert haben, d.h. ausgehend von diesem Teaser häufiger auf den Button „zur Kasse“ geklickt und in der Folge auch mehr eingekauft haben.

Weitere Gruppenanalysen führen zu der Erkenntnis, dass ältere Nutzerinnen und auch Kundinnen (50plus), im Vergleich zu jüngeren Shop-Besucherinnen (30-45 Jahre), signifikant öfter auf den Button „zur Kasse“ geklickt haben, wenn die Variante 1 (klassischer Warenkorbteaser) im Testzeitraum zur Auslieferung gekommen ist.

Mit Hilfe dieser zusätzlichen Informationen - die über das Testergebnis „Variante 1 schlägt Variante 2“ hinausgehen - kann die Geschäftsleitung in Absprache mit dem Testleiter nun eine Entscheidung treffen, die auf zuverlässiger und ausreichender Datenbasis beruht.

Hat die Geschäftsleitung z. B. die strategische Zielvorgabe vorgegeben (bekommen), dass in den kommenden Jahren vor allem Frauen im Alter von 30-45 Jahren als Kundinnen gewonnen und gehalten werden müssen, dann sollte die:

Variante 2 – „die Unkonventionelle“

eingeführt werden – die Gruppenanalysen lassen keine andere Entscheidung zu.

Eine ausschließliche Betrachung der Verhaltensdaten aus dem AB-Test reicht also nicht aus, will man die „richtige Entscheidung“ herbeiführen. Der Testleiter und die Geschäftsleitung brauchen zusätzlich Informationen über die Nutzer/-innen, welche am AB-Test teilgenommen haben.

Solche „nutzerbezogenen“ Daten lassen sich über klassische Verfahren einer Online-Befragung erheben. Verbindet der Testleister die Nutzerdaten aus einer Befragung mit den (Klick-/Verhaltens-) Daten des AB-Tests, dann können die oben aufgezeigten Gruppenanalysen durchgeführt, und somit die richtigen Maßnahmen abgeleitet werden.

Klingt einfach – wie immer steckt der Teufel im Detail, aber es geht.
Es gibt bereits Content-Sites, Reiseportale und Online-Shops unter unseren Kunden die derart vorgehen, und somit die richtigen Entscheidungen aus AB-Tests ableiten.

Sind Sie anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!