Reverse Card Sorting als Methode zur Evaluation einer Informationsarchitektur

Grafik Reverse Card Sorting Informationsstruktur

Das offene Card Sorting ist eine bewährte Methode, um die Entwicklung oder Optimierung einer Informationsarchitektur zu unterstützen. Es hilft, das mentale Modell der Nutzer zu verstehen und so die Inhalte besser zu gruppieren und zu benennen. Die Entwicklung der Informationsarchitektur findet meist früh im Projekt statt, da sie die Basis für weitere Entwicklungsschritte wie die Navigation bildet. Somit ist es sinnvoll, sie auch so früh wie möglich mit echten Nutzern zu testen und Probleme im Ansatz zu erkennen und zu korrigieren.

Aber wie testet man eine Informationsarchitektur? Häufig wird ein geschlossenes Card Sorting empfohlen, doch ist das wirklich die richtige Vorgehensweise? – Nein, denn mit dem so genannten Reverse Card Sorting gibt es eine wesentlich besser geeignete Methode.

Methodik im Überblick

Die Ansätze dieser Methode wurden als Card-Based Classification Evaluation von Donna Spencer entwickelt. Sie wird auch als Tree Testing bezeichnet, da es um die Evaluation einer hierarchischen Baumstruktur geht.
Reverse Card-Sorting ist im Kern ein Mini-Usabilty Test, der sich nur auf die Informationsarchitektur bezieht. Genau wie im Usability-Test bekommen die Probanden Aufgaben, die sie lösen sollen. Diese Aufgaben drehen sich immer um das Auffinden einer bestimmten Information. Die Probanden suchen anhand der reinen, hierarchischen Informationsarchitektur danach (siehe Abb. 1). Das Reverse Card Sorting abstrahiert somit von allen weiteren Einflüssen wie dem Navigationsdesign, Direkteinstiegen auf tieferen Ebenen und Suchfunktionen.



Abb. 1: Ein Reverse Card Sorting mit der Software TreeJack aus Probandensicht
[Bild vergrößern]

 

In ihrer ursprünglichen Form wurde die Methode face-to-face mit einem Moderator und unter Verwendung von Indexkarten durchgeführt. Inzwischen gibt es jedoch eine Vielzahl an Software-Tools, die remote und ohne Moderator funktionieren.

 

Vorteile der Methode

Das frühzeitige Testen der entwickelten Informationsarchitektur hat viele Vorteile:

  • Resultierende Änderungen können vorgenommen werden, bevor darauf aufbauende Layouts und Navigationssysteme designt wurden. So kann viel Aufwand vermieden werden.
  • In späteren Tests aufgetretene Probleme mit der Navigation können besser isoliert werden, da die Informationsarchitektur bereits verifiziert wurde. Folgende Anpassungen können also auf die Gestaltung der Navigation beschränkt werden, so dass unnötige oder sogar kontraproduktive Änderungen vermieden werden.
  • Ein Reverse Card Sorting erlaubt die Erhebung eindeutiger Kennzahlen, die gut verglichen werden können. Der Erfolg der neuen Informationsarchitektur gegenüber einer alten oder gegenüber weiteren Varianten kann auf diese Weise klar belegt werden.
  • Im Allgemeinen ist ein Reverse Card Sorting mit relativ geringem Aufwand verbunden, wenn es mit Hilfe von Online-Tools durchgeführt wird. So können günstig wichtige Erkenntnisse erlangt werden, die sich sonst erst später durch aufwändigere Methoden ergeben würden.

Vergleich mit geschlossenem Card Sorting

Häufig wird zur Evaluation einer Informationsarchitektur ein geschlossenes Card Sorting empfohlen und durchgeführt. Diese Methode ist noch einfacher durchzuführen und weitläufig bekannt. Aber es gibt einige entscheidende Nachteile:

  • Die Validität eines geschlossenen Card Sortings ist fragwürdig, denn das Sortieren von Informationen ist ein ganz anderer kognitiver Prozess als das Suchen. Reverse Card Sorting dagegen stellt den Probanden Aufgaben, die ihrer eigentlichen Herangehensweise besser entsprechen.
  • Das Einsortieren von Begriffen ist für die meisten Probanden ungewöhnlich, so dass die Methodik des geschlossenen Card Sortings ihnen schwer vermittelbar ist. Das Lösen von Suchaufgaben beim Reverse Card Sorting dagegen ist für jeden einfach zu verstehen.
  • Ein geschlossenes Card Sorting ist immer auf zwei Hierarchieebenen begrenzt. Dies entspricht nur in den seltensten Fällen der Realität, denn häufiger geht es um 3 und mehr Ebenen. Mit einem Reverse Card Sorting lassen sich diese problemlos abdecken.

Auswahl und Formulierung der Aufgaben

Der kritischste Faktor beim Reverse Card Sorting sind die gestellten Aufgaben. Denn besonders beim unmoderierten Reverse Card Sorting gibt es nur einen Versuch – Nachfragen der Probanden und weitere Erklärungen sind nicht möglich. Nur richtig ausgewählten und gut formulierten Aufgaben kann eine hohe Validität und Aussagekraft der Ergebnisse erreicht werden. Genau wie bei einem normalen Usability-Test ist dies eine Fähigkeit, die sehr viel mit Erfahrung zu tun hat. Jahren von Nutzerstudien zeigen, was funktioniert und was zu Problemen beim Test führen wird. Trotzdem gibt es einige Grundregeln für die Aufgaben eines Reverse Card Sortings:

  • Insgesamt sollten pro Proband nur etwa 10-15 Aufgaben gestellt werden, da Reihenfolgeeffekte einen hohen Einfluss haben. Um mehr Szenarien zu testen sollten die Probanden in unterschiedliche Gruppen eingeteilt werden, die jeweils andere Aufgaben bekommen.
  • Die für die Aufgaben zu suchenden Informationen sollten in möglichst unterschiedlichen Bereichen der Informationsarchitektur zu finden sein. So sehen die Probanden nicht immer wieder dieselben Begriffe, was die Reihenfolgeeffekte abmindert.
  • Die Aufgaben sollten zudem in zufälliger Reihenfolge gestellt werden, um Reihenfolgeeffekte möglichst zu neutralisieren.
  • Der Fokus der Untersuchung sollte auf die Bereiche der Informationsarchitektur gelegt werden, die sich in vorangegangenen Card Sortings und Diskussionen bei der Entwicklung als problematisch herausgestellt haben. Häufig sind dies besonders die Informationen, die nicht klar einem Unternehmensbereich zugeordnet werden können.
  • Die Aufgaben sollten sich immer auf einen tatsächlichen Bedarf der Nutzer beziehen. Fragen nach Informationen, die kein Nutzer wirklich sucht, werden keine relevanten Ergebnisse bringen.
  • Die Aufgabenstellungen sollten kurz und bündig sein. Es ist kein ausgefeiltes, übergreifendes Szenario wie im Usability-Test nötig.
  • Die Begriffe aus der zu testenden Informationsarchitektur sollten in den Aufgabenstellungen unbedingt vermieden und nur umschrieben werden. Sehr hilfreich können dafür die Daten eines vorangegangenen offenen Card Sortings oder aus anderem User Research sein.
  • Bereits vorhandene Hypothesen zu problematischen Begriffen können sehr gut geprüft werden. Die Aufgaben sollten durch ihre Formulierung genau diesen Aspekt der Informationsarchitektur beleuchten.

Moderierte und unmoderierte Durchführung

Reverse Card Sorting können sowohl auf Indexkarten mit einem Moderator durchgeführt werden als auch remote und unmoderiert mit Hilfe eines Online-Tools. Ähnlich wie bei offenen Card Sortings haben beide Methoden Vorteile: Ein Moderator kann Nachfragen stellen und somit ein besseres Verständnis gewinnen, warum bestimmte Probleme bestehen. Toolbasiert dagegen kann eine wesentlich höhere Stichprobe gewählt werden, so dass statistische Auswertungen möglich sind.

Da Reverse Card Sorting ein evaluierender Ansatz ist, sollte in den meisten Fällen die unmoderierte Variante bevorzugt werden. Nur so lassen sich belastbare Daten gewinnen. Vor allem wenn im Vorfeld bereits User Research durchgeführt wurde lassen sich die Ursachen für Probleme meist auch so erkennen. Bestenfalls werden im Nachgang noch einige moderierte Sessions durchgeführt, die sich dann auf die problematischen Aufgaben konzentrieren können. So werden die Vorteile beider Varianten kombiniert.

Auswertungsmöglichkeiten

Bei der Auswertung eines Reverse Card Sortings ergeben sich drei wichtige Metriken:

  • Erfolgsquote: Der Anteil derer, die die gesuchte Information gefunden haben. Dies ist die zentrale Kennzahl für die Güte der Informationsarchitektur.
  • Direktheit: Der Anteil derer, die während der Suche keine Rückschritte vorgenommen haben. Die Direktheit gibt Aufschluss darüber, wie sicher die Probanden bei ihrer Wahl waren.
  • Zeit: Die für jede Aufgabe aufgewendete Zeit. Auch die Zeit kann ein Maß für die Unsicherheit der Probanden sein, sollte aber nur bei auffällig hohen Werten betrachtet werden.

Anhand dieser Kennzahlen lässt sich für jede Aufgabe eine erste Einschätzung vornehmen (siehe Abb. 2). Aufgaben mit Erfolgsquoten über 80% stellen generell kein Problem dar. Bei niedrigeren Werten und auch bei einer auffällig geringen Direktheit sollte die Aufgabe im Detail betrachtet werden.



Abb. 2: Die Kennzahlen einer Aufgabe im Überblick bei der Software TreeJack
[Bild vergrößern]

 

Insbesondere sollte betrachtet werden, welche Seiten fälschlicherweise als Zielseiten gewählt wurden und an welchen Punkten in der Informationsarchitektur der falsche Weg eingeschlagen wurde. An diesen Stellen sollte angesetzt werden. Die Strukturierung und die Benennung der Seiten sollte auf Kongruenz mit dem mentalen Modell der Nutzer überprüft werden. Häufig treffen analoge Probleme zudem auch auf andere Bereiche zu, die nicht getestet wurden. Gewonnene Erkenntnisse lassen sich dann übertragen.

 



Abb. 3: Visualisierte Navigationspfade in der Pietree-Auswertung der Software TreeJack
[Bild vergrößern]

 

Eine interessante Auswertungsmöglichkeit bietet das Tool TreeJack mit den so genannten Pietree-Diagrammen (siehe Abb. 2). Diese Visualisierung der Navigationspfade gibt einen guten Überblick und erlaubt gleichzeitig eine sehr detaillierte Betrachtung.

 

Zusammenfassung

Reverse Card Sorting ist eine leider noch nicht so weit verbreitete Methode zur Evaluation von Informationsarchitekturen, die aber großes Potential hat. Gerade toolgestützt lassen sich mit geringem Aufwand Studien durchführen, die belastbare Daten liefern. So können Probleme frühzeitig identifizieren werden. Ohne ein Reverse Card Sorting würden diese erst später im Entwicklungsprozess zu Tage treten. Der Erstellung des Studienkonzeptes mit Aufgaben für die Probanden sollte aber die nötige Sorgfalt zukommen. Um ungewünschte Nebeneffekte zu vermeiden ist einiges an Erfahrung mit Nutzerstudien notwendig.

Quellen:

  1. Bowles, C. & Box, J. (2010): Undercover User Experience Design, New Riders
  2. Heim, Steffen (2013): Card Sorting: Mit dem richtigen Vorgehen eine für den Nutzer verständlichen Informationsstruktur entwickeln, In: Forschungsbeiträge der eResult GmbH, URL: www.eresult.de/studien_artikel/forschungsbeitraege/Card_Sorting.html
  3. Kalbach, J. (2007): Designing Web Navigation: Optimizing the User Experience, O’Reilly.
  4. Mayfield, A. (2010): Ideas vs Solutions: Why card sorting loves tree testing (and why tree testing feels it too), URL: www.globaluserresearch.com/blog/2010/12/ideas-vs-solutions-why-card-sorting-loves-tree-testing-and-why-tree-testing-feels-it-to
  5. Morville, P. & Rosenfeld, L. (2007): Information architecture for the World Wide, Web, 3rd edn, O’Reilly
  6. O‘Brien, D. (2009): Tree Testing, URL: boxesandarrows.com/tree-testing/
  7. Rosenmejer, M. (2011): Tree testing: an important step early in the web design process, URL: www.webcredible.co.uk/user-friendly-resources/web-usability/tree-testing.shtml
  8. Ross, J. (2011): Comparing User Research Methods for Information Architecture, URL: www.uxmatters.com/mt/archives/2011/06/comparing-user-research-methods-for-information-architecture.php
  9. Sauro, J. (2012): Card Sorting + Tree Testing : The Science of Great Site Navigation, URL: www.measuringusability.com/blog/cardsort-tree-test.php
  10. Sauro, J. (2013): Using Tree-Testing To Test Information Architecture, URL: www.measuringusability.com/blog/tree-testing-ia.php
  11. Spencer, D. (2003): Card-Based Classification Evaluation, URL: boxesandarrows.com/card-based-classification-evaluation/
  12. Spencer, D. (2009): Card Sorting, Rosenfeld Media

-------------------------

Sind Sie anderer Meinung?

 

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!