Ausrichtung von Ratingskalen – Status-quo, Tücken und Nutzererwartungen

Abstract

Bei der Verwendung von Ratingskalen wird öfters über die Parität und Anzahl an Bewertungsstufen diskutiert: 5 oder 7 oder doch eher 6 oder 8 Stufen? Was aber ist mit der Ausrichtung? Was steht über der 7 – oder der 8? Ich stimme zu/bin zufrieden? Oder eher das Negativum: Ich stimme nicht zu/bin unzufrieden?

Status quo

Schaut man sich in der Praxis die Fragebögen, welche einem so unterkommen, einmal genauer an so sieht man, dass man nichts sieht – zumindest keine einheitliche Handhabung der Skalenausrichtung. Die Ausrichtung der negativen bzw. positiven Pole einer Skala erschienen also relativ beliebig links oder rechts platziert zu werden.

Positiv → negativ:

Googelt man nach Skala + Umfrage + Zufriedenheit so landet man recht schnell auf der Seite von Surveymonkey, einem etablierten Anbieter zur (technischen) Umsetzung von Onlineumfragen. Die hier verfügbaren Vorlagen für Zufriedenheitsbefragungen sind z.B. allesamt von positiv (oben) nach negativ (unten) ausgerichtet. Selbige Reihenfolge findet sich auch bei verschiedenen Beispielen in der Praxis, wie z.B. bei Kundenbefragungen von mobile.de oder auch von Autoscout24, welche jeweils Ihre Zustimmungsskalen von positiv (links) nach negativ (rechts) ausgerichtet haben. Diese Art der Ausrichtung von „stimme voll und ganz zu“ nach „stimme überhaupt nicht zu“ tritt gerade bei Onlineumfragen gefühlt sehr häufig auf.

Negativ → positiv:
Bei Rossmann wurden hingegen im Rahmen einer Kundenbefragung die Zufriedenheits- und Zustimmungsskalen von links negativ nach rechts positiv ausgerichtet. Ebenso agiert bspw. die Bremer Tourismuszentrale, die ihre Skala in einer Zufriedenheitsumfrage auf ihrer Website von „trifft gar nicht zu“ nach „trifft voll zu“ ausrichtet. Diese Art der Ausrichtung wird auch in einem Beitrag des Marktforschungsportals Research-results.de empfohlen (Chrzan, Griffiths 2005). Selbiges  findet sich auch in der wissenschaftlichen Grundlagenliteratur wieder, wo eine Ausrichtung in Bezug zur hier vorherrschenden Leserichtung von links nach rechts empfohlen wird und entsprechend kleine oder negative Werte links anzuordnen sind (Möhring, Schlütz 2010).

Ausrichtungstücken:

Falsche Selbstverständlichkeit
Besonders spannend wird es bei Umfragen, welche auf eine diesbezügliche Beschriftung der Skala ganz verzichten, wie ich es letztens erst wieder im Rahmen einer Seminarbewertung gesehen habe, bei welcher das besuchte Seminar anhand von Aussagen und deren Zutreffen  bewertet werden sollte (vgl. Abb. 1).

                               
Abb. 1.: Beispiel für eine Ratingskala ohne eindeutigen Pol

 

Der eine oder die andere mag nun gerade vielleicht denken: „Das geht doch ganz klar nach dem Schulnotensystem!“, so sind hier mehrere Vetos einzulegen. Zum einen: Das sehen sicher nicht alle so, denn es gibt ja auch die Denke „auf einer Skala von eins bis …“. Diese Form kennen ja die meisten wiederum auch noch aus der Schule von der Bewertung diverser Klassenkamerad(in)en – und hier wäre eine hoher Wert definit wünschenswerter war als die eins. Von Nutzern, welche das deutsche Schulnotensystem nicht kennen ganz zu schweigen. Und schon haben wir die Unsicherheit beim Ankreuzen und fehlende Validität beim Auswerten. Entsprechend wäre die Validität der Ergebnisse obiger Seminarbewertung ebenfalls zu hinterfragen.

Unachtsamkeit und Zusammenspiel verschiedener Skalen
Selbiges Problem der Validität ergibt sich natürlich auch, wenn die Richtung der Skala innerhalb einer Umfrage wechselt, da Teilnehmer ja lernen wo sie klicken müssen wenn sie (nicht) zustimmen und die Beschriftung der Skala nicht auf jeder Umfrageseite aufs Neue mit Bedacht lesen (>natürliche Aufwandsminimierung). „Muss man halt aufpassen“ denken Sie nun. Richtig. Macht man aber zum einen nicht immer, zum anderen gibt es tatsächlich vereinzelt Fälle wo Einigkeit herrscht und wo dann eben nicht gedreht wird. Zum Beispiel beim Net Promoter Score (NPS), welcher die Weiterempfehlungsrate misst und welche stets auf einer numerischen von 0 (unwahrscheinlich) bis 10 (äußerst wahrscheinlich) erhoben wird. Wird der Rest mit einer Skala von „voll und ganz“ bis „überhaupt nicht“ erhoben, herrsch schon wieder Uneinigkeit. Selbiges Potenzial bietet sich, wenn zusätzlich Häufigkeiten (täglich, mehrmals die Woche, …, nie), bipolare Skalen (schlecht – gut) oder visualisierte Skalen, z.B. mit verschieden großen Flächen oder Smileys zum Einsatz kommen. Da eine Befragung eben meist mehrere Fragetypen und folglich auch verschiedene Skalen beinhaltet ist also nicht nur in Bezug auf die Antwortformulierung, sondern auch auf die (einheitliche) Ausrichtung akribisch zu achten.

Hat die Richtung eigentlich einen Einfluss auf die Ergebnisse?

Stimmen aus der Wissenschaft:
Jein. Das ist zumindest der Tonus der Wissenschaft. Heißt: Einige Studien konnten nachweisen, dass es eine Linkstendenz gibt, Nutzer also eine Tendenz dazu haben, eher links ihr Kreuzchen zu setzten, ganz egal ob da nun das positive oder das negative Ende der Skala steht (vgl. z.B. Chan 1991). Andere Studien zeigen hingegen, dass die Anordnung der Skala keinen nachweisbaren Effekt auf das Antwortverhalten ausübt (z.B. Weng & Cheng 2000).

Und wieder andere Studien weisen darauf hin, dass die Effekte zwar vorhanden, jedoch insgesamt sehr gering sind (ca. 0,2-0,3 Punkte Abweichung bei einer 5-stufigen Skala) und vor dem Hintergrund der Einflüsse der übrigen Fragebogengestaltung zu vernachlässigen sind (vgl. Sauro 2014).

eResult forscht nach:
Da wir bei eResult es ja immer genau wissen wollen, habe ich das selbst mal getestet und im Rahmen einer Umfrage zum Shoppingverhalten insgesamt sieben Fragen per Zufall je einmal mit einer links positiven bzw. links negativen Zustimmungsskala ausspielen lassen (n=600). Die Ergebnisse der Auswertung zeigen, dass keine konkreten Anhaltspunkt für einen Einfluss der Ausrichtung bestehen. Zwar zeigen vier der sieben Fragen auf dem Niveau von 5% einen signifikanten Mittelwertunterschied von 0,3 (bei einer 6-stufiken Likertskala) auf – allerdings sowohl in positiver als auch negativer Differenz. Dass tendenziell mehr links geklickt wird kann zumindest hiernach also nicht bestätigt werden.

Und was erwartet der eigentlich Nutzer?

Relevanz der Nutzererwartungen:
Manch einer mag sich vielleicht gerade fragen, was der Befragungsteilnehmer mit der (wissenschaftlich) korrekten Ausrichtung von Skalen zu tun. Aus meiner Sicht: viel. Denn ein zentrales Gebot der Fragebogengestaltung ist die Vermeidung von Komplexität – und das bezieht sich eben nicht nur auf die Formulierung der Frage, sondern auch auf das Drumherum, sprich auch die Ausrichtung der Skalen. Und alle, die sich mit Nutzern, Verhalten, Habitualisierung, kognitiver Anstrengung etc. beschäftigen wissen ja, dass Nutzer mentale Modelle (Erwartungsmuster) bilden und die Anstrengungen entsprechend steigt wenn Dinge eben kontrovers zu diesen erwarteten Mustern sind. Das wiederum hat Auswirkungen auf die Motivation, das Abbruchverhalten, die Verlässlichkeit der Ergebnisse, etc. pp.  Fragen wir also einmal die Nutzer, wo diese eigentlich die volle Zustimmung auf einer Skala erwarten.

eResult forscht nach die Zweite:
Gesagt, getan: Stichprobe n=388, Darstellung einer 6-stufigen Likertskala, mit Bitte um Markierung desjenigen Feldes, in welches die Teilnehmer bei völliger Zustimmung bzw. Ablehnung klicken würden (Randomisierung per Zufallsauswahl). Das Ergebnis ganz klar: Nutzer erwarten – ganz konform zur Grundlagenliteratur – eine Ausrichtung in Leserichtung von negativ nach positiv.  (vgl. Abb. 2)


Abb. 2: eResult Forschungsergebnisse zur Ausrichtung einer Zustimmungsskala

Fazit:

Die Ausrichtung der Skala hat an sich erst einmal keinen nachweisbaren Einfluss auf die Ergebnisse. Allerdings können sehr schnell Fragen bezüglich der Validität auftreten, wenn Skalen nicht mit Bedacht verwendet werden und z.B. im Rahmen einer Befragung unterschiedliche Ausrichtungen vorkommen.

Da Skalen häufig mit nummerischen oder auch visuellen Zusätzen versehen werden, welche mit steigender Zahl auch eine Steigerung der Intensität suggerieren sollen, bietet sich diesbezüglich eine entsprechende Orientierung an der vorherrschenden Leserichtung von links nach rechts an. So auch die Empfehlungen der Literatur, eine Steigerung (von  Zustimmung, Zufriedenheit, Intensität, …) stets von links nach rechts stattfinden zu lassen und „kleine Werte“ entsprechend links und „große Werte“ rechts auszurichten, da dies als intuitiver und somit sinnvoller erachtet wird. Genau dies hat zudem auch unser oben beschriebener Test zu den tatsächlichen Erwartungen von Umfrageteilnehmern ergeben. Selbigem Ansatz, von klein nach groß und negativ nach positiv folgt daher auch eResult im Rahmen von Befragungen – natürlich aber nicht ohne stets in jedem Umfrageprojekt einzeln noch einmal einen expliziten Blick auf die jeweilige Skala und deren Eignung zu legen.

Quellen

  1. Chan, J.C. (1991): Response-order Effects in Likert-type Scales, in: Educational and Psychological Measurement, Vol. 51, S. 531-540.
  2. Chrzan, K., Griffiths, J. (2005): Maß vieler Dinge Antwortskalen in Kundenzufriedenheitsstudien, Fachartikel auf Research-Results.de, Ausgabe 2/2005, S. 38, Artikelnr. 05-02-38-1
  3. Möhring, W., Schlütz, D. (2010): Die Befragung in der Medien- und Kommunikationsforschung. Eine praxisorientierte Einführung, Lehrbuch, 2. Aufl. VS Verlag/Springer Fachmedien, Wiesbaden
  4. Sauro, J. (2014): Survey Respondents Prefer the Left Side of a Rating Scale, Beitrag auf: Measruing UX – Usabiltiy, Customer Experience & Statistics. Online abrufbar unter: www.measuringu.com/blog/left-side-bias.php.
  5. Weng, L-J.; Cheng, C-P. (2000): Effects of Response Order on Likert-type Scales, in: Educational and Psychological Measurement, Vol. 60, S. 908-924.

Sind Sie anderer Meinung?

Ihre Rückmeldung zu diesen Überlegungen und Thesen interessiert uns sehr.
Schreiben Sie uns!

zum Kontaktformular

Sie wollen den Forschungsbeitrag zitieren? Gerne können Sie folgende Quellenangabe nutzen:

Niklas, Susanne (2015): Ausrichtung von Ratingskalen – Status-quo, Tücken und Nutzererwartungen. In: Forschungsbeiträge der eResult GmbH, URL: http://www.eresult.de/studien_artikel/forschungsbeitraege/skalenausrichtung.html

Das könnte Sie auch interessieren:

Relevante eResult-Produkte: