Jedes state-of-the-art Umfragetool sollte die Möglichkeit bieten, Fragen oder Antworten (oder ganze Umfrageseiten) in zufälliger Reihenfolge anzuzeigen. Davon erhofft man sich in der Regel eine bessere Qualität der Antworten. Doch erreicht man diese tatsächlich durch Randomisierung? Um diese Frage zu beantworten, sollten Sie die verschiedenen Reihenfolgeeffekte kennen. Denn nicht jeder Effekt ist für Umfrageprojekte relevant und vor allem – nicht jeder Reihenfolgeeffekt lässt sich (entgegen anderslautenden Empfehlungen) durch Randomisierung eliminieren. In den folgenden Abschnitten erfahren Sie, welche Reihenfolgeeffekte es gibt und welche Vor- bzw. Nachteile die Randomisierung im Einzelfall mit sich bringt.
Reihenfolgeeffekte: Beispiele und der Effekt der Randomisierung
In der Forschung unumstritten sind sogenannte Reihenfolgeeffekte – die Reihenfolge der Fragen und der Antwortoptionen können einen erheblichen Einfluss auf das Antwortverhalten haben. Die Gründe hierfür sind unterschiedlich und so sollten auch die Maßnahmen, um diesen zu begegnen, dementsprechend unterschiedlich sein.
Primaäreffekt
Primäreffekt (auch primacy effect, Primat-Effekt oder First Choice Bias): Dieser Effekt hat mit dem Langzeitgedächtnis zu tun. Der Effekt beschreibt, dass sich an die zuerst eingehende Information besser erinnert wird – da noch keine andere Information eingegangen ist, die mit der Speicherung im Langzeitgedächtnis interferieren kann. Bei der Befragung bedeutet das, dass häufig die erste Antwort abgegeben/angeklickt wird. Verstärkt wird dies durch Teilnehmer, welche keine intrinsische Motivation haben, an der Umfrage teilzunehmen (also bspw. nur deshalb teilnehmen, um etwas zu gewinnen, weil sie sich verpflichtet fühlen oder aus anderen extrinsischen Gründen). Diese Teilnehmer klicken sich schnell durch und nehmen die erstbeste Antwort.
Effekt der Randomisierung: Hier wird fast einstimmig empfohlen, die Antwortoptionen zu randomisieren. Also in zufälliger Reihenfolge anzuzeigen. Die Ergebnisse fallen auch definitiv unterschiedlich aus, je nachdem, ob die Antworten zufällig oder geordnet angezeigt wurden. Wobei die Randomisierung nicht unbedingt Vorteile mit sich bringt. Ein Beispiel:
Nicht randomisiert (Umfragetest von LamaPoll, Multiple Choice Frage):
Randomisiert (vergleichbare Probandengruppe):
Doch welche Grafik ist nun richtig? Die Frage ist eher – wenn wir davon ausgehen, dass die Teilnehmer im Extremfall stets die erste Option beantworten (oder wie im nachfolgenden Effektbeispiel, dem Rezenzeffekt, stets die letzte Option bevorzugen), was bringt dann die Randomisierung? Dass jede Option gleich oft an erster Stelle steht und somit jede Option gleich oft beantwortet wird? Rein mathematisch betrachtet, müsste bei einer unendlichen Anzahl von Teilnehmen jede Option gleich oft angekreuzt werden, die Erkenntnis wäre gleich Null. In so einem Fall wäre es stattdessen überlegenswert, das Fragendesign komplett zu ändern – etwa indem man eine Bewertungsfrage einsetzt und die einzelnen Optionen gewichten lässt:
Hier entstehen keine Reihenfolgeeffekte, eine Randomisierung wäre unter Umständen sogar schädlich (siehe hierzu weiter unten im Beitrag die -> Mustereffekte).
Rezenzeffekt
Der Rezenzeffekt (auch: recency effect) ist das genaue Gegenteil vom Primäreffekt. Hier werden wir unbewusst vom Kurzzeitgedächtnis beeinflusst und tendieren dazu, die zuletzt genannte Information zu präferieren. Die letzte Option einer Umfrage erhält aufgrund der besseren Erinnerungsfähigkeit ein höheres Gewicht und wird öfter ausgewählt.
Effekt der Randomisierung: Hier gilt das gleiche wie beim Primäreffekt – erwartet man diesen, so sollte man den Fragentyp ändern, sonst gleichen sich die Antworten an!
Mustereffekte
Bei Teilnehmern mit extrinsischer Motivation (sie nehmen teil, weil sie ein Incentive erwartet (eine Belohnung/Gewinnspiel) oder weil sie müssen) lassen sich häufig Muster erkennen – es wird stets die gleiche Option angekreuzt, oder es kommt (bei Matrizen und Bewertungsfragen) zu Antwortmustern:
Effekt der Randomisierung: Eine Randomisierung würde nur dazu führen, dass man das Muster nicht erkennt. In dem Fall wäre jedoch eine qualitative Bereinigung nicht mehr möglich! Das heißt, Sie möchten eigentlich keine Randomisierung, Sie möchten ja erkennen, wer „Muster malt“, um diese Teilnehmer disqualifizieren zu können!
Demografische Abfragen – an welcher Stelle im Fragebogen?
Vorn, zwischendrin oder hinten (gilt grundsätzlich auch für schwierige oder sensible Fragen): Hier scheiden sich die Geister – mal wird empfohlen, die demografischen Fragen erst am Ende der Umfrage abzufragen, da diese oft abschreckend wirken und zu höheren Abbruchquoten führen könnten. Zudem findet während der Befragung automatisch eine „Bereinigung“ statt – es wird eher am Anfang abgebrochen, wer es fast bis zum Ende geschafft hat, der bricht eher nicht ab. Es wird andererseits aber auch empfohlen, die Daten zu Beginn abzufragen. Hierfür spricht, dass Teilnehmer am Anfang (u.U.) hoch motiviert und konzentrierter sind, zudem entspricht dies der „High Hurdle Technique“ – wer sich zu Beginn „durchbeißt“, der bleibt auch am Ball! Entscheiden Sie selbst, sofern dies nicht eh schon vorgegeben ist – oftmals ist die Abfrage vorab wegen der Filterführung notwendig.
Effekt der Randomisierung: Hier gilt es, eine abwägende Entscheidung zu treffen. Fallbasiert, unter Berücksichtigung folgender Aspekte: Sind demografische Angaben für die Filterführung notwendig? Welche Fragen sind wirklich notwendig? Ist die Umfrage insgesamt eher komplex oder simpel?
Deduktive Antwortoptionen
Die Deduktion kennen wir von Sherlock Holmes. Der Teilnehmer muss nicht schlau wie Sherlock sein, um bei einem simplen Persönlichkeitstest schnell zu erkennen, welche Antworten zu welcher Auswertung führen werden. Falls a) stets einen mutigen Charakter erfordert und die Antwort c) bei allen Fragen auf Feigheit hindeutet, dann ist das Antwortverhalten bereits durch das Umfragendesign vorgegeben.
Effekt der Randomisierung: Hier hilft die zufällige Reihenfolge absolut weiter. Das ist ein Musterbeispiel für den Anwendungsfall, in welchem die Randomisierung nahezu unumgänglich ist!
Fazit zur Randomisierung der Fragen und Antworten
Viele unserer Kunden setzen die Randomisierung bei allen Umfragen ein. Wir hoffen, hiermit gezeigt zu haben, dass die zufällige Reihenfolge der Fragen oder Antworten nicht immer Sinn ergibt und, ganz im Gegenteil, manchmal sogar schädlich ist (s. Muster). Setzen Sie diese also, wie immer, stets mit Bedacht ein!
Randomisierung mit dem Umfrage-Tool LamaPoll
Sie möchten randomisierte Umfragen (z.B. im Rahmen eines A/B-Tests) mit LamaPoll erstellen? Wenn Sie nach Abwägung der o.g. Faktoren zu der Einschätzung gelangen, dass Randomisierung für Ihr Umfrageprojekt sinnvoll ist, können Sie Fragen, Antworten oder auch ganze Seiten selbstverständlich zufällig anzeigen lassen. Eine detaillierte Beschreibung finden Sie in unserem Helpdesk: Zufällig Fragen und Seiten anzeigen