{"id":6238,"date":"2023-02-16T16:13:33","date_gmt":"2023-02-16T14:13:33","guid":{"rendered":"https:\/\/www.lamapoll.de\/blog\/?p=6238"},"modified":"2023-02-20T14:43:36","modified_gmt":"2023-02-20T12:43:36","slug":"randomisierung-in-umfragen-mehr-nachteile-als-vorteile","status":"publish","type":"post","link":"https:\/\/www.lamapoll.de\/blog\/randomisierung-in-umfragen-mehr-nachteile-als-vorteile\/","title":{"rendered":"Randomisierung in Umfragen: Mehr Nachteile als Vorteile?"},"content":{"rendered":"\n<p>Jedes state-of-the-art Umfragetool sollte die M\u00f6glichkeit bieten, Fragen oder Antworten (oder ganze Umfrageseiten) in zuf\u00e4lliger Reihenfolge anzuzeigen. Davon erhofft man sich in der Regel eine bessere Qualit\u00e4t der Antworten. Doch erreicht man diese tats\u00e4chlich durch Randomisierung? Um diese Frage zu beantworten, sollten Sie die verschiedenen Reihenfolgeeffekte kennen. Denn nicht jeder Effekt ist f\u00fcr Umfrageprojekte relevant und vor allem \u2013 nicht jeder Reihenfolgeeffekt l\u00e4sst sich (entgegen anderslautenden Empfehlungen) durch Randomisierung eliminieren. In den folgenden Abschnitten erfahren Sie, welche Reihenfolgeeffekte es gibt und welche Vor- bzw. Nachteile die Randomisierung im Einzelfall mit sich bringt.<\/p>\n\n\n\n<h2 class=\"has-black-color has-text-color wp-block-heading\">Reihenfolgeeffekte: Beispiele und der Effekt der Randomisierung<\/h2>\n\n\n\n<p>In der Forschung unumstritten sind sogenannte Reihenfolgeeffekte \u2013 die Reihenfolge der Fragen und der Antwortoptionen k\u00f6nnen einen erheblichen Einfluss auf das Antwortverhalten haben. Die Gr\u00fcnde hierf\u00fcr sind unterschiedlich und so sollten auch die Ma\u00dfnahmen, um diesen zu begegnen, dementsprechend unterschiedlich sein.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Prima\u00e4reffekt<\/h3>\n\n\n\n<p>Prim\u00e4reffekt (auch primacy effect, Primat-Effekt oder First Choice Bias): Dieser Effekt hat mit dem Langzeitged\u00e4chtnis zu tun. Der Effekt beschreibt, dass sich an die zuerst eingehende Information besser erinnert wird \u2013 da noch keine andere Information eingegangen ist, die mit der Speicherung im Langzeitged\u00e4chtnis interferieren kann. Bei der Befragung bedeutet das, dass h\u00e4ufig die erste Antwort abgegeben\/angeklickt wird. Verst\u00e4rkt wird dies durch Teilnehmer, welche keine intrinsische Motivation haben, an der Umfrage teilzunehmen (also bspw. nur deshalb teilnehmen, um etwas zu gewinnen, weil sie sich verpflichtet f\u00fchlen oder aus anderen extrinsischen Gr\u00fcnden). Diese Teilnehmer klicken sich schnell durch und nehmen die erstbeste Antwort.<\/p>\n\n\n\n<p><strong>Effekt der Randomisierung<\/strong>: Hier wird fast einstimmig empfohlen, die Antwortoptionen zu randomisieren. Also in zuf\u00e4lliger Reihenfolge anzuzeigen. Die Ergebnisse fallen auch definitiv unterschiedlich aus, je nachdem, ob die Antworten zuf\u00e4llig oder geordnet angezeigt wurden. Wobei die Randomisierung nicht unbedingt Vorteile mit sich bringt. Ein Beispiel:<\/p>\n\n\n\n<p>Nicht randomisiert (Umfragetest von LamaPoll, Multiple Choice Frage):<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><a href=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik.png\"><img loading=\"lazy\" decoding=\"async\" width=\"604\" height=\"235\" src=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik.png\" alt=\"\" class=\"wp-image-6241\" srcset=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik.png 604w, https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-300x117.png 300w\" sizes=\"auto, (max-width: 604px) 100vw, 604px\" \/><\/a><\/figure>\n\n\n\n<p>Randomisiert (vergleichbare Probandengruppe):<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><a href=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-1.png\"><img loading=\"lazy\" decoding=\"async\" width=\"604\" height=\"235\" src=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-1.png\" alt=\"\" class=\"wp-image-6242\" srcset=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-1.png 604w, https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-1-300x117.png 300w\" sizes=\"auto, (max-width: 604px) 100vw, 604px\" \/><\/a><\/figure>\n\n\n\n<p>Doch welche Grafik ist nun richtig? Die Frage ist eher \u2013 wenn wir davon ausgehen, dass die Teilnehmer im Extremfall stets die erste Option beantworten (oder wie im nachfolgenden Effektbeispiel, dem Rezenzeffekt, stets die letzte Option bevorzugen), was bringt dann die Randomisierung? Dass jede Option gleich oft an erster Stelle steht und somit jede Option gleich oft beantwortet wird? Rein mathematisch betrachtet, m\u00fcsste bei einer unendlichen Anzahl von Teilnehmen jede Option gleich oft angekreuzt werden, die Erkenntnis w\u00e4re gleich Null. In so einem Fall w\u00e4re es stattdessen \u00fcberlegenswert, das Fragendesign komplett zu \u00e4ndern \u2013 etwa indem man eine Bewertungsfrage einsetzt und die einzelnen Optionen gewichten l\u00e4sst:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><a href=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-2.png\"><img loading=\"lazy\" decoding=\"async\" width=\"604\" height=\"155\" src=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-2.png\" alt=\"\" class=\"wp-image-6244\" srcset=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-2.png 604w, https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-2-300x77.png 300w\" sizes=\"auto, (max-width: 604px) 100vw, 604px\" \/><\/a><\/figure>\n\n\n\n<p>Hier entstehen keine Reihenfolgeeffekte, eine Randomisierung w\u00e4re unter Umst\u00e4nden sogar sch\u00e4dlich (siehe hierzu weiter unten im Beitrag die -&gt; Mustereffekte).<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Rezenzeffekt<\/h3>\n\n\n\n<p>Der Rezenzeffekt (auch: recency effect) ist das genaue Gegenteil vom Prim\u00e4reffekt. Hier werden wir unbewusst vom Kurzzeitged\u00e4chtnis beeinflusst und tendieren dazu, die zuletzt genannte Information zu pr\u00e4ferieren. Die letzte Option einer Umfrage erh\u00e4lt aufgrund der besseren Erinnerungsf\u00e4higkeit ein h\u00f6heres Gewicht und wird \u00f6fter ausgew\u00e4hlt.<\/p>\n\n\n\n<p><strong>Effekt der Randomisierung<\/strong>: Hier gilt das gleiche wie beim Prim\u00e4reffekt \u2013 erwartet man diesen, so sollte man den Fragentyp \u00e4ndern, sonst gleichen sich die Antworten an!<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Mustereffekte<\/h3>\n\n\n\n<p>Bei Teilnehmern mit extrinsischer Motivation (sie nehmen teil, weil sie ein Incentive erwartet (eine Belohnung\/Gewinnspiel) oder weil sie m\u00fcssen) lassen sich h\u00e4ufig Muster erkennen \u2013 es wird stets die gleiche Option angekreuzt, oder es kommt (bei Matrizen und Bewertungsfragen) zu Antwortmustern:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><a href=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-3.png\"><img loading=\"lazy\" decoding=\"async\" width=\"604\" height=\"203\" src=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-3.png\" alt=\"\" class=\"wp-image-6252\" srcset=\"https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-3.png 604w, https:\/\/www.lamapoll.de\/blog\/wp-content\/uploads\/2023\/02\/grafik-3-300x101.png 300w\" sizes=\"auto, (max-width: 604px) 100vw, 604px\" \/><\/a><\/figure>\n\n\n\n<p><strong>Effekt der Randomisierung<\/strong>: Eine Randomisierung w\u00fcrde nur dazu f\u00fchren, dass man das Muster nicht erkennt. In dem Fall w\u00e4re jedoch eine qualitative Bereinigung nicht mehr m\u00f6glich! Das hei\u00dft, Sie m\u00f6chten eigentlich keine Randomisierung, Sie m\u00f6chten ja erkennen, wer \u201eMuster malt\u201c, um diese Teilnehmer disqualifizieren zu k\u00f6nnen!<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Demografische Abfragen &#8211; an welcher Stelle im Fragebogen? <\/h3>\n\n\n\n<p><strong>Vorn, zwischendrin oder hinten<\/strong> (gilt grunds\u00e4tzlich auch f\u00fcr schwierige oder sensible Fragen): Hier scheiden sich die Geister \u2013 mal wird empfohlen, die demografischen Fragen erst am Ende der Umfrage abzufragen, da diese oft abschreckend wirken und zu h\u00f6heren Abbruchquoten f\u00fchren k\u00f6nnten. Zudem findet w\u00e4hrend der Befragung automatisch eine \u201eBereinigung\u201c statt \u2013 es wird eher am Anfang abgebrochen, wer es fast bis zum Ende geschafft hat, der bricht eher nicht ab. Es wird andererseits aber auch empfohlen, die Daten zu Beginn abzufragen. Hierf\u00fcr spricht, dass Teilnehmer am Anfang (u.U.) hoch motiviert und konzentrierter sind, zudem entspricht dies der \u201eHigh Hurdle Technique\u201c \u2013 wer sich zu Beginn \u201edurchbei\u00dft\u201c, der bleibt auch am Ball! Entscheiden Sie selbst, sofern dies nicht eh schon vorgegeben ist &#8211; oftmals ist die Abfrage vorab wegen der Filterf\u00fchrung notwendig.<\/p>\n\n\n\n<p><strong>Effekt der Randomisierung<\/strong>: Hier gilt es, eine abw\u00e4gende Entscheidung zu treffen. Fallbasiert, unter Ber\u00fccksichtigung folgender Aspekte: Sind demografische Angaben f\u00fcr die Filterf\u00fchrung notwendig? Welche Fragen sind wirklich notwendig? Ist die Umfrage insgesamt eher komplex oder simpel? <\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Deduktive Antwortoptionen<\/h3>\n\n\n\n<p>Die Deduktion kennen wir von Sherlock Holmes. Der Teilnehmer muss nicht schlau wie Sherlock sein, um bei einem simplen Pers\u00f6nlichkeitstest schnell zu erkennen, welche Antworten zu welcher Auswertung f\u00fchren werden. Falls a) stets einen mutigen Charakter erfordert und die Antwort c) bei allen Fragen auf Feigheit hindeutet, dann ist das Antwortverhalten bereits durch das Umfragendesign vorgegeben.<\/p>\n\n\n\n<p><strong>Effekt der Randomisierung<\/strong>: Hier hilft die zuf\u00e4llige Reihenfolge absolut weiter. Das ist ein Musterbeispiel f\u00fcr den Anwendungsfall, in welchem die Randomisierung nahezu unumg\u00e4nglich ist!<\/p>\n\n\n\n<h2 class=\"has-black-color has-text-color wp-block-heading\">Fazit zur Randomisierung der Fragen und Antworten<\/h2>\n\n\n\n<p>Viele unserer Kunden setzen die Randomisierung bei allen Umfragen ein. Wir hoffen, hiermit gezeigt zu haben, dass die zuf\u00e4llige Reihenfolge der Fragen oder Antworten nicht immer Sinn ergibt und, ganz im Gegenteil, manchmal sogar sch\u00e4dlich ist (s. Muster). Setzen Sie diese also, wie immer, stets mit Bedacht ein!<\/p>\n\n\n\n<h2 class=\"has-black-color has-text-color wp-block-heading\">Randomisierung mit dem Umfrage-Tool LamaPoll<\/h2>\n\n\n\n<p>Sie m\u00f6chten randomisierte Umfragen (z.B. im Rahmen eines <a href=\"https:\/\/help.lamapoll.de\/Usecases\/Kundenbefragung\/AB-Test\/\" target=\"_blank\" rel=\"noreferrer noopener\">A\/B-Tests<\/a>) mit <a href=\"https:\/\/www.lamapoll.de\/\" target=\"_blank\" rel=\"noreferrer noopener\">LamaPoll<\/a> erstellen? Wenn Sie nach Abw\u00e4gung der o.g. Faktoren zu der Einsch\u00e4tzung gelangen, dass Randomisierung f\u00fcr Ihr Umfrageprojekt sinnvoll ist, k\u00f6nnen Sie Fragen, Antworten oder auch ganze Seiten selbstverst\u00e4ndlich zuf\u00e4llig anzeigen lassen. Eine detaillierte Beschreibung finden Sie in unserem Helpdesk: <a href=\"https:\/\/help.lamapoll.de\/Features\/Erstellen\/Zufaellig-Fragen-und-Seiten-anzeigen\/\" target=\"_blank\" rel=\"noreferrer noopener\">Zuf\u00e4llig Fragen und Seiten anzeigen<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Jedes state-of-the-art Umfragetool sollte die M\u00f6glichkeit bieten, Fragen oder Antworten (oder ganze Umfrageseiten) in zuf\u00e4lliger Reihenfolge anzuzeigen. Davon erhofft man sich in der Regel eine bessere Qualit\u00e4t der Antworten. Doch erreicht man diese tats\u00e4chlich durch Randomisierung? Um diese Frage zu beantworten, sollten Sie die verschiedenen Reihenfolgeeffekte kennen. Denn nicht jeder Effekt ist f\u00fcr Umfrageprojekte relevant [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":6271,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[1727,1728,1726,1725,1721,1724,1722,1719,1737],"class_list":["post-6238","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-feedbackmanagement","tag-fragebogen-randomisierung","tag-fragebogen-reihenfolgeeffekte","tag-ist-randomisierung-in-umfragen-sinnvoll","tag-randomisierte-umfrage-mit-lamapoll-erstellen","tag-randomisierung-und-reihefolgeneffekte","tag-randomisierung-von-fragen-antworten-seiten","tag-reihenfolgeeffekte-in-umfragen","tag-zufaellige-reihenfolge-vor-und-nachteile","tag-zufallsauswahl-fuer-frageboegen"],"_links":{"self":[{"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/posts\/6238","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/comments?post=6238"}],"version-history":[{"count":92,"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/posts\/6238\/revisions"}],"predecessor-version":[{"id":6424,"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/posts\/6238\/revisions\/6424"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/media\/6271"}],"wp:attachment":[{"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/media?parent=6238"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/categories?post=6238"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.lamapoll.de\/blog\/wp-json\/wp\/v2\/tags?post=6238"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}