Die häufigsten Fehler bei Online Umfragen

Es wurden bereits tausende Online Umfragen mit LamaPoll durchgeführt. Für Tausende Kunden haben wir Support geleistet, Tausende Kunden haben wir bei der Erstellung, Durchführung und Auswertung von Online Umfragen unterstützt. Mit der Zeit haben sich recht viele nützliche Erkenntnisse herausgebildet, welche wir auf unseren Seiten gern allen zur Verfügung stellen.

An dieser Stelle möchten wir besonders auf diejenigen Fehler hinweisen, welche am häufigsten begangen wurden und gleichzeitig am einfachsten zu vermeiden sind. Diese Punkte gelten für alle Arten von Online Umfragen und in der Regel auch für offline / Papier-Umfragen. Wenn Sie diese beachten, können Sie Ihre Rücklaufquote (Anzahl der abgeschlossenen Teilnehmer) um ein Vielfaches steigern - und Sie wissen ja, jede Antwort trägt zur Reliabilität und Entscheidungssicherheit bei!

• Unklare Fragestellung - jeder Teilnehmer versteht etwas anderes
• Ungenaue Fragestellung - wie, wann, wo genau??
• Fehlende Antwortoptionen - a, b, c passt nicht.. ich brauche x!
• Ungenaue Antwortoptionen - einschließlich oder ausschließlich? 1 bis 2 oder 2 bis 3?
• Suggestive Fragen - Sie sind doch sicher sehr zufrieden, oder? ODER?
• Zu lange Umfragen erstellen - wir haben doch keine Zeit!
• Zu viele Fragen stellen - ich habe bei Kapitel 6, Seite 27, Frage 133 die Antwortoption 8 nicht verstanden..
• Zu lange Texte - Charles Dickens lässt grüßen
• Langweiliger Fragebogen - da soll ich mich wirklich durchkämpfen?
• Keine webgerechte Typografie - es gibt nicht umsonst Seniorenhandys!
• Matrixfragen - seitenweise seitenlange Matrixfragen...

Unklare Fragestellung

Lassen Sie bei der Fragestellung keinen Interpretationsfreiraum (sofern nicht ausdrücklich erwünscht) offen! Ein Pretest unter Kollegen, welche mit Ihrem Fragebogen nicht vertraut sind, gibt hier letztendlich Aufschluss: Fragen Sie, wie der betreffende Kollege die Frage verstanden hat! Lassen Sie auch immer ein Kommentarfeld unter der Frage. Aus den Kommentaren werden Sie mehr Erkenntnisse ableiten können als aus vorgegebenen Antwortmöglichkeiten.

Häufig merkt man erst bei der Auswertung, anhand der gänzlich unterschiedlichen Antworten, dass viele Teilnehmer bestimmte Fragen in unterschiedlichen Kontext setzen. Daher gilt - starten Sie die Umfrage, senden Sie diese einigen Kollegen zu und bitten Sie um ernsthafte Antworten. Schauen Sie sich die Auswertung an - vor allem die Eingabe- und Kommentarfelder!

Beispiel: Unklarheiten

• Mehrdeutigkeit: "sportlich" - meinen Sie "Fair" oder "Durchtrainiert"? Ist dies aus dem Kontext klar ersichtlich?
• "...das Produkt kaputt gekriegt" - hat der Kunde das Produkt beschädigt erhalten oder es selbst kaputtgemacht?
• Kommafehler: "Fürchen nicht geliebt zu werden" - fürchtet der Teilnehmer es nicht, geliebt zu werden oder fürchtet er, nicht geliebt zu werden?
• Noch mehr Unklarheiten: Alte Mönchsregel: Wenn deine Augen eine Frau erblicken, schlage sie nieder. Natürlich die Augen.. nicht die Frau. Doch so "natürlich" ist es nicht immer!

Wenn Sie die Beispiele lesen, erscheinden diese klar und verständlich. Wenn Sie jedoch mittendrin stecken, und an Frage 30 auf Seite 18 arbeiten, verlieren Sie möglicherweise den Blick von außen. Also: Testen Sie die Umfrage vor dem großen Start mindestens einmal!

Ungenaue Fragestellung

Wenn Sie eine Umfrage erstellen, ist keine andere Person so sehr im Thema drin wie Sie. Vieles erscheint Ihnen klar und eindeutig. Doch vergessen Sie nicht: Sie treffen womöglich auf viele Teilnehmer, welche nichts mit Ihrem Thema am Hut haben. Ihr Kunde oder Ihr Mitarbeiter befindet sich in einem indiviiduellen Thema, mit gänzlich anderem Kontext. Wenn er Ihre Online Umfrage sieht, muss er in der Lage sein, sofort alle Fragen richtig zu verstehen, ohne Kontext, ohne zu überlegen. 

Daher sollten Sie jede Frage unmissverständlich und kinderleicht gestalten:

Stellen Sie Fragen konkret, präzise und immer eine nach der anderen!

• Falsch: Wenn Wahlen wären, wen würden Sie wählen?
• Richtig: Wenn am nächsten Samstag [zeitlicher Bezug] Bundestagswahl [inhaltlicher Bezug] wäre, welche Partei würden Sie mit Ihrer Zweitstimme [Definition der Stimmabgabe] wählen?

Dabei darf in einer Frage nur ein einziger sachlicher Bezug enthalten sein.

• Falsch: Wie beurteilen Sie die Arbeitsleistung Ihrer Kollegen und Vorgesetzten?
• Richtig: Wie beurteilen Sie die Arbeitsleistung Ihrer Kollegen (..auf einer Notenskala..)?

Häufig werden Begriffe oder Abkürzungen verwendet, die nicht alle Teilnehmer kennen. Die Befragten raten, wählen zufällig eine Antwortoption aus, oder brechen die Umfrage ab.

• Falsch: Sollte eine vierteljährliche SWOT-Analyse Pflicht für DAX-Unternehmen sein?
• Richtig: vorhergehende Erklärung, was SWOT und was DAX bedeutet.

Fehlende Antwortoptionen

Bei geschlossenen Fragen müssen die Antwortoptionen vor allem eins sein: ausschöpfend. Wenn Ihre Teilnehmer nicht die richtige (im individuellen passende) Antwortoption finden, können Sie entweder keine Antwort oder eine falsche Antwort angeben. Das führt zu falschen Ergebnissen und Frustration des Teilnehmers.

Was in jedem Fall hilft: Eingabefragen und Kommentarfelder. Dann hat jeder Teilnehmer die Möglichkeit, die womöglich fehlende Antwortoption nachzutragen. Denn, und das wissen wir aus jahrelanger Erfahrung, es ist nicht möglich, alle passenden Antworten für alle Teilnehmer aufzuzählen. Selbst scheinbar eindeutige "Ja-Nein-Fragen" lassen nicht immer ein einfaches Ja oder Nein richtig erscheinen. Zeitgemäße Umfragenersteller bieten auch bei der Frage nach dem Geschlecht neben "weiblich" und "männlich" eine Option "Sonstiges" oder ein Eingabefeld an. Vergessen Sie nicht - Ihre Umfrage bringt Ihnen nichts, ohne korrekte Ergebnisse und für korrekte Ergebnisse müssen Sie dem Teilnehmer entgegenkommen. Er tut das gleiche, indem er an Ihrer Umfrage teilnimmt. 

Ungenaue Antwortoptionen

Neben den fehlenden Antwortoptionen stellen wir immer wieder fest, dass es zu falschen Antwortoptionen kommt. In diesem Fall weiß der Teilnehmer nicht, welche Antwortoption die "richtige" ist, da beispielsweise mehrere Antworten zutreffen, oder vielleicht sogar gar keine.

Ihre Antwortoptionen müssen den Anforderungen an Klassifikationen genügen:

• Vollständigkeit
• Ausschließlichkeit und
• Eindeutigkeit.

Häufig werden Antwortmöglichkeiten vergessen oder überlappende Kategorien vorgegeben:

• Falsch: überlappende Kategorien wie 0 bis 2 Euro, 2 bis 5 Euro, 5 bis 10 Euro.
• Falsch: fehlende Kategorien wie (Alter) 20-30 Jahre, 30-50 Jahre, 50-60 Jahre.

Besondere Vorsicht ist bei vorselektierten Antworten geboten (bspw. bei Skalafragen oder DropDown Listen). Nutzer werden dadurch verführt, diese Antworten zu übernehmen.

Suggestive Fragen

Ihre Fragestellung beeinflusst das Antwortverhalten. Das ist nachgewiesen. Manchmal ist das auch beabsichtigt, doch eben nur manchmal. In der Regel benötigen Sie ehrliche, subjektive und individuelle Antworten. Ihre Teilnehmer dürfen nicht das antworten, was Sie für richtig halten sondern was sie selbst fühlen. Nur dann ist die Auswertung der Online Umfrage eine effiziente Entscheidungshilfe.

Beispiel: Was hat Ihnen am wenigsten gefallen?

Das ist eine negative Frage. Sie kann den Teilnehmer dazu verleiten, insgesamt kritische zu sein. Was aber auch in Ihrem Interessen sein könnte - Kritik ist wichtiger als Lob!

Beispiel: Vorselektierte Antworten

Diese können den Teilnehmer dazu verleiten, eine eigene Antwort abzugeben. Sie können aber auch dazu führen, nicht zu antworten. Wenn der Teilnehmer die Frage sieht "Wie benoten Sie uns?" und die Bestnote 1 ist bereits vorselektiert, kann er schmunzeln, oder aber Sie für manipulativ und eingebildet halten.

Beispiel: Design und Layout nicht ausgeglichen

Auch Design und Layout können manipulativ bzw. suggestiv eingesetzt werden, indem z.B. bestimmte Antwortfelder eine besondere Kennzeichnung bekommen oder größer/auffälliger gestaltet werden. Verzichten Sie auf diese Art von Beeinflussung, um ehrliche Antworten zu bekommen.

Zu lange Umfragen erstellen

Die optimale online Umfrage hat 15-25 Fragen (Bosnjak & Batinic). Mehr Fragen überfordern die Teilnehmer. Doch auch diese Aussage ist mit Vorsicht zu genießen. Jede Umfrage ist unterschiedlich und jede Zielgruppe besteht aus Individuen. Je nach Kontext des Fragebogens, je nach persönlichen Involvierungsgrad und Interessen, gelten andere Regeln. Mitarbeiter sind häufiger bereit, lange und komplexe Umfragen auszufüllen, da sie direkt von den Ergebnissen betriffen sind und da sie wissen, wass sie verändern möchten. Kunden hingegen achten mehr auf das Umfragendesign, auf kurze Fragebögen und sind insgesamt weniger bereit, komplexe Fragen zu lesen, geschweige denn, auszufüllen. Trotz der Unterschiede können wir Ihnen reinen Gewissens raten - übertreiben Sie nicht mit den Fragen, konzentrieren Sie sich auf das Wesentliche. Das erwarten Sie ja auch von Ihren Teilnehmern!

Aber Achtung: eine Frage ist nicht einfach nur ein Fragentext mit vielen Antwortoptionen! Eine Frage ist jede Aufforderung an den Teilnehmer, Stellung zu beziehen!

Beispiel Matrixfrage: das ist nicht nur eine einzige Frage, jede Zeile stellt vielmehr eine Frage dar! Der notwendige kognitive Aufwand der Befragten wird dabei oft unterschätzt.

In diesem Kontext ist es auch besonders wichtig, dem Teilnehmer gegenüber ehrlich und offen entgegenzutreten. Wenn Sie auf der Einladung oder auf der ersten Seite des Fragebogens von "einer kurzen Umfrage" und "2-3 Minuten Bearbeitungsdauer" schreiben, sollte dies auch den Tatsachen entsprechen. Der Teilnehmer merkt es so oder so - und nach 30 Minuten fühlt er sich betrogen, Sie verlieren an Glaubwürdigkeit, die Ergebnisse sind nicht mehr 100 % reliabel. 

Ganz davon zu schweigen, dass lange Umfragen auch einfach nicht beantwortet werden. Wer hat schon Lust, sich durch Fragen und Seiten durchzuarbeiten. Bestimmt nicht Ihr Kunde in seiner Freizeit!

Zu viele Fragen stellen

„Wenn ich schon den Teilnehmer hier habe, kann ich auch gleich alles fragen“ – das scheinen viele Umfragen-Ersteller zu denken. Für eine erfolgreiche Umfrage ist es jedoch besser, weniger Fragen zu stellen als zu viele! Während Sie die Kategorien der Antwortoptionen vollständig ausschöpfen müssen, gilt dies nicht für die Fragendimensionen!

Schränken Sie daher den Fragebogen ein und fragen Sie nur das Wesentliche ab! Den Schwerpunkt müssen Fragen bilden, die als kontrovers und besonders relevant eingestuft werden.

• Falsch: (Wiederholung) Relevanz bestimmter Eigenschaften einer Website: Layout, Usability, Design, Inhalt, Unterhaltung, Bedienbarkeit, Ladezeit, Aktualität, Lesbarkeit, Navigation…
• Richtig: Konzentration auf das Wesentliche.

Tipp: Beginnen Sie mit einer Frage nach der Relevanz. Beispiel: "Was ist Ihnen am wichtigsten?". Danach leiten Sie den Teilnehmer zur Bewertung der als am wichtigsten markierten Antwortoptionen. Grund: wozu soll ein Kunde etwas bewerten, was ihm gar nicht wichtig ist? Vorteile: die Fragenanzahl wird für jeden Teilnehmer kürzer während die Datenqualität für Sie gleich bleibt und sich womöglich sogar verbessert.

Zu viele Fragen führen zur Orientierungslosigkeit der Teilnehmer, zu hohen Abbruchquoten und zu Langeweile und den damit verbunden Gefahren: Antworten (Klicken) ohne zu lesen und Frustration.

Zu lange Texte

Die Usability-Forschung bestätigt, dass Nutzer Textbestandteile überspringen, die sie nicht für wichtig erachten und stattdessen auf hervorgehobene Textpassagen achten. Die Lesegeschwindigkeit von Web-Texten ist im Vergleich zu Papier um 25% geringer, daher sollte 50% weniger geschrieben werden, empfehlen Experten.

Wir empfehlen daher - konzentrieren Sie sich auf das Wesentliche! Wenn eine Frage oder eine Konstellation einen zu langen Text als Erklärung benötigt, wird sie womöglich am Ende falsch oder gar nicht verstanden, nicht gelesen etc. Falls es nicht anders geht - arbeiten Sie mit Absätzen und verschiedenen Designelementen (Toolbox, Tabellen) und eher mit Stichpunkten als mit Schachtelsätzen. Somit lockern Sie die "wall of text" auf und halten das Interesse des Lesers aufrecht!

Also sollten Ihre Fragentexte kurz, einfach und übersichtlich gehalten werden!

Falsch (Bezugsrahmen der Frage sehr umständlich formuliert):

• Welche der folgenden Themen würden Sie unter Berücksichtigung des angegebenen Übertragungsmediums in Form eines abgeschlossenen Kurses interessieren?

Diese Frage setzt viel Konzentration und Aufmerksamkeit voraus, wobei selbst dann nicht ganz klar ist, wonach eigentlich gefragt wird!

ebenfalls falsch:

• Schachtelsätze
• viele Fremdwörter
• Anglizismen
• Abkürzungen

Langweiliger Fragebogen

Ein langweiliger Fragebogen führt zu hohen Abbruchquoten, und was schlimmer ist, zu falschen Ergebnissen – die Konzentration Ihrer Teilnehmer lässt nach! Vor allem versierte Internetbenutzer verfügen über eine sehr kurze Aufmerksamkeitsspanne.

Fragebögen wirken langweilig, wenn eintönig oder gleichförmig in aufeinanderfolgenden Fragen nach denselben Inhalten gefragt wird. Die Antwort ist in diesem Fall keine Herausforderung mehr. Der Proband weiß bereits die Antwort, ist also in diesem Gesprächsabschnitt untätig. Werden aber immer wieder interessante und zum Verlauf des Fragebogens passende Fragen gestellt, bleibt der Befragte intellektuell gefordert und ist zufrieden, wenn er eine Antwort auf eine spannende Frage geben kann.

Alle statistischen Angaben sind für die Befragten eher uninteressant. Die Probanden geben Auskunft, erfahren aber für sich selbst nichts Neues. Ziehen sich solche Abfragen in die Länge, fühlen sich Befragte schnell belästigt und in ihrer Zeitverwendung gestört. Besteht dann die Möglichkeit, die Befragung abzubrechen, wird diese eben genutzt.

Tipp: Sie sollten nicht nur inhaltlich, sondern auch äußerliche Anpassungen erwägen – nutzen Sie unterschiedliche Fragetypen und variieren Sie diese!

Keine webgerechte Typografie

Texte auf einem Bildschirm werden anders wahrgenommen als offline/Druckmedien. Unterschätzen Sie nicht die Web-Typografie und ihre Wirkung auf Ihre Teilnehmer!

Die wichtigsten Regeln:

• Die Zeilenbreite: Zeilen, mit durchschnittlich 40 bis 50 Schriftzeichen induzieren die besten Lesezeiten.

• Die Schriftgröße: Schrift in Webbrowsern sollte mindestens 7 Pixel hoch sein. Kleinere Schriften führen zu merklicher Verlangsamung der Lesegeschwindigkeiten. Eine Erhöhung auf 8 Pixel beschleunigt den Rezeptionsprozess zumindest an Flachbildschirmen nicht weiter.

• Wechselwirkung: Es existiert zudem eine starke Wechselwirkung zwischen Schriftgröße und Schriftart; so verbessern sich die Lesezeiten für die Schriftart Times merklich mit wachsender Schriftgröße, während Verdana in der größten gemessenen Schriftgröße (8 Pixel x-Höhe) langsamer rezipiert wird als in der nächstkleineren (7 Pixel x-Höhe).

• Die Schriftart: Times New Roman, Verdana und Arial sind die am häufigsten anzutreffenden Schriftarten im Internet. Es ist nachgewiesen, dass diese drei Schriftarten keine signifikant unterschiedliche Wirkung auf die Lesegeschwindigkeit haben. Dennoch werden sie unterschiedlich wahrgenommen.

• Die richtige Schriftart: Die Schriften Arial und Verdana werden jedoch als viel attraktiver bewertet und die subjektive Wahrnehmung ihrer Lesbarkeit ist erheblich besser als die von Times New Roman. Letztere wird als schlecht lesbar und unattraktiv beurteilt.

Tipp: Wenn Sie Ihre Firmen-Schriftart verwenden, kann es passieren, dass Ihr Teilnehmer diese Schriftart nicht hat und eine ganz andere sieht. Verwenden Sie daher keine ausgefallenen, seltenen Schriften!

Matrixfragen

Matrixfragen sind beliebt, dennoch raten wir in jedem Fall von ihnen abzusehen! Bei Matrixfragen werden viele Fragen mit ähnlichen/gleichen Antwortkategorien in einer Tabelle dargestellt.

Aus der Methodenforschung ist der Effekt bekannt, dass Probanden dazu tendieren, Antworttendenzen zu wählen. Das ist kognitiv einfacher, als für jede Zeile die eigene Position zu bestimmen. Dieser Effekt ist bei allen Methoden der Marktforschung anzutreffen, jedoch am wahrscheinlichsten bei anonymen online-Umfragen zu erwarten.

Antworttendenzen werden noch verstärkt durch lange Fragebögen, Langeweile, uninteressante Fragen, komplizierte Fragen.

Des Weiteren wird der Zusammenhang zwischen Fragen und Antworten optisch vermindert.

Befrager erstellen häufig Matrixfragen, um möglichst viel Information in kurzer Zeit zu erfragen, bzw. aus der falschen Hoffnung heraus, die Fragenanzahl kleiner erscheinen zu lassen. Nicht selten sind jedoch die Ergebnisse von Matrixfragen unbrauchbar oder bedürfen einer gesonderten Auswertung und Bereinigung.

Weiterlesen: