Die häufigsten Fehler bei Online-Umfragen

Es wurden bereits Tausende Online-Umfragen mit LamaPoll durchgeführt. Für Tausende Kunden haben wir Support geleistet und bei der Erstellung, Durchführung und Auswertung von Online-Umfragen unterstützt. Mit der Zeit haben sich viele nützliche Erkenntnisse herausgebildet, die wir auf unseren Seiten gern allen zur Verfügung stellen.

An dieser Stelle möchten wir besonders auf diejenigen Fehler hinweisen, die am häufigsten begangen werden und gleichzeitig am einfachsten zu vermeiden sind. Diese Punkte gelten für alle Arten von Online-Umfragen und in der Regel auch für Offline- bzw. Papierumfragen. Wenn Sie diese beachten, können Sie Ihre Rücklaufquote, also die Anzahl abgeschlossener Teilnahmen, deutlich steigern. Jede zusätzliche Antwort trägt zudem zur Reliabilität und Entscheidungssicherheit bei.

Unklare Fragestellung

Lassen Sie bei der Fragestellung keinen Interpretationsfreiraum, sofern dies nicht ausdrücklich erwünscht ist. Ein Pretest mit Kollegen, die mit Ihrem Fragebogen nicht vertraut sind, kann hier Aufschluss geben: Fragen Sie, wie die betreffende Person die Frage verstanden hat. Lassen Sie nach Möglichkeit auch ein Kommentarfeld unter der Frage. Aus den Kommentaren können sich zusätzliche Erkenntnisse ergeben, die vorgegebene Antwortmöglichkeiten nicht abdecken.

Häufig merkt man erst bei der Auswertung anhand sehr unterschiedlicher Antworten, dass Teilnehmer bestimmte Fragen in unterschiedliche Kontexte setzen. Daher gilt: Starten Sie vorab einen Testlauf, senden Sie die Umfrage einigen Kollegen zu und bitten Sie um ernsthafte Antworten. Schauen Sie sich anschließend die Auswertung an, insbesondere Eingabe- und Kommentarfelder.

Beispiele für Unklarheiten:

• Mehrdeutigkeit: „sportlich“ – meinen Sie „fair“ oder „durchtrainiert“? Ist dies aus dem Kontext klar ersichtlich?
• „… das Produkt kaputt gekriegt“ – hat der Kunde das Produkt beschädigt erhalten oder es selbst kaputtgemacht?
• Kommafehler: „Fürchten nicht geliebt zu werden“ – fürchtet der Teilnehmer es nicht, geliebt zu werden, oder fürchtet er, nicht geliebt zu werden?
• Weitere Unklarheit: Alte Mönchsregel: „Wenn deine Augen eine Frau erblicken, schlage sie nieder.“ Natürlich die Augen, nicht die Frau. Doch so „natürlich“ ist es sprachlich nicht immer.

Wenn Sie diese Beispiele lesen, erscheinen die Probleme klar und verständlich. Wenn Sie jedoch mitten in der Fragebogenerstellung stecken und an Frage 30 auf Seite 18 arbeiten, verlieren Sie möglicherweise den Blick von außen. Testen Sie die Umfrage daher vor dem großen Start mindestens einmal.

Ungenaue Fragestellung

Wenn Sie eine Umfrage erstellen, ist kaum jemand so tief im Thema wie Sie selbst. Vieles erscheint Ihnen klar und eindeutig. Ihre Teilnehmer können jedoch einen ganz anderen Wissensstand und Kontext haben. Wenn sie Ihre Online-Umfrage sehen, müssen sie in der Lage sein, die Fragen möglichst sofort richtig zu verstehen.

Gestalten Sie Fragen deshalb konkret, präzise und jeweils mit nur einem sachlichen Bezug.

• Falsch: Wenn Wahlen wären, wen würden Sie wählen?
• Richtig: Wenn am nächsten Samstag [zeitlicher Bezug] Bundestagswahl [inhaltlicher Bezug] wäre, welche Partei würden Sie mit Ihrer Zweitstimme [Definition der Stimmabgabe] wählen?

Dabei sollte eine Frage nur einen einzigen sachlichen Bezug enthalten.

• Falsch: Wie beurteilen Sie die Arbeitsleistung Ihrer Kollegen und Vorgesetzten?
• Richtig: Wie beurteilen Sie die Arbeitsleistung Ihrer Kollegen, zum Beispiel auf einer Notenskala?

Häufig werden Begriffe oder Abkürzungen verwendet, die nicht alle Teilnehmer kennen. Befragte raten dann möglicherweise, wählen zufällig eine Antwortoption oder brechen die Umfrage ab.

• Falsch: Sollte eine vierteljährliche SWOT-Analyse Pflicht für DAX-Unternehmen sein?
• Richtig: vorher erläutern, was SWOT und DAX bedeuten.

Fehlende Antwortoptionen

Bei geschlossenen Fragen müssen die Antwortoptionen vor allem vollständig sein. Wenn Teilnehmer keine passende Antwortoption finden, können sie entweder gar nicht oder falsch antworten. Das kann zu falschen Ergebnissen und Frustration führen.

Hilfreich sind Eingabefragen und Kommentarfelder. So können Teilnehmer fehlende Antwortmöglichkeiten ergänzen. Aus unserer Erfahrung ist es kaum möglich, für jede Person sämtliche denkbaren Antworten vorzugeben. Selbst scheinbar eindeutige Ja-Nein-Fragen lassen nicht immer nur ein einfaches Ja oder Nein sinnvoll erscheinen. Auch bei Fragen zum Geschlecht sollten neben „weiblich“ und „männlich“ weitere Antwortmöglichkeiten oder ein Eingabefeld vorgesehen werden. Korrekte Ergebnisse setzen voraus, dass passende Antwortmöglichkeiten vorhanden sind.

Ungenaue Antwortoptionen

Neben fehlenden Antwortoptionen treten häufig ungenaue oder überlappende Kategorien auf. Dann ist für Teilnehmer unklar, welche Antwortoption die richtige ist, weil mehrere oder gar keine zutreffen.

Antwortoptionen sollten den Anforderungen an Klassifikationen genügen:

• Vollständigkeit,
• Ausschließlichkeit und
• Eindeutigkeit.

Häufig fehlen Antwortmöglichkeiten oder Kategorien überschneiden sich:

• Falsch: überlappende Kategorien wie 0 bis 2 Euro, 2 bis 5 Euro, 5 bis 10 Euro.
• Falsch: fehlende Kategorien wie 20–30 Jahre, 30–50 Jahre, 50–60 Jahre.

Besondere Vorsicht ist bei vorselektierten Antworten geboten, etwa bei Skalafragen oder Dropdown-Listen. Nutzer können dadurch beeinflusst werden, diese Antwort zu übernehmen.

Suggestive Fragen

Die Fragestellung beeinflusst das Antwortverhalten. In der Regel benötigen Sie ehrliche, subjektive und individuelle Antworten. Teilnehmer sollten nicht das antworten, was Sie für richtig halten, sondern ihre eigene Einschätzung wiedergeben. Nur dann kann die Auswertung der Online-Umfrage eine sinnvolle Entscheidungshilfe sein.

Beispiel: Was hat Ihnen am wenigsten gefallen?

Das ist eine negativ formulierte Frage. Sie kann Teilnehmer dazu verleiten, insgesamt kritischer zu antworten. Je nach Zielsetzung kann Kritik zwar ausdrücklich erwünscht sein, die Wirkung der Formulierung sollte aber bewusst sein.

Beispiel: Vorselektierte Antworten

Diese können Teilnehmer dazu verleiten, eine vorgegebene Antwort zu übernehmen oder gar nicht zu antworten. Wenn bei der Frage „Wie benoten Sie uns?“ die Bestnote 1 bereits vorselektiert ist, kann dies manipulativ wirken.

Beispiel: unausgewogenes Design und Layout

Auch Design und Layout können suggestiv wirken, etwa wenn bestimmte Antwortfelder besonders gekennzeichnet oder auffälliger gestaltet werden. Verzichten Sie auf solche Beeinflussung, wenn Sie möglichst unverfälschte Antworten erhalten möchten.

Zu lange Umfragen erstellen

Die optimale Online-Umfrage hat 15–25 Fragen (Bosnjak & Batinic). Mehr Fragen können Teilnehmer überfordern. Diese Aussage ist jedoch mit Vorsicht zu genießen, denn jede Umfrage und jede Zielgruppe ist unterschiedlich. Je nach Fragebogen, persönlichem Involvement und Interesse gelten andere Rahmenbedingungen. Mitarbeiter sind häufig eher bereit, längere und komplexere Umfragen auszufüllen, wenn sie direkt von den Ergebnissen betroffen sind. Kunden achten dagegen stärker auf ein übersichtliches Design und kurze Fragebögen und sind häufig weniger bereit, komplexe Fragen zu bearbeiten. Unabhängig davon gilt: Konzentrieren Sie sich auf das Wesentliche.

Aber Achtung: Eine Frage ist nicht nur ein Fragetext mit vielen Antwortoptionen. Jede Aufforderung an Teilnehmer, Stellung zu beziehen, verursacht Aufwand.

Beispiel Matrixfrage: Eine Matrix ist nicht nur eine einzige Frage. Jede Zeile stellt vielmehr eine eigene Frage dar. Der notwendige kognitive Aufwand wird dabei oft unterschätzt.

Seien Sie bei der angekündigten Bearbeitungsdauer ehrlich. Wenn Sie in der Einladung oder auf der ersten Seite von „einer kurzen Umfrage“ und „2–3 Minuten Bearbeitungsdauer“ sprechen, sollte dies den Tatsachen entsprechen. Andernfalls verlieren Sie an Glaubwürdigkeit und möglicherweise auch an Datenqualität.

Lange Umfragen werden außerdem häufiger abgebrochen. Gerade Kunden werden sich in ihrer Freizeit nur begrenzt durch lange Fragebögen arbeiten wollen.

Zu viele Fragen stellen

„Wenn ich den Teilnehmer schon hier habe, kann ich auch gleich alles fragen“ – so scheinen manche Umfrageersteller zu denken. Für eine erfolgreiche Umfrage ist es jedoch meist besser, weniger und dafür relevante Fragen zu stellen. Während Antwortkategorien vollständig sein sollten, gilt dies nicht für jede denkbare Fragendimension.

Begrenzen Sie den Fragebogen und konzentrieren Sie sich auf das Wesentliche. Im Mittelpunkt sollten Fragen stehen, die besonders relevant oder kontrovers sind.

• Falsch: Wiederholte Abfrage der Relevanz vieler ähnlicher Website-Eigenschaften wie Layout, Usability, Design, Inhalt, Unterhaltung, Bedienbarkeit, Ladezeit, Aktualität, Lesbarkeit und Navigation.
• Richtig: Konzentration auf das Wesentliche.

Tipp: Beginnen Sie mit einer Frage nach der Relevanz, zum Beispiel: „Was ist Ihnen am wichtigsten?“ Danach können Sie Teilnehmer gezielt die als wichtig markierten Punkte bewerten lassen. So wird der Fragebogen für jeden Teilnehmer kürzer, während die Datenqualität erhalten bleiben oder sich sogar verbessern kann.

Zu viele Fragen können zu Orientierungslosigkeit, höheren Abbruchquoten und Langeweile führen. Damit steigt das Risiko, dass Antworten ohne sorgfältiges Lesen gegeben werden.

Zu lange Texte

Die Usability-Forschung bestätigt, dass Nutzer Textbestandteile überspringen, die sie nicht für wichtig erachten, und stattdessen auf hervorgehobene Textpassagen achten. Die Lesegeschwindigkeit von Web-Texten ist im Vergleich zu Papier um 25 % geringer, daher sollte 50 % weniger geschrieben werden, empfehlen Experten.

Konzentrieren Sie sich daher auf das Wesentliche. Wenn eine Frage oder Konstellation eine sehr lange Erklärung benötigt, besteht das Risiko, dass sie falsch oder gar nicht verstanden wird. Falls längere Erläuterungen unvermeidbar sind, arbeiten Sie mit Absätzen, geeigneten Designelementen und Stichpunkten statt mit langen Schachtelsätzen. So lockern Sie die „Wall of Text“ auf und erleichtern das Lesen.

Fragentexte sollten kurz, einfach und übersichtlich sein.

Falsch (umständlich formulierter Bezugsrahmen):

• Welche der folgenden Themen würden Sie unter Berücksichtigung des angegebenen Übertragungsmediums in Form eines abgeschlossenen Kurses interessieren?

Diese Frage erfordert viel Konzentration und Aufmerksamkeit und bleibt selbst dann schwer verständlich.

Ebenfalls problematisch:

• Schachtelsätze,
• viele Fremdwörter,
• Anglizismen,
• Abkürzungen.

Langweiliger Fragebogen

Ein langweiliger Fragebogen kann zu hohen Abbruchquoten und schlechteren Ergebnissen führen, weil die Konzentration der Teilnehmer nachlässt. Vor allem versierte Internetnutzer verfügen oft über eine kurze Aufmerksamkeitsspanne.

Fragebögen wirken eintönig, wenn in aufeinanderfolgenden Fragen immer wieder in ähnlicher Form nach denselben Inhalten gefragt wird. Werden dagegen abwechslungsreiche, zum Verlauf passende Fragen gestellt, bleibt die Aufmerksamkeit eher erhalten.

Reine statistische Angaben sind für Befragte häufig wenig interessant. Sie geben Auskunft, erhalten selbst aber keinen unmittelbaren Mehrwert. Ziehen sich solche Abfragen in die Länge, können sie als belastend empfunden werden und zu Abbrüchen führen.

Tipp: Erwägen Sie nicht nur inhaltliche, sondern auch gestalterische Abwechslung. Nutzen Sie unterschiedliche Fragetypen und variieren Sie diese.

Keine webgerechte Typografie

Texte auf einem Bildschirm werden anders wahrgenommen als in Druckmedien. Unterschätzen Sie daher die Web-Typografie und ihre Wirkung auf Teilnehmer nicht.

Die wichtigsten Regeln:

• Zeilenbreite: Zeilen mit durchschnittlich 40 bis 50 Schriftzeichen induzieren die besten Lesezeiten.
• Schriftgröße: Schrift in Webbrowsern sollte mindestens 7 Pixel hoch sein. Kleinere Schriften führen zu merklicher Verlangsamung der Lesegeschwindigkeit. Eine Erhöhung auf 8 Pixel beschleunigt den Rezeptionsprozess zumindest an Flachbildschirmen nicht weiter.
• Wechselwirkung: Es existiert eine starke Wechselwirkung zwischen Schriftgröße und Schriftart. So verbessern sich die Lesezeiten für Times mit wachsender Schriftgröße, während Verdana in der größten gemessenen Schriftgröße langsamer rezipiert wird als in der nächstkleineren.
• Schriftart: Times New Roman, Verdana und Arial sind häufig anzutreffende Schriftarten im Internet. Es ist nachgewiesen, dass diese drei Schriftarten keine signifikant unterschiedliche Wirkung auf die Lesegeschwindigkeit haben. Dennoch werden sie unterschiedlich wahrgenommen.
• Die richtige Schriftart: Arial und Verdana werden als attraktiver bewertet und subjektiv besser lesbar als Times New Roman.

Tipp: Wenn Sie eine seltene Firmenschrift verwenden, kann es passieren, dass Teilnehmer diese nicht installiert haben und eine andere Schrift sehen. Verwenden Sie daher keine ausgefallenen, seltenen Schriften.

Matrixfragen

Matrixfragen sind beliebt, dennoch raten wir in jedem Fall von ihnen ab. Bei Matrixfragen werden viele Fragen mit ähnlichen oder gleichen Antwortkategorien in einer Tabelle dargestellt.

Aus der Methodenforschung ist der Effekt bekannt, dass Befragte zu Antworttendenzen neigen. Das ist kognitiv einfacher, als für jede Zeile die eigene Position zu bestimmen. Dieser Effekt ist bei verschiedenen Methoden der Marktforschung anzutreffen und kann insbesondere bei anonymen Online-Umfragen relevant sein.

Antworttendenzen können durch lange Fragebögen, Langeweile, uninteressante oder komplizierte Fragen zusätzlich verstärkt werden.

Außerdem kann der optische Zusammenhang zwischen Fragen und Antworten vermindert werden.

Befrager erstellen Matrixfragen häufig, um möglichst viele Informationen in kurzer Zeit zu erfragen oder die Zahl der Fragen geringer erscheinen zu lassen. Nicht selten sind Ergebnisse von Matrixfragen jedoch schwerer auszuwerten oder bedürfen einer gesonderten Bereinigung.

Was ist LamaPoll?

LamaPoll ist ein Online Umfrage Tool zum Erstellen von Mitarbeiterbefragungen bzw. Umfragen zur Mitarbeiterzufriedenheit. Mit uns können Sie alle Arten der Mitarbeiterbefragung erstellen, durchführen und auswerten.
Erstellen Sie in wenigen Schritten Ihre Mitarbeiterumfrage, passen Sie das Corporate Design Ihres Unternehmens an, laden Sie Ihre Mitarbeiter bequem per E-Mail oder via Intranet ein. Sie sammeln in kürzester Zeit Erkenntnisse zur Steigerung der Mitarbeiterzufriedenheit. Melden Sie sich bei unserem Online Umfrage-Tool kostenlos an. Anschließend können Sie Befragungen bzw. Umfragen für bis zu 50 Mitarbeiter sofort und unverbindlich durchführen. Benötigen Sie mehr Beantwortungen für den Fragebogen Ihrer Online-Mitarbeiter-Umfrage, nutzen Sie einfach unsere Monatstarife. Es stehen Ihnen auch unsere Vorlagen & Beispiele für Fragebögen für Mitarbeiterbefragungen zur Verfügung.