Fragebogen optimal erstellen: Expertentipps

Fragebogenoptimierung

Ein gut gestalteter Fragebogen trägt dazu bei, Interesse und Teilnahmemotivation zu fördern und aufrechtzuerhalten. Die größten Risiken für die Datenqualität sind zufällige Antworten der Teilnehmer*innen oder der Abbruch der Befragung. Um diese Risiken zu minimieren, sollten Fehlerquellen identifiziert und soweit wie möglich ausgeschlossen werden.

Fragenformulierung

Eine gute Frage ist so präzise und kurz wie möglich. Gehen Sie immer davon aus, dass einige Befragte möglicherweise von anderen Aufgaben abgelenkt werden und Ihrer Umfrage nicht die volle Aufmerksamkeit widmen. Hier zur Orientierung einige allgemeine Tipps, was beim Formulieren der Fragen zu beachten ist.

Halten Sie Ihre Fragen einfach, damit sie von allen Adressat*innen gleich verstanden werden:

1. Orientieren Sie sich an der Sprache der Zielgruppe.
2. Formulieren Sie möglichst kurz und präzise.
3. Formulieren Sie sachlich („Fehlfunktion“ statt „Katastrophe“).
4. Verwenden Sie gängiges Vokabular und erläutern Sie gegebenenfalls Fachbegriffe.
5. Vermeiden Sie hypothetische Fragen.
6. Vermeiden Sie negativ formulierte Fragen („Diese Software ist nicht kompliziert“).
7. Vermeiden Sie Suggestivfragen und Unterstellungen („Wie bewerten Sie unsere hervorragende Software?“).

Tipp: Sprechen Sie pro Frage nur einen Sachverhalt an. Doppelte Fragen (z. B. „Wie bewerten Sie Funktionalität und Anpassbarkeit der Software?“) liefern unscharfe Ergebnisse.

Tipp: Bei Fragen mit Zeitbezug (Häufigkeiten/Zeitintervalle) sollte dieser so genau wie möglich definiert werden. Ersetzen Sie also besser „oft“ zum Beispiel durch „mindestens einmal pro Tag“.

Tipp: Vermeiden Sie Fragen, die Informationen voraussetzen, die die meisten Befragten nicht haben. Wenn Sie den Teilnehmer*innen etwa bei komplexen Sachverhalten eine gezielte Erläuterung zum Thema geben möchten, können Sie dafür den LamaPoll-Info-Button nutzen.

Fragetypen

Fragen können generell in zwei Gruppen eingeteilt werden: geschlossene und offene Fragen.

• Der große Vorteil geschlossener Fragen ist, dass die Daten einfach ausgewertet werden können und die Beantwortung weniger aufwändig ist.
• Der Wert offener Fragen besteht vor allem darin, dass sie ein Szenario für einen offenen Dialog mit den Teilnehmer*innen eröffnen und durch detaillierte Einblicke zusätzliche Informationen liefern können, die Sie sonst nicht erhalten würden.

Geschlossene Fragen

LamaPoll bietet Ihnen einen umfassenden Katalog von Fragetypen, die Ihnen viel Gestaltungsfreiraum bieten. Darüber hinaus finden Sie Zusammenstellungen häufig verwendeter Fragen, beispielsweise demografische Fragen, Kontaktdaten sowie Fragen für Kunden- und Mitarbeiterbefragungen, die Sie übernehmen und anpassen können.

Tipp: Definieren Sie im Interesse der Übersichtlichkeit so viele Antwortmöglichkeiten wie nötig und so wenige wie möglich. Wenn Sie selbst nicht alle möglichen Antworten kennen, ist es besser, sich statt einer unübersichtlichen Auflistung auf die explizite Nennung der voraussichtlich häufigsten Optionen zu beschränken und für den Rest eine „Sonstige“-Kategorie mit oder ohne Textfeld anzubieten.

Tipp: Vermeiden Sie Irritationen, die dadurch entstehen, dass die Teilnehmer*innen sich in den Antwortmöglichkeiten nicht wiederfinden oder sich der für sie zutreffenden Antwortoption nicht eindeutig zuordnen können. Achten Sie also darauf, dass die Antwortvorgaben vollständig sind und sich nicht überschneiden.

Tipp: Nutzen Sie die Bearbeitungsmöglichkeiten unter „Erweitert“, um die Frage optimal auf Ihren Informationsbedarf zuzuschneiden. Hier finden Sie zusätzliche Optionen, zum Beispiel die Festlegung des zulässigen Formats und Wertebereichs für Eingaben, Möglichkeiten der Darstellung, die Vergabe von Bewertungspunkten und vieles mehr.

Matrixfragen

Ein viel verwendetes Frageformat ist die Matrixfrage. Sie wird eingesetzt, wenn verschiedene Aspekte eines Themas relevant sind, die alle nach den gleichen Kriterien beurteilt werden sollen. Die Vorteile dieser kompakten Frageform sind, dass sie für die Teilnehmenden gut verständlich und übersichtlich ist und dass Sie detaillierte Informationen erhalten, ohne dass der Fragebogen zu lang erscheint.

Für die meisten Matrixfragen werden die Antwortoptionen in Form einer Graduierungsskala vorgegeben, wie zum Beispiel:

• 0 bis 10
• 0 bis 100
• nie bis immer
• negativ bis positiv
• stimme nicht zu bis stimme zu

Mit LamaPoll haben Sie weitreichende Möglichkeiten, Matrixfragen nach Ihren Wünschen zu gestalten: unter anderem als einfache Single- oder Multiple-Choice-Matrix, als optisch effektvolle Variante mit Sternchen und Smileys, als Trendfrage oder Polaritätenprofil sowie als 2er- oder 3er-Matrix, bei denen jeder Sachverhalt nach mehreren Kriterien bewertet wird.

Tipp: Überfordern Sie die Befragten nicht. Eine Matrix ist nicht nur eine Frage, sondern jede Zeile ist eine Frage. Bei zu vielen Items kann Umfragemüdigkeit dazu führen, dass Teilnehmer*innen die Antworten nach dem Zufallsprinzip markieren, ohne die Fragentexte wirklich gelesen zu haben. Das ist ein Risiko für die Datenqualität. Als Faustregel sollten Matrixfragen mit mehr als sechs Items eher vermieden werden. Auch Doppel- oder Dreifachmatrizen sollten aus diesem Grund die Ausnahme sein.

Tipp: Die einzelnen Items oder Teilfragen in der Matrix sollten erschöpfend sein, also alle relevanten Aspekte des Themas abdecken, und sich nicht überschneiden, damit Sie nicht doppelt nach dem Gleichen fragen.

Tipp: Standardoption ist die Verwendung einer Skala mit einer ungeraden Anzahl von Skalenpunkten und einer neutralen Option (weder/noch oder teils/teils) in der Mitte. Sie können jedoch auch eine Skala mit einer geraden Anzahl von Skalenpunkten („Forced Choice“) verwenden, bei der die Teilnehmer*innen eine definitive Aussage machen müssen.

Tipp: Die Zahl der Skalenpunkte hängt in erster Linie vom Thema ab. Gängige Skalierungen umfassen fünf oder sieben Punkte. Überlegen Sie, wie genau Sie messen wollen beziehungsweise müssen. Eventuell ist es wenig sinnvoll, eine sehr differenzierte Skala für kleine Gruppen von Befragten zu verwenden, wenn die Antworten später ohnehin in Gruppen wie „Zustimmung“ und „Ablehnung“ zusammengefasst werden.

Tipp: Um Verzerrungseffekte zu vermeiden, sollte die Skala ausgewogen sein. Das bedeutet, dass sie auf der negativen und positiven Seite gleich viele Abstufungen aufweist, zum Beispiel zwei negative Tendenzen, eine neutrale Mitte und zwei positive Tendenzen.

Tipp: Eine klare Beschriftung der Skalenpunkte, zum Beispiel „sehr negativ“, „eher negativ“, „teils/teils“, „eher positiv“, „sehr positiv“, macht deutlich, was jeder Punkt bedeutet. Bei einer sehr ausdifferenzierten Skala, zum Beispiel von 0 bis 100, reicht es aus, nur die Pole und die Skalenmitte zu beschriften.

Tipp: Wenn Sie in einer Befragung mehrere Matrixfragen verwenden, achten Sie darauf, dass diese möglichst alle die gleiche Zahl von Skalenpunkten aufweisen. Um Irritationen zu vermeiden, sollten sämtliche Skalen in Ihrer Umfrage die gleiche Polung beziehungsweise Richtung haben, also zum Beispiel immer negativ links und positiv rechts.

Offene Fragen

Bei einer offenen Frage beantworten die Befragten die Frage mit eigenen Worten. Typische offene Fragen sind:

1. Allgemeine Meinungs- und Einschätzungsfragen, zum Beispiel „Was ist Ihnen im Zusammenhang mit dem Thema XYZ wichtig?“, oder eine abschließende Frage wie „Gibt es noch etwas, was Sie uns gern mitteilen möchten?“
2. Explorative Fragen, zum Beispiel: „Welche Störquellen in der XYZ-Software ärgern Sie am meisten? Nennen Sie bitte die drei lästigsten.“
3. Ergänzende Informationen oder Begründungen zu Antworten in vorhergehenden geschlossenen Fragen, zum Beispiel: „Oben haben Sie angegeben, dass Sie mit der XYZ-Software weniger zufrieden sind. Können Sie kurz erklären, warum?“

Das große Plus offener Fragen ist, dass Sie der Antwortbereitschaft keine Grenzen setzen. Die Teilnehmer*innen können Ihnen alles mitteilen, was sie für wichtig halten. Die Vorteile offener Fragen sind:

1. Unerwartete Antworten, durch die Sie etwas Neues erfahren.
2. Adäquate Antworten auf komplexe Fragen. In einer Situation, die eine detaillierte Beschreibung oder Erklärung erfordert, ist eine einfache Ja/Nein- oder Multiple-Choice-Antwort oft nicht ausreichend.
3. Sie können ohne Vorinformationen fragen. Bei geschlossenen Fragen müssen Sie zumindest ansatzweise wissen, welche Antworten Sie erwarten. Wenn Sie selbst wenig über einen Sachverhalt wissen, kann es sinnvoll sein, sämtliche Aspekte mit einer offenen Frage zu erkunden.

Aus folgenden Gründen sollten Sie offene Fragen mit Bedacht verwenden:

• Sie müssen in Abhängigkeit von der Größe der Befragungsgruppe unter Umständen beträchtlichen Mehraufwand einkalkulieren, um das Textmaterial anschließend aufzubereiten und zu codieren.
• Offene Fragen sind für die Befragten anstrengender als geschlossene Frageformate. Das kann, insbesondere wenn sie gehäuft vorkommen, die Abbruchquote erhöhen. Die Frage sollte also im Gesamtzusammenhang wichtig genug sein, um den gedanklichen und zeitlichen Aufwand für die Beantwortung zu rechtfertigen.
• Sie müssen davon ausgehen, dass Sie auf offene Fragen qualitativ sehr unterschiedliche Ergebnisse erhalten. Es gibt Befragte, die ausführliche Abhandlungen zum Thema verfassen, aber auch viele, deren Antwort nur aus schwer interpretierbaren Stichworten besteht. In der Regel wird ein großer Teil der Teilnehmer*innen die Frage gar nicht beantworten.

Tipp: Nicht jede Person in Ihrer Zielgruppe ist gerade in Stimmung für ausführliche Erklärungen. Offene Antwortfelder sollten daher optional sein.

Tipp: Fragen Sie möglichst präzise. Wenn Ihre Frageformulierung unscharf ist, interpretieren die Befragten die Frage eventuell falsch, konzentrieren ihre Aufmerksamkeit auf ein Nebenthema oder geben nur vage Antworten.

Tipp: Offene Fragen werden von den Teilnehmer*innen in ihren eigenen Worten beantwortet. Dabei können, zum Beispiel durch individuell typische Formulierungen oder situative Schilderungen, Informationen einfließen, die die Anonymität im Einzelfall faktisch aufheben. Um das Risiko zu minimieren, sollten Sie die Teilnehmer*innen gegebenenfalls darauf hinweisen und darum bitten, Antworten so zu formulieren, dass keine Rückschlüsse auf die persönliche Identität möglich sind.

Tipp: In Ihren LamaPoll-Fragebogen können Sie Datei-Upload-Fragen integrieren. Die Teilnehmer*innen werden dann aufgefordert, Ihnen eigene Dateien zur Verfügung zu stellen. Sie erhalten damit vergleichbare Informationen wie mit Antworten auf offene Fragen. Wenn Sie dieses Frageformat nutzen, überlegen Sie sich am besten schon vorher, nach welchem Schema Sie das Material auswerten wollen.

Fragebogendynamik

Der Fragebogen soll den Teilnehmer*innen ein möglichst positives Befragungserlebnis bieten. Die Herausforderung ist es, die Fragen selbsterklärend und den Fragenfluss so reibungslos wie möglich zu gestalten. Die Standardgliederung eines Fragebogens umfasst drei Teile: (1) die Einleitung und die Zustimmung zum Datenschutz, (2) den Fragenkatalog, gegebenenfalls in einzelne Fragenblöcke untergliedert, und (3) die „Dankeschön“-Seite.

Die erste Seite des Fragebogens hat die Aufgabe, vorhandenes Teilnahmeinteresse zu stabilisieren und noch Unentschlossene zur Teilnahme zu motivieren. Um die Abbruchrate auf der ersten Seite möglichst niedrig zu halten, gehören die Basisinformationen in möglichst übersichtlicher und leicht verständlicher Form an den Anfang:

• Thema
• Nutzen für die Befragten
• Befragungsdauer
• Teilnahmefrist
• Informationen über die Verantwortlichen und Kontaktpersonen

Außerdem informieren Sie auf der ersten Seite in der Information und Zustimmung zum Datenschutz über Vorkehrungen zum Schutz der Anonymität, die Speicherung und Verwendung der Daten sowie über die Löschfrist. Erwähnen Sie auch, wenn Sie Cookies zur Verhinderung von Mehrfachteilnahmen setzen.

Tipp: Gestalten Sie den Fragebogen so, dass die Transparenz hinsichtlich der Verantwortlichkeiten gewährleistet wird und eine unkomplizierte Kontaktaufnahme möglich ist. Sie können in der Fußzeile der Befragung ein Impressum und einen E-Mail-Link integrieren, um direkte Rückfragen zu ermöglichen.

Ein guter Fragebogen ist so strukturiert, dass die Themenblöcke logisch aufeinander folgen und die Teilnehmer*innen diese Logik nachvollziehen können.

Tipp: Steigen Sie vor allem bei schwierigeren Themen gegebenenfalls mit einer einfachen „Eisbrecherfrage“ in den Fragenkatalog ein, die an den Erfahrungen der Befragten anknüpft und von allen leicht zu beantworten ist.

Tipp: Sie können, wenn sinnvoll, dem Hauptteil eine kurze Ausfüllanleitung, gegebenenfalls verbunden mit einem Beispiel, voranstellen.

Tipp: Nutzen Sie Attribute, Sprünge, Filter und Sichtbarkeitsbedingungen, sodass die Befragten nur die Fragen sehen, die für sie relevant sind.

Tipp: Seien Sie sparsam mit Pflichtfragen. Diese sind notwendig, wenn Fragen mit Filtern oder Sichtbarkeitsbedingungen verknüpft sind, wirken ansonsten jedoch tendenziell motivationshemmend.

Autorin des Gastbeitrags „Expertentipps“

Elisabeth Kerkhoff, Dipl.-Sozialwissenschaftlerin
kerkhoff@extern.lamapoll.de