Fragebogen optimal erstellen: Expertentipps

Fragebogenoptimierung

Ein gut gestalteter Fragebogen trägt dazu bei, Interesse und Teilnahmemotivation zu fördern und aufrecht zu erhalten. Die größten Risiken für die Datenqualität sind das zufällige Antworten der Teilnehmer*innen oder der Abbruch der Befragung – um diese Risiken zu minimieren, sollten Fehlerquellen identifiziert soweit möglich ausgeschlossen werden. 

Fragenformulierung

Eine gute Frage ist so präzise und kurz wie möglich. Gehen Sie immer davon aus, dass einige Befragte möglicherweise von anderen Aufgaben abgelenkt werden und Ihrer Umfrage nicht die volle Aufmerksamkeit widmen. Hier zur Orientierung einige allgemeine Tipps, was beim Formulieren der Fragen zu beachten ist. 
 

Halten Sie Ihre Fragen einfach, damit sie von allen Adressat*innen gleich verstanden werden:
 

1. Orientierung an der Sprache der Zielgruppe
2. möglichst kurz, präzise und
3. sachlich (“Fehlfunktion” statt “Katastrophe”)
4. gängiges Vokabular, ggf. Erläuterung von Fachbegriffen
5. keine hypothetischen oder
6. negativ formulierten Fragen („diese Software ist nicht kompliziert“)
7. keine Suggestivfragen und Unterstellungen („wie bewerten Sie unsere hervorragende Software?“)

Tipp: Sprechen Sie pro Frage nur einen Sachverhalt an. Doppelte Fragen (z.B. "Wie bewerten Sie Funktionalität und die Anpassbarkeit der Software?") liefern unscharfe Ergebnisse. 

Tipp: Bei Fragen mit Zeitbezug (Häufigkeiten/Zeitintervalle) sollte dieser so genau wie möglich definiert werden. (Also besser "oft" durch z.B. "mindestens einmal pro Tag" ersetzen.) 

Tipp: Vermeiden Sie Fragen, die Informationen voraussetzen, die die meisten Befragten nicht haben. Wenn Sie den Teilnehmer*innen, etwa bei komplexen Sachverhalten, eine gezielte Erläuterung zum Thema geben möchten, können Sie dafür den LamaPoll-Info-Button nutzen. 

Fragetypen

Fragen können generell in zwei Gruppen eingeteilt werden: geschlossene und offene Fragen.

• Der große Vorteil geschlossener Fragen ist, dass die Daten einfach ausgewertet werden können und die Beantwortung weniger aufwändig ist. 
• Der Wert offener Fragen besteht zentral darin, dass sie ein Szenario für einen offenen Dialog mit den Teilnehmer*innen eröffnen und durch detaillierte Einblicke zusätzliche Informationen liefern können, die Sie sonst nicht erhalten würden.

Geschlossene Fragen

LamaPoll bietet Ihnen einen umfassenden Katalog von Fragetypen, die Ihnen jede Menge Gestaltungsfreiraum bieten. Darüber hinaus finden Sie auch Zusammenstellungen häufig verwendeter Fragen (bspw. demografische Fragen, Kontaktdaten, Fragen für Kunden- und Mitarbeiterbefragungen etc.) die Sie übernehmen und anpassen können. 

Tipp: Definieren Sie, im Interesse der Übersichtlichkeit, so viele Antwortmöglichkeiten wie nötig und so wenige wie möglich. Wenn Sie selbst nicht alle möglichen Antworten kennen, ist es besser, sich statt einer unübersichtlichen Auflistung auf die explizite Nennung der voraussichtlich häufigsten Optionen zu beschränken und für den Rest eine “Sonstige”-Kategorie (mit oder ohne Textfeld) anzubieten.

Tipp: Vermeiden Sie Irritationen, die dadurch entstehen, dass die Teilnehmer*innen sich in den Antwortmöglichkeiten nicht wiederfinden oder sich der für sie zutreffenden Antwortoption nicht eindeutig zuordnen können. Achten Sie also darauf, dass die Antwortvorgaben (a) vollständig sind und (b) sich nicht überschneiden.

Tipp: Nutzen Sie die Bearbeitungsmöglichkeiten unter „erweitert“, um die Frage optimal auf Ihren Informationsbedarf zuzuschneiden. Hier finden Sie zusätzliche Optionen, wie z.B. die Festlegung des zulässigen Formats und Wertebereichs für die Eingaben, Möglichkeiten der Darstellung, Vergabe von Bewertungspunkten und vieles mehr. 

Matrixfragen
Ein viel verwendetes Frageformat die Matrixfrage: Sie wird eingesetzt, wenn verschiedene Aspekte eines Themas relevant sind, die alle nach den gleichen Kriterien beurteilt werden sollen. Die Vorteile dieser kompakten Frageform sind, dass sie für die Teilnehmenden gut verständlich ist, dass sie übersichtlich ist und dass Sie detaillierte Informationen erhalten, ohne dass der Fragebogen zu lang erscheint.

Für die meisten Matrixfragen werden die Antwortoptionen in Form einer Graduierungsskala vorgegeben, wie z. B.:

• 0 <-> 10
• 0 <-> 100
• nie <-> immer
• negativ <-> positiv.
• stimme nicht zu <-> stimme zu 

Mit LamaPoll haben Sie weitreichende Möglichkeiten, Matrixfragen nach Ihren Wünschen zu gestalten: U.a. als einfache Single oder Multiple Choice Matrix, als optisch effektvolle Variante (mit Sternchen und Smileys), als Trendfrage oder Polaritätenprofil sowie als 2er oder 3er Matrix, bei denen jeder Sachverhalt nach mehreren Kriterien bewertet wird. 

Tipp: Überfordern Sie die Befragten nicht! Eine Matrix ist nicht nur eine Frage, sondern jede Zeile ist eine Frage. Bei zu vielen Items kann Umfragemüdigkeit dazu führen, dass Teilnehmer*innen die Antworten nach dem Zufallsprinzip markieren, ohne die Fragentexte wirklich gelesen zu haben - ein Risiko für die Datenqualität. Faustregel ist daher, Matrixfragen mit mehr als sechs Items eher nicht zu verwenden. Und auch Doppel- oder Dreifachmatrixen sollten aus diesem Grund die Ausnahme sein.

Tipp: Die einzelnen Items/Teilfragen in der Matrix sollten erschöpfend sein (d.h., alle relevanten Aspekte des Themas abdecken) und sich nicht überschneiden, damit Sie nicht doppelt nach dem Gleichen fragen.

Tipp: Standardoption ist die Verwendung einer Skala mit einer ungeraden Anzahl von Graduierungspunkten und einer neutralen Option (d.h. weder/noch oder teils/teils) in der Mitte. Dies fördert die Messgenauigkeit. Sie können jedoch auch eine Skalierung mit einer geraden Anzahl von Graduierungspunkten ("forced choice") anwenden, bei der die Teilnehmer*innen eine definitive Aussage machen müssen: z. B. wenn Sie die Befragung im Rahmen eines Entscheidungsprozesses durchführen und dafür klare Statements der Befragten erforderlich sind.

Tipp: Die Zahl der Skalenpunkte hängt in erster Linie vom Thema ab. Die gängigen Skalierungen umfassen entweder fünf oder sieben Punkte. Überlegen Sie, wie genau Sie messen wollen bzw. müssen. Eventuell ist es wenig sinnvoll, eine sehr differenzierte Skala für kleine Gruppen von Befragten zu verwenden, wenn man später die Antworten ohnehin in Gruppen wie „Zustimmung“ und „Ablehnung" zusammenfasst.

Tipp: Um Verzerrungseffekte zu vermeiden, muss die Skala (z. B. negativ  positiv) "ausgewogen" sein, was bedeutet, dass sie eine gleiche Anzahl von Abstufungspunkten auf der linken und rechten Seite aufweist (z.B. 2x negative Tendenz, 1x neutral, 2x positive Tendenz).

Tipp: Eine klare Beschriftung der Skalenpunkte (z.B. sehr negativ, eher negativ, teils/teils, eher positiv, sehr positiv) gibt eindeutig an, was jeder Punkt bedeutet. Die Beschriftungen müssen den gleichen Abstand zwischen den einzelnen Skalenpunkten widerspiegeln. Wenn Sie eine sehr ausdifferenzierte Skala haben (z.B. 0-100) reicht es aus, nur die Pole und die Skalenmitte zu beschriften. 

Tipp: Wenn Sie in einer Befragung mehrere Matrixfragen verwenden, achten Sie darauf, dass diese möglichst alle die gleiche Zahl von Skalenpunkten aufweisen. Um Irritationen zu vermeiden, sollten sämtliche Skalen in Ihrer Umfrage die gleiche Polarität/die gleiche Richtung haben (also immer negativ links und positiv rechts oder immer umgekehrt).

Offene Fragen

In einer offenen Frage beantwortet der/die Befragte die Frage mit eigenen Worten. Typische offene Fragen sind:

1. Allgemeine Meinungs- und Einschätzungsfragen (z.B. "Was ist Ihnen im Zusammenhang mit dem Thema XYZ wichtig") oder als obligatorische Schlussfrage ("Gibt es noch etwas, was Sie uns gern mitteilen möchten?")
2. Explorative Fragen, z.B.: "Welche Störquellen in der XYZ-Software ärgern Sie am meisten? Nennen Sie bitte die drei lästigsten!“
3. Ergänzende Informationen oder Begründungen zu Antworten in vorhergehenden geschlossenen Fragen (z.B. "Oben haben Sie angegeben, dass Sie mit der XYZ-Software weniger zufrieden sind. Können Sie kurz erklären warum?).
    

Das große Plus von offenen Fragen ist, dass Sie der Antwortbereitschaft keine Grenzen setzen — die Teilnehmer*innen können Ihnen alles mitteilen, was sie für wichtig halten. Die Vorteile offener Fragen sind:

1. Unerwartete Antworten, bei denen Sie etwas Neues erfahren.
2. Adäquate Antworten auf komplexe Fragen. In einer Situation, die eine detaillierte Beschreibung oder Erklärung erfordert, ist eine einfache Ja/Nein- oder Multiple-Choice-Antwort oft nicht ausreichend. Wenn Sie also jemanden bitten, eine Entscheidung zu erklären oder ein Problem zu beschreiben, sind offene Fragen vorzuziehen.
3. Sie können ohne Vorinformationen fragen. Denn bei geschlossenen Fragen müssen Sie zumindest ansatzweise wissen, welche Antworten Sie erwarten. Wenn Sie also selbst wenig über einen Sachverhalt wissen, kann es sinnvoll sein, sämtliche Aspekte mit einer offenen Frage zu erkunden.
    

Aus folgenden Gründen sollten Sie offene Fragen mit Bedacht verwenden: 

• Sie müssen (in Abhängigkeit von der Größe der Befragungsgruppe u.U. beträchtlichen) Mehraufwand kalkulieren, um das Textmaterial anschließend aufzubereiten und zu vercoden.
• Offene Fragen sind für die Befragten anstrengender als geschlossene Frageformate. Das kann, insbesondere wenn sie gehäuft vorkommen, die Abbruchquote erhöhen. Die Frage sollte also im Gesamtzusammenhang wichtig genug sein, um den gedanklichen und zeitlichen Aufwand für die Beantwortung zu rechtfertigen.
• Sie müssen davon ausgehen, dass Sie auf offene Fragen qualitativ sehr unterschiedliche Ergebnisse erhalten. Es gibt Befragte, die druckreife Abhandlungen zum Thema verfassen, aber auch viele, deren Antwort aus z.T. nur schwer interpretierbaren Stichworten besteht. Und i.d.R. wird die Mehrzahl der Teilnehmer*innen die Frage gar nicht beantworten. 

Tipp: Nicht jede/r in Ihrer Zielgruppe ist gerade in Stimmung für ausführliche Erklärungen. Offene Antwortfelder sollten daher immer optional gehalten werden.

Tipp: Fragen Sie möglichst präzise! Wenn Ihre Frageformulierung unscharf ist, interpretieren die Befragten die Frage eventuell falsch, konzentrieren ihre Aufmerksamkeit auf ein Nebenthema oder geben nur vage Antworten.

Tipp: Offene Fragen werden von den Teilnehmer*innen in ihren eigenen Worten ausgefüllt – dabei können, z.B. durch individuell typische Formulierungen oder situative Schilderungen, Informationen einfließen, die die Anonymität im Einzelfall faktisch aufheben. Um das Risiko zu minimieren, sollten Sie ggf. die Teilnehmer*innen auf dieses Problem hinweisen. Bitten Sie sie darum, Ihre Antworten so zu formulieren, dass keine Rückschlüsse auf die persönliche Identität möglich sind.

Tipp: In Ihren LamaPoll-Fragebogen können Sie “Datei-Upload”-Fragen integrieren. Die Teilnehmer*ìnnen werden dann aufgefordert, Ihnen eigene Dateien zur Verfügung zu stellen. Sie erhalten damit vergleichbare Informationen wie mit Antworten auf offene Fragen. Wenn Sie dieses Frageformat nutzen, überlegen Sie sich am besten schon vorher, nach welchem Schema Sie das Material auswerten wollen. 

• Thema und
• der Nutzen für die Befragten
• Befragungsdauer
• Teilnahmefrist
• Informationen über die Verantwortlichen/Kontaktpersonen

Tipp: Gestalten Sie den Fragebogen so, dass die Transparenz hinsichtlich der Verantwortlichkeiten gewährleistet wird und eine unkomplizierte Kontaktaufnahme möglich ist. Sie können in der Fußzeile der Befragung ein Impressum und einen Mail-Link integrieren, um direkte Rückfragen zu ermöglichen.

Tipp: Steigen Sie, vor allem bei schwierigeren Themen, ggf. mit einer einfachen „Eisbrecherfrage“ in den Fragenkatalog ein, die an den Erfahrungen die Befragten anknüpft und von allen leicht zu beantworten ist.

Tipp: Sie können, wenn sinnvoll, dem Hauptteil eine kurze Ausfüllanleitung, ggf. verbunden mit einem Beispiel, voranstellen.

Tipp: Nutzen Sie Attribute, Sprünge, Filter und Sichtbarkeitsbedingungen, so dass die Befragten nur die Fragen sehen, die auch für sie relevant sind.

Tipp: Seien Sie sparsam mit Pflichtfragen. Diese sind zwar absolut notwendig, wenn Fragen mit Filter oder Sichtbarkeitsbedingungen verknüpft sind, wirken jedoch ansonsten tendenziell motivationshemmend. 

 Autorin des Gastbeitrags "Expertentipps":
Elisabeth Kerkhoff, Dipl.-Sozialwissenschaftlerin

kerkhoff@extern.lamapoll.de