User Experience und Usability messen: Methoden & Fragebögen

Nutzererlebnis (UX) und Gebrauchstauglichkeit (Usability) sind entscheidende Faktoren für den Erfolg von digitalen Anwendungen. Für Unternehmen, die digitale Produkte entwickeln, ist die Messung der User Experience und der Usability daher unerlässlich. Sowohl die User Experience (UX) als auch die Usability lässt sich am einfachsten durch Befragungen von Nutzern messen. UX-Befragungen und -Evaluationen sind unkompliziert online durchzuführen. In den folgenden Abschnitten erfahren Sie, welche quantitativen und qualitativen Methoden zur Messung der User Experience bzw. Usability Anwendung finden, wie Sie die Nutzererfahrung und Benutzerfreundlichkeit mithilfe von Online-Fragebögen ermitteln können und welche Faktoren beim Thema UX zu berücksichtigen sind. Darüber hinaus stellen wir Fragebogen-Vorlagen zur Verfügung und geben Tipps zur Evaluation der User Experience.

• Methoden zur Messung der UX und der Usability
• Fragebögen zur Messung des Nutzererlebnisses: UEQ & UEQ-S
• Usability messen mit der System Usability Scale (SUS)
  • Berechnung des SUS-Scores
  • SUS: Interpretation der Ergebnisse
  • Vor- und Nachteile des SUS
• User-Feedback mit Online-Formularen einholen
• Datenanalyse: Website-Metriken & Nutzer-Analyse-Tools
• Fragebogen-Vorlagen: UX und Usability messen 

Methoden zur Messung der UX und der Usability

Es gibt eine Reihe von Methoden, um das Nutzererlebnis (UX) und die Gebrauchstauglichkeit (Usability) von digitalen Anwendungen zu messen. Das Analysieren technischer Metriken (Verweildauer, Conversion Rate, Absprungrate etc.) allein ist nicht ausreichend, gibt es doch nur begrenzt Aufschluss über das Nutzerverhalten. Insbesondere Gründe und Ursachen für das Verhalten werden hierdurch nicht erfasst. Daher ist es für Unternehmen der Digitalbranche von großer Bedeutung, direktes Feedback von Nutzern zu generieren. Schließlich zählen UX und Usability zu den wichtigsten Erfolgsfaktoren, wenn es um die Vermarktung digitaler Produkte und die Markenwahrnehmung geht. In den folgenden Abschnitten stellen wir die unterschiedlichen Methoden zur Messung des Nutzererlebnisses und der Gebrauchtstauglichkeit von digitalen Produkten vor. Außerdem erfahren Sie, welche Nutzer-Analyse-Tools flankierend zu Online-Umfragen eingesetzt werden können, um Rückschlüsse auf den UX-Reifegrad ziehen zu können. 

UX-Fragebögen zur Messung des Nutzererlebnisses: UEQ & UEQ-S

Um das Nutzererlebnis und damit den UX-Reifegrad von digitalen Anwendungen zu ermitteln, werden zusätzlich zu klassischen Usability-Tests Online-Fragebögen eingesetzt. Mithilfe von Online-Befragungen wird die subjektive Wahrnehmung der User erfasst und ausgewertet. Hierfür stehen eine Reihe von Standard-Fragebögen zur Verfügung, mit denen UX-Faktoren wie etwa Effizienz, Attraktivität und Stimulation („Joy of Use“) untersucht werden können. Zu den Standard-Fragebögen zählen beispielsweise der UEQ (User Experience Questionnaire) und dessen Kurzversion, der UEQ-Short. 

Beim UEQ werden User gebeten, eine Wahl zwischen konträren Begriffen (Gegenpolen) zu treffen. Zu den Gegensatzpaaren, zwischen denen User auf einer Skala wählen können, zählen z.B. „kompliziert“ <-> „einfach“ und „ineffizient“ <-> „effizient“. Innerhalb eines Fragebogens wird also ein sog. Polaritätenprofil verwendet, bei dem die Nutzer gebeten werden, das Produkt auf einer Skala zwischen Wortgegensatzpaaren einzuordnen. Auf diese Weise wird der subjektive Eindruck von Usern hinsichtlich des Nutzererlebnisses von Produkten gemessen.
 

Mithilfe der Gegensatzpaare werden die relevanten Aspekte der Benutzererfahrung abgefragt. Der UEQ berücksichtigt sowohl pragmatische UX-Aspekte als auch erlebnisorientierte und ästhetische Faktoren. Klassische Usability-Kriterien wie Verständlichkeit und Zuverlässigkeit werden also ebenso untersucht wie die UX-Kriterien Stimulation und Originalität.

Anhand des UEQ werden folgende UX-Aspekte beleuchtet:
 

• Attraktivität
• Klarheit/Verständlichkeit
• Effizienz
• Zuverlässigkeit/Vertrauenswürdigkeit
• Stimulation 
• Neuartigkeit/Originalität
   

Das Polaritätenprofil des UEQ umfasst 26 Items, die Kurzversion "UEQ-Short" 8 Items. Die Kurzversion "UEQ-Short" ist für Anwendungsfälle gedacht, bei denen Usern die komplette Version als zu lang erscheinen könnte, also wenn beispielsweise direkt nach einer Bestellung auf einer Website ein UX-Fragebogen ausgefüllt werden soll. Denn je kürzer die Befragung, desto geringer in der Regel die Abbruchquote. Der UEQ-Short kann auch als Ergänzung einer klassischen Kundenbefragung genutzt werden, wenn UX-Aspekte quasi "nebenbei" miterfasst werden sollen. Eine kostenlose Fragebogen-Vorlage "UEQ-Short" finden Sie weiter unten auf dieser Seite.

Abb.: Auszug aus dem UEQ-Fragebogen zur Ermittlung des UX-Reifegrads

Orientieren Sie sich beim Erstellen von Kundenbefragungen gern an unseren kostenlosen Vorlagen, die Sie mit nur einem Klick in Ihren Account kopieren und dort nach Bedarf anpassen können: Fragebogen-Vorlagen für Kundenbefragungen 

Usability messen mit der System Usability Scale (SUS)

Die System Usability Scale (SUS) ist ein bewährtes Instrument zur Messung der Usability von digitalen Anwendungen und Systemen. Mittels SUS kann die Gebrauchstauglichkeit/Benutzerfreundlichkeit von Softwareprodukten, Websites, Apps, Tools etc. gemessen werden. Der SUS-Score kann zwischen 0 (schlechteste Usability) und 100 (optimalste Usability) liegen. 

Ermittelt wird der SUS-Score mithilfe eines kurzen Fragebogens, der Usern in der Regel online vorgelegt wird. Der Fragebogen enthält 10 Aussagen (Items), die von den Umfrage-Teilnehmern auf einer fünfstufigen Likert-Skala (von vollständiger Zustimmung bis vollständiger Ablehnung) bewertet werden. Pro Item werden 4 bis 0 Punkte vergeben bzw. bei negativ formulierten Aussagen 0 bis 4 Punkte.
 

Ein Beispiel für die Punktevergabe: 

• Stimmt ein Teilnehmer der Aussage „Ich empfinde die App als einfach zu nutzen“ vollständig zu, werden 4 Punkte vergeben.
• Stimmt ein Teilnehmer der (negativ formulierten) Aussage „Ich empfinde die App als unnötig komplex“ vollständig zu, werden 0 Punkte vergeben.

In der SUS-Fragebogen-Vorlage, die wir weiter unten auf dieser Seite zur Verfügung stellen, sind die Punkte bereits entsprechend hinterlegt. 

Berechnung des SUS-Scores 

Berechnet wird der SUS-Score, indem die Durchschnittswerte der 10 Items addiert werden und die sich daraus ergebende Summe mit 2,5 multipliziert wird. Da der maximale Durchschnittswert pro Item 4 beträgt, kann die Addition aller 10 Durchschnittswerte maximal 40 Punkte ergeben. Multipliziert mit 2,5 ist also ein bestmöglicher SUS-Score von 100 möglich.

Der SUS-Score kann also zwischen 0 (= schlechteste Usability) und 100 (= optimalste Usability) liegen. Liegt der ermittelte SUS-Score unter 68, ist die Gebrauchstauglichkeit der Anwendung als unterdurchschnittlich anzusehen, es liegen also erhebliche Usability-Probleme vor. Werte von 68 und höher stehen für eine gute bis perfekte (100) Gebrauchstauglichkeit.

Die ursprüngliche Berechnung des SUS-Scores war aufgrund der mal positiv, mal negativ konnotierten Fragen kompliziert. Durch den verbesserten SUS 2.0 entfällt diese umständliche Berechnung. Detaillierte Informationen finden Sie hier: SUS 2.0 – die verbesserte System Usability Scale von LamaPoll

Abb.: Auszug aus einem Online-Fragebogen zur Ermittlung des SUS-Scores 

SUS: Interpretation der Ergebnisse

Ein Score von 100 ist zwar optimal, jedoch unrealistisch. Doch was ist mit 70? Ist 65 überdurchschnittlich? Es gibt verschiedene Ansätze  der Interpretation des SUS Scores. Eines haben die meisten gemeinsam – Werte unter 40 sind richtig schlecht und ein SUS Score von über 70 ist ausgezeichnet. Es sollte also, wie normalerweise bei jeglichen Benchmarks üblich, bei Wiederholung stets ein höherer Score (oder ein stabil hoher Score) angestrebt werden.

Abb.: Interpretation des SUS-Scores 

Vorteile und Nachteile des SUS-Scores

• Sehr vielseitig einsetzbar
• Kostengünstig und schnell durchführbar
• Wiederholbar und somit vergleichbar über Zeit
• International vergleichbarer Benchmark
• Unter Umständen auch systemübergreifend vergleichbar (App/Webseite/System/Software..)

• Kein Input zu Schwächen des Produkts (im Gegensatz bspw. zum erweiterten NPS mit Eingabefeld)
• Etwas umständlich auszurechnen

Die System Usability Scale wurde 1986 von John Brooke entwickelt. Die SUS-Methode zur Messung der Gebrauchstauglichkeit gehört nach wie vor zu den relevanten Verfahren der Nutzerforschung, da der Score zuverlässig ist und Vergleiche ermöglicht. 

User-Feedback mit Online-Formularen einholen

Mithilfe von Feedback-Formularen geben Sie Kunden die Möglichkeit, ihre Bedürfnisse, Wünsche und Kritikpunkte hinsichtlich der digitalen Produkte zu äußern. Feedback-Formulare können unkompliziert auf der eigenen Website eingebunden werden. So kann beispielsweise mithilfe eines Online-Formulars strukturiert ermittelt werden, ob User mit den Produkten zufrieden sind, welche Funktionen sie vermissen oder weshalb sie ein Angebot nicht (mehr) in Anspruch nehmen möchten.
 

Auch im Rahmen des Churn-Managements kommen Formulare zum Einsatz, um potentiell abwanderungswillige Kunden zu identifizieren, die Gründe für die etwaige Abwanderung zu ermitteln und somit Rückschlüsse auf (nicht erfüllte) Kundenbedürfnisse ziehen zu können (siehe auch: Kundenbedürfnisse ermitteln). Ausführliche Informationen zu den diversen Einsatzmöglichkeiten von Online-Formularen sowie Formular-Vorlagen finden Sie in diesem Beitrag: Online-Formulare selbst erstellen 

Datenanalyse: Website-Metriken und Nutzer-Analyse-Tools 

Durch die Analyse technischer Metriken, wie etwa Absprungrate und Verweildauer auf der Website, können nur indirekt Rückschlüsse auf UX und Usability gezogen werden. Die Analyse kann aber flankierend Hinweise geben und auf Schwachstellen hindeuten. Zudem kann Visualisierungs- und Analysesoftware eingesetzt werden, um die Usability und UX einer Website zu analysieren. Beispielsweise lassen sich mit Session Replays Besuchersitzungen aufzeichnen, sodass das Nutzerverhalten nachvollzogen werden kann.

Darüber hinaus können mit Heat Maps Benutzeraktivitäten visualisiert werden, dabei wird die Intensität der Besucherinteraktionen mithilfe eines Wärme-Kälte-Farbschemas dargestellt. Website-Bereiche, die von Usern häufig angeklickt werden, werden z.B. mit einer warmen Farbe markiert. Weitere Nutzer-Analyse-Tools sind Clickmaps, Scrollmaps, Hover-Maps (auch bekannt als Mouse-Tracking) und Eye-Tracking-Maps. Bitte beachten Sie: Beim Einsatz solcher Analyse-Tools sollte unbedingt auf DSGVO-Konformität geachtet werde.