User Research Methoden im Online Marketing

Gerade im Online Marketing ist das Sammeln von Daten zu Transaktionen, dem Nutzerverhalten und den Eigenschaften der Zielgruppe sehr einfach und vor allem auch kostengünstig zu bewerkstelligen. Dennoch liegt der Fokus im Online Marketing noch immer viel zu sehr auf der Generierung von Zugriffen und zu wenig auf der Optimierung der Nutzererfahrung. Auch wenn sich die Conversion Optimierung immer mehr als eigenständige Disziplin des Online Marketings etabliert, beschränken sich die Maßnahmen meist auf quantitative Methoden wie der Web Analyse, der Durchführung von A/B Tests oder Mouse Tracking. In diesem Beitrag möchte ich einerseits einen Überblick über verschiedene User Research Methoden geben und andererseits das Bewusstsein für deren Vor- und Nachteile, bzw. ihren Anwendungsbereichen schärfen. Bevor ich mich den einzelnen Methoden im Detail widme, möchte ich die Kategorisierung der Methoden erläutern.

Quantitativ vs. Qualitativ

Die erste Kategorisierung findet auf Basis der Art der Datenerhebung statt. Bei der quantitativen Forschung geht es um die Erhebung strukturierter Daten mit dem Ziel einer Messung. Die Methoden folgen vorab festgelegten Prozessen, die von der Formulierung von Hypothesen über die Datenerhebung und die Auswertung mit Hilfe statistischer Verfahren reichen. Das Ziel von A/B Tests ist zum Beispiel die Identifizierung einer Variante, die langfristig zu besseren Ergebnissen (z.B. Abschlussrate) führt.

Die qualitative Forschung ist in ihrer Anwendung viel freier (oftmals auch iterativ) und versucht in einen Themenbereich möglichst tief einzutauchen. Durch die meist kleinen Fallzahlen (z.B. ein User Test mit 8 Probanden) können die Ergebnisse nicht auf die Allgemeinheit umgelegt werden. Die Daten selbst werden interpretiert und das Endziel ist vielmehr die Entwicklung neuer Theorien als bestehende Theorien zu prüfen oder zu widerlegen. In einem Interview mit Bestandskunden könnten Unternehmen zum Beispiel mehr über die Kaufmotive und den Informationsprozess erfahren und die bestehende Kommunikationsstrategie auf Basis dieser Informationen anpassen.

Verhalten vs. Einstellung

Die zweite Kategorisierung bezieht sich auf die Art der erhobenen Daten. Bei Methoden wie einem User Test oder Mouse Tracking wird das konkrete Verhalten von Probanden, bzw. Website Besuchern untersucht. Bei einer On-Site Befragung oder einem Tiefeninterview steht hingegen die Einstellung zu einer Marke, einem Produkt oder der Nutzererfahrung mit einer Website im Vordergrund.

Der Vorteil der verhaltensbezogenen Erhebung ist, dass die erhobenen Daten sehr nahe an der Realität sind. Dies trifft vor allem auf Methoden wie der Web Analyse oder dem Mouse Tracking zu, bei denen den Nutzer oftmals nicht bewusst ist, dass ihre Interaktionen mit der Website gemessen werden. Bei einem User Test könnte der ungewohnte Kontext und das erhöhte Bewusstsein jedoch einen Einfluss auf das Verhalten haben. Diese Methoden eignen sich aber hervorragend dazu herauszufinden, wie sich Menschen verhalten und was sie konkret auf einer Website machen.

Im Kontrast dazu hat die auf Einstellungen ausgerichtete Forschung das Ziel, mehr über die Motive zu erfahren, die zu einem konkreten Verhalten führen. Diese Methoden können daher die Gründe des über die verhaltensbezogenen Methoden beobachtete Verhalten beleuchten. Der Nachteil dieser Methoden ist, dass Nutze ihr eigenes Verhalten oftmals selbst nicht erklären können, bzw. das über unterbewusste Prozesse gesteuerte Verhalten post-rationalisieren, während die wahren Gründe verborge bleiben. In Befragungen zur Nutzererfahrung mit einer Website können Probanden auch bestrebt sein im Sinne des Unternehmens zu antworten, was den Wert der erhobenen Daten ebenfalls mindern kann.

Experten vs. Nutzer

Die Zusammenarbeit mit Experten hat den Vorteil, dass Daten relativ schnell und mit geringem Einsatz von Ressourcen gesammelt werden können. Eine Expertenevaluation kann auch der Start einer Reihe von Erhebungen sein, um zum Beispiel die gravierendsten Fehler auszumerzen, bevor umfangreichere Erhebungen stattfinden. Ein Nachteil dieser Methoden sind die höheren Kosten, die bei der Zusammenarbeit mit UX/Usability Experten anfallen.

User Research Methoden mit Nutzern können von schnellen Guerilla Tests mit Kollegen oder Bekannten bis hin zu Eye Tracking Studien reichen. Die Probanden müssen dabei nicht zwingend repräsentativ für die Zielgruppe sein, wobei dies im jeweiligen Fall abzuklären ist. Bei einem User Test für einen Online Shop für Bekleidung können die Teilnahmekriterien sehr locker sein, bei der Evaluierung einer auf spezifische B2B Leistungen ausgerichteten Website hat die Zugehörigkeit zur Zielgruppe wiederum einen großen Einfluss auf die Qualität der erhobenen Daten.

User Research Methoden im Überblick

Die folgende Auflistung an unterschiedlichen User Research Methoden erhebt keinen Anspruch auf Vollständigkeit, beinhaltet jedoch gängige Methoden, mit denen sich Unternehmen und Online Marketer zumindest auseinandersetzen sollten.

Web Analyse

Quantitativ, Verhalten, Nutzer

Web Analyse wird oftmals nur mit der Dokumentation von Website Zugriffen und der Segmentierung dieser nach unterschiedlichen Dimensionen (z.B. Zugriffsquellen, Endgeräte, Zielregionen) gleichgesetzt. Die gesammelten Daten haben aus User Research Sicht jedoch einen viel höheren Wert, da sie für die Identifizierung von Mustern und die Ableitung konkreter Maßnahmen, bzw. Hypothesen genutzt werden können. Auch wenn in Zeiten verschärfter Datenschutzbestimmungen und Cookie Leisten nur noch ein Teil aller Website Besucher erfasst wird, sprechen wir in den meisten Fällen von einer sehr repräsentativen Stichprobe, mit der hervorragend gearbeitet werden kann.

Als quantitative Methode mit Fokus auf Verhalten (Seitenaufrufe, Interaktionen mit Website Elementen) geben uns die Web Analyse Daten vor allem Aufschluss darüber was konkret auf der Website passiert. Oftmals können die Daten auch Anstoß einer detaillierten Analyse sein, zum Beispiel wenn es eine hohe Ausstiegsrate im Bestellprozess gibt.

Quelle: Bericht zum Bestellprozess in Google Analytics

Experten Evaluation

Qualitativ, Einstellung/Verhalten, Experten

Die Zusammenarbeit mit UX oder Usability Experten können kritische Usability Fehler oder Optimierungsbereiche in kurzer Zeit identifiziert werden. Dabei kommen häufig sogenannte Heuristiken (z.B. Nutzerkontrolle, Fehlervermeidung) oder Modelle zum Einsatz, auf Basis derer die Analysen durchgeführt werden. Es handelt sich dabei um eine qualitative Methode und auch wenn die Experten vordefinierte Szenarien durchlaufen können, ist die Analyse von subjektiver Natur und enthält sowohl Elemente von Verhalten (Szenarien) als auch Einstellung (Heuristiken).

On-Site Befragungen

Qualitativ, Einstellung, Nutzer

Unter On-Site Befragungen sind kurze Befragungen gemeint, die meist mit Hilfe eines Widgets eingeblendet werden. Der Umfang ist nicht mit einer normalen Umfrage vergleichbar, kann in einem Mix von mehreren Methoden jedoch eine gute Ergänzung sein. Ein weiterer möglicher Nachteil ist die Menge an Antworten, was vor allem für Websites mit wenigen Besuchern problematisch werden kann. Als quantitative Methode muss eine gewisse Fallzahl erreicht werden, um die Daten mit Hilfe statistischer Tests weiterverarbeiten zu können. Sollte dies nicht realistisch sein, könnte man On-Site Befragungen jedoch als Feedback Tool verwenden.

Quelle: Feedback Widget von Hotjar

Mouse-Tracking

Quantitativ, Verhalten, Nutzer

Beim Mouse- oder Click-Tracking wird ein Code Snippet auf der Website platziert und die Bewegungen des Mouse Cursors erfasst. Die Daten können mittels Heatmaps, Scrollmaps oder sogenannten „Session Replays“ (Bildschirmaufnahmen) ausgewertet werden. Diese Methode ist eine sehr kostengünstig und einfach zu implementierende Alternative zu Eye Tracking Studien. Es muss jedoch angemerkt werden, dass die erhobenen Daten nicht den Umfang und die Tiefe einer Eye Tracking Studie bieten. Zudem gibt es auch einen sehr lebendigen wissenschaftlichen Diskurs darüber, inwieweit Mouse Tracking wirkliche eine Alternative zum Eye Tracking sein kann. Für viele Unternehmen ist Eye Tracking schon aus Kostengründen keine Option. Gepaart mit den Daten aus einem Web Analyse Tool können spannende Erkenntnisse gewonnen werden.

Quelle: Mouse Tracking Bericht von CrazyEgg

Eye Tracking

Qualitativ/Quantitativ, Verhalten, Nutzer

Eye Tracking kann sicher als eine der Königsdisziplinen im Bereich der Nutzerforschung bezeichnet werden. Ein Eye Tracker erfasst mit Hilfe von Infrarot-Licht die Bewegungen der Pupillen und kann mit hoher Präzision die Augenbewegungen – bestehend aus Fixationen und Sakkaden – festhalten. Die Daten können sowohl quantitativ (z.B. Zeit bis zur ersten Fixation, Dauer der Fixation) als auch qualitativ (Kommentare während der Sitzung, Nachbefragung, Heatmaps Analysen) ausgewertet werden. Die Kosten für einen Eye Tracker oder die Durchführung durch ein Institut sind jedoch mit hohen Kosten verbunden. Neben dem Mouse-Tracking gibt es zahlreiche Alternativen, die zum Beispiel auf die Webcam der Probanden zugreifen oder Software, die die Aufmerksamkeitswirkung mit Hilfe von Computermodellen misst und dabei ohne Probanden auskommt.

Quelle: Eye Tracker von Gazepoint

User Testing

Qualititativ, Verhalten, Nutzer

Bei einem Nutzertest durchlaufen 6-8 Probanden vordefinierte Szenarien (z.B. Suche nach einem Produkt, Kauf eines Produkts, Erstellung eines Nutzerkontos) und werden gebeten, ihre Sitzung laufend zu kommentieren (Think-Aloud Methode). Die Sitzung und die Kommentare können über eine Software aufgezeichnet werden. Der Test selbst kann in Form eines Labors oder deutlich kostengünstiger als Remote-Test durchgeführt werden. Die Durchführung durch ein Institut kann mit hohen Kosten verbunden sein, dafür ist die Qualität der erhobenen Daten deutlich höher. Ein Remote-Test kann jedoch für kleine Unternehmen ein guter Einstieg in die Materie sein und eine Vielzahl an Usability Problemen an Tageslicht bringen. Die führenden Anbieter ermöglichen eine Eingrenzung der Probanden nach Geschlecht, Altersgruppen und Endgerät.

Quelle: Remote User Testing bei RapidUsertests

A/B Testing

Quantitativ, Verhalten, Nutzer

Die Durchführung von A/B Tests beinhaltet die Erstellung einer Testvariante, die sich im Idealfall deutlich von der bestehenden Seite (Kontrollvariante) unterscheidet. Die beide Varianten werden mit Hilfe eines Skripts randomisiert, jedoch zu gleichen Anteilen, den Besuchern einer Website oder Landing Page angezeigt. Durch den Einsatz von Cookies soll sichergestellt werden, dass Nutzer für die Dauer des Tests bei einem erneuten Besuch (über das gleiche Endgerät, bei Verwendung des gleichen Web Browsers) die gleiche Version sehen. Im Zentrum des Tests steht eine konkrete Aktion, wie zum Beispiel das Absenden eines Formulars oder der Klick auf einen Button. Die Abschlussraten der beiden Varianten werden gegenübergestellt und mit Hilfe statistischer Methoden ausgewertet. Im Falle eines statistisch signifikanten Unterschiedes zwischen den beiden Varianten kann die Hypothese, dass die Testvariante eine höhere Abschlussrate aufweist entweder gestützt oder verworfen werden.

Quelle: A/B Tests mit VWO

Card Sorting

Qualitativ, Einstellung, Nutzer

Diese Methode wird vorwiegend bei der Erarbeitung einer Informationsarchitektur, zum Beispiel im Rahmen eines Website (Re-)Launches angewendet. Probanden erhalten Karten oder Haftnotizen mit Begriffen (z.B. Produktkategorien) und müssen diese in eine aus ihrer Sicht sinnvolle Struktur bringen. Die Ergebnisse können für den Aufbau und das Navigationskonzept einer Web Präsenz verwendet werden.

Quelle: Card Sorting mit Haftnotizen (istockphoto.com / christopherhall)

Guerilla Testing

Qualitativ, Einstellung, Nutzer

Bei dieser Methode wird ein Rohkonzept oder ein Prototyp einer kleinen Auswahl von Personen gezeigt, die im Idealfall nichts mit der Website zu tun haben. Der Test könnte so ablaufen, dass den Probanden ein Screenshot einer Seite für wenige Sekunden gezeigt wird und die Probanden in Folge Fragen zum Inhalt und den Zielen der Seite gestellt werden. Auch wenn der wissenschaftliche Anspruch diese Methode gering sein mag, kann ein Guerilla Test vor allem in frühen Stadien eines (Re-)Launch Prozesses nützliche Erkenntnisse liefern.

Quelle: Guerilla Testing auf Basis von Wireframes (istockphoto.com / Chaosamran_Studio)

Auswahlkriterien bei User Research Methoden

Alle hier vorgestellten Methoden haben diverse Vor- und Nachteile und bestimmte Anwendungsfälle, bei denen sie besonders gute Ergebnisse liefern können. Es kommt wie so oft auf den individuellen Fall und die verfügbaren Ressourcen an, welche Methode, bzw. welcher Methoden-Mix angewendet wird. Grundsätzlich ist es jedoch sinnvoll, Methoden aus unterschiedlichen Kategorien miteinander zu kombinieren. Dies kann die Auswertung von Web Analyse Daten (quantitativ, Verhalten, Nutzer) und ein Nutzertest (qualitativ, Verhalten, Nutzer) sein um sowohl das „Was“ als auch das „Warum“ zu beantworten. Es gilt auch hier zwischen Erkenntnisgewinn, Ressourceneinsatz und Sättigungseffekten abzuwägen. Die folgenden Optionen sind Beispiele für kostenlose bis kostengünstige Maßnahmenpakete im Bereich der Nutzerforschung.

Fazit

Die Möglichkeiten im Bereich der Nutzerforschung sind vielfältig und sollten – wenn man die mögliche Hebelwirkung bei den Abschlussraten bedenkt – den gleichen Stellenwert wie die Generierung von Website Besuchern einnehmen. Auch im Falle von geringen Ressourcen gibt es mehrere Möglichkeiten Daten und Erkenntnisse über das Nutzerverhalten zu sammeln und Optimierungsmaßnahmen abzuleiten. Das häufig genannte Argument „wir sind ja nicht Amazon“ ist wirklich nicht mehr als nur eine schlechte/bequeme Ausrede!