Zukunft des Fragens

© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München

Die Zukunft des FragensTeilnehmerverhalten in Next Generation Multi-Screen-Design Studien

Holger Lütters HTW BerlinMalte Freksa GapFish GmbHSandra Vitt Mediengruppe RTL Deutschland


Ausgangslage “Die Zukunft des Fragens”

0


Ausgangsthese: Die Befragungslandschaft ändert sich. Kann die Marktforschung es sich leisten gleich zu bleiben?

“unintentional mobile participation”●Befragungen finden zunehmend auf mobilen Geräten statt●Desktopkonzepte werden unintendiert auf Smartphones ausgefüllt ● Befragungsdauer auf mobilen Geräten ca. 20% länger im Vergleich zu

Desktopbefragungen mit Auswirkungen auf die Kosten der Incentivierung und Teilnahmebereitschaft

●Technologieproblem verdrängt Fragen nach Methodik und Effekten verschiedener Erhebungstechnologien auf mobilen Geräten


Studie: Wie funktioniert das Fragen in der Zukunft?

Zentrale Fragestellung:● Wie fragt man in Zukunft, wenn Menschen auf beliebigen Kanälen mit

unterschiedlichsten Technologie an Studien der Marktforschung teilnehmen wollen?

Forschungsansatz:● Effekte der Nutzung unterschiedlicher Kanäle auf Ergebnisse ● Test neuer Fragetypen, welche das mobile Nutzungsverhalten stärker

berücksichtigen sollen (und dennoch auf den klassischen Geräten funktionieren müssen)

● Hintergrundmessungen des Verhaltens während der Teilnahme

● Ergebnissoffene Analyse alter und neuer Konzepte in Bezug auf Validität der Datenerhebung


Experimentelles Studiendesign

1


Konzept der Studie

Field Work

Fragebogen mit neuen Fragetypen:

Kooperationsprojekt innovativer Berliner Marktforscher befragte n=807 Teilnehmer auf unterschiedlichen Geräten und Kanälen

●13 Minuten Fragebogen●Durchführung Oktober 2015●1400 Kontakte●Zufallsverteilung auf “klassische” oder

“neue” Fragetypen ●807 vollständige Interviews●davon 216 Befragte In-App●Quotierung auf genutzte Geräte

Teamarbeit Eckdaten der Umsetzung


Aufgabenstellung: Wie fragt man in Zukunft?Wo fragt man in Zukunft?

Quotierte Devicekategorien Desktop/Laptop und Mobile (Tablet/Smartphone)


Verbesserung der UX in der Marktforschung durch NXT GEN Fragetypen“Alte” vs. “Neue” Fragetypen im Vergleich

2


NXT GEN Fragetypen im Responsive DesignBeispiel: Grafische Unterstützung und technische Unterstützung

Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

● Wichtigstes Ergebnis bei über 20 Fragen: Die neue Technologie hat keine Auswirkung auf die Antworten bei Standardfragen

● Einfache grafische Unterstützung soll helfen, kann aber auch Komplexität erhöhen


Idee: Grafische Unterstützung zur kognitiven Entlastung bei “komplexeren” Fragen gelingt nicht immer



Hypothese: Die unterschiedliche Darstellung von Fragetypen kann dennoch Einfluss auf das Antwortverhalten nehmen

Beispiel klassischer FragetypDrop-down Auswahlliste

Beispiel Next Generation FragetypAntwort auf grafischer Skala


Die unterschiedliche Darstellung einer Frage kann extremen Einfluss auf das Antwortverhalten haben. Drop-down liefert keine validen Ergebnisse

Gemessene Zeit über alle Befragten: 13 Minuten 47 Sekunden

Frage: Wie lange war dieser Fragebogen?


Klassiker der Marktforschung vs. neue Idee der Erhebung mit Touch:Ranking vs. graphisches Sortieren

Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp mit 2 Bedienoptionen

Ergebnis: 4 von 5 Items werden “anders” einsortiert bei Wechsel der MethodeDie unterschiedlichen Fragetypen erzeugen einen klassischen Rank-Reversal.


Methode vollständiger Paarvergleiche nach Analytic Hierarchy Process zu Ermittlung der Präferenzen


Die Bewertung im vollständigen Paarvergleich (10 Fragen) ergibt ein völlig anderes (vielleicht valideres) Bild als die Ranking-Frage


Type-In vs. graphische Antwort bei MethodenHier: Price-Sensitivity Meter



Die grafische Antwort erzeugt abweichende Werte im Vergleich zur direkten Dateneingabe. Ergebnis 44% höhere Preisbereitschaft=Validitätsproblem


Neuer Fragetyp in questfox: TinSort

http://www.buzzfeed.com/regajha/yo-yo-honey-single?utm_term=.kpvRQjgAAw&sub=3506957_4218802


Multiple Choice vs. TinSort (nur Text)Duales Bedienkonzept wischen oder klicken



NXT GEN Fragetyp TinSort erzeugt viel mehr Antworten als die vermeintlich identische Frage als Multiple-Choice


Multiple Choice vs. TinSort (graphisch)TinSort mit explizit negativer Aussage vs. positive Aussage

Beispiel Next Generation FragetypBeispiel klassischer Fragetyp


E-Mail ist der favorisierte EinladungskanalViel weniger Antworten im klassischen Multiple-Choice Verfahren als mit TinSort


Multiple Choice vs. TinSort (graphisch)



Viele Online-Teilnehmer würde gerne echte Produkttest zu Hause machenAntwortunterschiede extrem je nach verwendetem Fragetyp


Die neuen Fragetypen bringen an vielen Stellen erhebliche zeitliche VorteileBei einigen Fragetypen ist kein zeitlicher Vorteil erkennbar

Antwortzeit in Sekunden


Zusammenfassung Nutzung NXT GEN Fragetypen

●Mobil optimierte Fragetypen beschleunigen das CLICK-Interview (auch auf dem Desktop)

●Validität der Verwendung von Drop-Downlisten darf generell hinterfragt werden. Auf mobilen Geräten noch schwieriger als auf Desktop. Dort werden Antwortmuster erkennbar, die es ohne mobile Technologie nicht geben würde

●Drop-Down für Ranking macht alles noch schlimmer. Touch Sortierung als interessante Alternative

●Analytic Hierarchy Process als Ranking Alternative verursacht hohen Bearbeitungsaufwand, erzeugt jedoch auch Qualitätsdaten der Konsistenz

●Multiple-Choice Fragetyp wird eher als Single-Choice Muster beantwortet●TinSort ist ein spannender neuer Fragetyp, der ohne Kosten die Qualität der

Befragung verbessern kann●Grafischer Price-Sensitivity-Meter erzeugt viel höhere Werte und erfordert

weitere Messungen zur Überprüfung der Validität der Idee●Grafische Unterstützung macht Befragungen auch unterhaltsamer und erzeugt

weniger Item-Non-Response●Zeit ist sehr subjektiv. Die neuen Fragetypen sparen im Schnitt 15% Antwortzeit

und damit Geld


Wir forschen weiter: Gyroscale als Kombination von Bewegungen und analytischen Fragen auf Mobilgeräten: Moving answers

Landscape Mode mit Messung Neigungswinkel

Portrait Mode mit Steering Wheel Messung

Gyroscale® ist eine Entwicklung der pangea labs und in questfox verfügbar


Neue mobile Welt - Neue Fragetypen?!

3


Chance für ein Umdenken in der digitalen Fragebogenforschung

●Einige der neuen Fragetypen erzeugen vergleichbare Antworten. Andere erzeugen völlig andere Ergebnisse. Die Ergebnisse stellen die Grundsatzfrage nach der Validität von Messungen per Befragung. Haben wir bisher alles korrekt erfragt? Wie geht das mobil?

●Grafische Fragetypen können das Verständnis der Teilnehmer unterstützen (aber auch manipulieren)

●Schlichtes technisches Umwandeln von Repräsentationsformen einer Frage erzeugt Datenprobleme. Responsive Design als technische Lösung ist nicht immer adäquat für die (mobile) Marktforschung

●Duale Bedienkonzepte könnten weitere Effekte haben. Apple 3D Touch wird weitere Optionen eröffnen, die es zu testen gilt

● Einige Fragetypen eignen sich vorerst nur für bestimmte Geräte. Das wird auch in naher Zukunft noch so bleiben


Die Suche nach mobilen Methoden hat gerade erst begonnen

●Methodenverzicht auf mobilen Geräten wäre katastrophal●Device agnostisch ist die Denkweise zukünftiger Entwicklung●Mobil wird erst in Zukunft wirklich mobil...


Wir danken den Unterstützern dieser Studie

Projektdurchführung:Prof. Dr. Holger Lütters – HTW Berlin

KontaktProf. Dr. Holger LüttersHochschule für Technik und Wirtschaft [email protected] Twitter @luettersxing.com/profile/Holger_Luettersde.linkedin.com/in/luetters/

Dank an Benjamin Schubert und Ian Thomsonfür die Unterstützung

Vollständiger Report unter http://goo.gl/BJiHIy

Dank an die Unterstützer der Studie

www.pangealabs.comquestfox® is a development of pangea labs GmbH

www.gapfish.com

http://goo.gl/BJiHIy

Zukunft des Fragens

Education

Transcript of Zukunft des Fragens