wer a sagt, muss auch fragen "warum"? warum a/b tests nur die halbe wahrheit sind

m-pathy

Warum A/B-Tests nur die halbe Wahrheit sind.

Wer A sagt, muss auch fragen „Warum?“

m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 2

BEISPIEL - SONNENKLAR.TV

KORREKTUREN A

KORREKTUREN B

100 % MEHRNUTZUNG

1,8 %

3,6 %

Nutzer erkennen am Symbol die Funktion nicht.

Potential von ca. 16% bleibt ungenutzt, mangels qualitativer Daten.


DURCHBLICK IM METHODEN-DSCHUNGEL

Goals & attidudes What people

say

How many and how much

Quantitativ

Behaviors What people

do

Qualitativ Why and

how to fix

Customer SupportData Analysis

User Surveys/ On-Site Befragungen

A/B Testing

Site Traffic/Log File Analysis

Remote Usability Testing

Heatmaps: Aggregation

Eye Tracking

Usability Testing

Diary/Journal Studies

Participatory Design

User Interviews/ Journal Studies

Focus Groups

Card Sorting

FieldStudies

UX Consulting / Expert Review

Session-Playback

UXMethoden


OPTIMIERUNGS ZYKLUS ERGÄNZT DURCH MOUSETRACKING UND BEFRAGUNGEN

Echte Hürden identifizieren

A/BTesting

Kreativ werden

Refinement

Hypothesenbilden

Exploration

Zieledefinieren

Testen

Auswerten

Variantengestalten

Potentiale berechnen

weitere Potentiale aufdecken

Conversion!

Kundenreise verstehen und Ziele ableiten

Zusätzliche Hypothesenwiderlegen / bestätigen

Meinungen

Viele IdeenInteraktions-

Analyse

Komplexe Variantenauswerten

Live Qualitätssicherungder Varianten

Absicherung der Erkenntnis

Signifikanzabwarten


„If you think of technology as something that's spreading like a sort of fractal stain, every moving point on the edge represents an interesting problem.“

Paul Graham

Zielfindung

Exploration

HypothesenImplementierung

Testen

Auswertung

MESSBARE ZIELE ENTWICKELN


Zielfindung

Exploration


Testen

Auswertung

MESSBARE ZIELE ENTWICKELN

Herausforderung ist, die Ansätze für Optimierung zu identifizieren, die das höchste Potential hinsichtlich Ihrer Ziele haben.


SIE DENKEN, SIE HABEN EINE HYPOTHESE?

Zielfindung

Exploration


Testen

Auswertung

Agentur- MeinungAktionismus

Mitbewerber kopieren

Chef hat Artikel gelesen

#FAIL

Firmen- Brille


DATENGETRIEBENE INSIGHTS

Zielfindung

Exploration


Testen

Auswertung

Web-Analyse Heuristiken

Qualitative Befragungen

User TestingMouse Tracking

INSIGHT



Zielfindung

Exploration


Testen

Auswertung

Die Lösung des Problems liegt nicht immer dort, wo die Kennzahl auffällig ist.

Hohe Bounce-Rate auf Ergebnisliste. Ursache in vorgelagertem Schritt - keine Abschätzung der Ergebnismenge während der Filterung möglich -> zu viele Angebote.



Zielfindung

Exploration


Testen

Auswertung

Tatsächliche Hürden sichtbar machen mit qualitativer Analyse der Interaktionsdaten.


HYPOTHESENGENERIERUNG - BOUNCER AUF AUSVERKAUFTEN ARTIKELN

Zielfindung

Exploration


Testen

Auswertung

Hohe Bounce-Rate auf ausverkaufte Artikel bei externen Einsprüngen.

m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"

PRIORISIERUNG

14

Sie wissen die Conversion,

Rechnen statt Raten - echte Prognosen!

Zielfindung

Exploration


Testen

Auswertung

• bei Direkteisprung

• auf Out-of-Stock Produkte

• mit Empfehlungen im sichtbaren Bereich

• und Klick auf Empfehlung

= berechnetes Potential


VALIDITÄT SICHERN

16

Zielfindung

Exploration


Testen

Auswertung

Fehler im Detail


VALIDITÄT SICHERN

17

Zielfindung

Exploration


Testen

Auswertung

Live-Qualitätssicherung Ihres A/B Testing-Anbieters und vermeiden von invaliden Tests.


VALIDITÄT SICHERN

18

Ladezeiten im Auge behalten!

Zielfindung

Exploration


Testen

Auswertung

Komplexe Varianten führen bei client-seifigen A/B Testing-Tools zu verlängerten Ladezeiten.


DER KÖNIGSWEG - A/B TEST - KOMPLEXITÄT

19

hohe Wirksamkeit / Potential

kürzere Laufzeit als bei seq. Tests

Beantwortung mehrere Hypothesen

Entwicklungskosten

Zuordenbarkeit Erfolg / Maßnahme

Auswertungsaufwand

Varianten-Komplexität

Kleine viele Tests oder einen komplexen mit großer Wirkung?


DER KÖNIGSWEG - A/B TEST + BEFRAGUNG + MOUSE-TRACKING

20

• Conversion

• Vergleich

• Information

Viele verschiedene Ziele

Variante A (Alt)

Variante B (Neu)

Zielfindung

Exploration


Testen

Auswertung


DER KÖNIGSWEG - BEFRAGUNG

21

3. Wiederkehrabsicht1. Ziel

2.1 Grund Ziel nicht erreicht

2. Zielerreichung

}

Zielfindung

Exploration


Testen

Auswertung

Auswertung von Teilzielen möglich.

Subjektive Wahrnehmung durch Freitextantworten

Verknüpfung mit Interaktionsdaten.


DER KÖNIGSWEG - INTERAKTIONS-ANALYSE

22

Zielfindung

Exploration


Testen

Auswertung

• Absicherung der quantitativen Ergebnisse

• Ausschluss von Hypothesen über Ursache

• weitere Optimierungsansätze für nicht erreichte Teilziele entwickeln


TEST-ZYKLEN VERKÜRZEN DURCH METHODEN-MIX

23

20 %

30 %

28 %

31 %30 %

32 %

Iteration 1 Iteration 2 Iteration 3

klassisches A/B Testing

43 %

40 %46 %

bessere Ausgangs-Varianten durch Status-Quo Analyse

Aufdecken weiterer Optimierungsmöglichkeiten durch visuelle Analyse der Varianten

Frühzeitiges Finden der optimalen Variante durch Ergänzung um Interaktions-Analyse

Quantitative Verifikation der Siegervariante

Methoden-Mix


ERFOLGSKONTROLLE

24

Quantifizierung des Erfolgs möglich.


https://www.m-pathy.com

Danke für die Aufmerksamkeit!

Martin Wunderwald [email protected]

+49 351 50141517

https://www.m-pathy.com

mailto:[email protected]

wer a sagt, muss auch fragen "warum"? warum a/b tests nur die halbe wahrheit sind

Data & Analytics