wie messe ich den erfolg eines redesigns? - vorher-nachher-befragung vs. conversion rate, usability...
TRANSCRIPT
Wie messe ich den Erfolg eines Redesigns? -Vorher-Nachher-Befragung vs. Conversion Rate
Usability Coffee, Bern, 19.November 2015
� Dr. sc. techn. ETH
� Studium der Biologie an der ETH Zürich mit der Vertiefung in Ergonomie und Usability
� Dissertation zum Thema «Transfer ofTraining in Driving Simulators»
� Usability-Erfahrung seit 1998
� CEO bei soultank AG
� Certified Scrum Product Owner
Marcel B.F. UhrCEO
| Folie 2soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� M. Sc. FHNW
� Studium der Angewandten Psychologie an der Fachhochschule Nordwestschweiz
� 4.5 Jahre Usability-Erfahrung
� Usability Consultant bei soultank AG seit Anfang 2013
� Certified Scrum Product Owner
Adrian LauperConsultant
| Folie 3soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Wissenschaftlich fundiertes Beratungsunternehmen
� Seit 1996 im Bereich Usability und Ergonomie tätig
� 2000 Gründung soultank AG in Zug
� 5 Usability-Experten
� Betrieb eines Usability-Labors in Zug
� Europaweit tätig, Fokus Schweiz
Über soultank AG
| Folie 4
Referenzen soultank AG
soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015 | Folie 5
Weitere Referenzen: www.soultank.ch/content/referenzen
Unser Vorgehen - User Centred Design (UCD)
| Folie 6soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Conversion Rate / System AnalyseConversion Rate / System Analyse
� Beispiele für Aktionen sind:� Etwas kaufen
� Etwas downloaden
� Sich registrieren
� Anmelden für den Newsletter
� Rubriken bei Website wechseln bzw. anschauen
� Etc.
Conversion Rate
Was das ist
| Folie 8soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Anteil Besucher, die eine gewünschte Aktion tätigen (Verhalten)
Conversion Rate
Gemessen wird das Verhalten der Nutzer
| Folie 9soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Quelle/Kanal
Landing Page
� Woher?� Auf welche Seite?� Mit welcher Abfolge?� Wie lange?� Welche Aktion?� Wo verlassen?
NewsletterNewsletter
Anmelden
Klick
� Kriterien über die Benutzer selbst, können nur marginal gemessen werden
� Vertiefte Aussagen über das Verhalten der Nutzer und das genutzte System
Conversion Rate
Gemessen wird das Verhalten der Nutzer
| Folie 10soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Benutzer
System
Aufgabe(Verhalten)
Kontext (Umfeld)
+++
+++
+
+
� Interesse vom Nutzer
� Attraktivität des Angebots
� Attraktivität der Webseite
� Usability der Webseite
� Produktkomplexität
� Preise
� Reputation der Marke
� Identifikation mit der Marke / dem Webauftritt
� Marketing-Kampagnen oder Presse
Conversion Rate
Einflussfaktoren bei Messung (für Verhalten)
| Folie 11soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Makroziel (ein Beispiel)� Conversion Rate optimieren, indem mehr Kunden ein Produkt kaufen «bei
gleichbleibendem Traffic»
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren
| Folie 12soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Landing Page Bestellung
� Was sagt dies über:
� den Kunden selbst (Person, Erwartungen, Motivation etc.)
� den Kauf, das generelle Kaufverhalten?
� wie das Ziel erreicht wurde?
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren
| Folie 13soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Welche Faktoren sind für die Conversion Rate verantwortlich?� Häufig besteht ein Informationsdefizit seitens Unternehmen, klare
Fragen nach dem «warum» können nicht beantwortet werden
� Mikroziele
� Konkrete Fragestellungen über Elemente wie: Navigation, Filter etc.� Je detaillierter Fragestellung und Messung, desto einfacher ist es,
Problemstellungen zu finden
� Wissen von Mikrozielen kann genutzt werden, das Makroziel zu erreichen
| Folie 14soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Landing Page Kategorienseite Detailseiteseite Check-out Bestellung
Mikro Mikro Mikro Mikro Makro
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren
� Detail-Aussagen zu einzelnen Elementen möglich, wenn:
� Veränderung von Elementen gezielt gemessen wird, wie sie sich auf das Verhalten der Nutzer auswirkt
� Kontrolle von weiteren Einflussfaktoren
� Ansonsten kann nicht auf Veränderung geschlossen werden
� Bspw. weniger Eingabefelder in Formularen beim Check-out-Prozess
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren
| Folie 15soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Step 2 Step 3
Mikro Mikro
Check-out-Prozess
Online-Befragung / Vorher und NachherOnline-Befragung / Vorher und Nachher
“Standardisierte Beurteilung von Systemen anhand vorgegebener Kriterien (bspw. ISO-Norm-Kriterien), um zu quantitativenAussagen der Nutzer zu gelangen“
� Subjektive Urteile der Nutzer zu bestimmten Systemaspekten
� Befragung von grossen Nutzerpopulationen (Objektivität)
Online-Befragung
Was das ist
| Folie 17soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
SystemSystem beurteilen
� Standardisierte Beurteilung von Systemen anhand vorgegebener Kriterien (bspw. ISO-Norm-Kriterien), um zu quantitativen Aussagen der Nutzer zu gelangen
Vorher-Nachher-Befragung
Was das ist
| Folie 18soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
altes System neues System
Nachher-BefragungVorher-Befragung
� Messen, wie Nutzer das neue System im Vergleich zum alten System beurteilen (bspw. Relaunch einer Webseite)
| Folie 19soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Beispielfragen� Was ist Ihr Besuchsgrund?
� Produkt kaufen� Über Produkt informieren
� Nutzergruppe (bspw. aufgrund Personas). Sie sind:� Privatkunde� Geschäftskunde� Auf Job-Suche� Usw.
� Subjektive Beurteilung System. Fragen zum Inhalt: (Skala von 1 = "Stimme überhaupt nicht zu", 6 = "Stimme voll und ganz zu")
� Für mich wichtige Informationen sind vorhanden
Online-Befragung (Vorher-Nachher-Befragung)
Was das ist
� Nutzer werden befragt zu ihrer Erfahrung, Meinung, zum Verhalten und dem genutzten System
| Folie 20soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Online-Befragung (Vorher-Nachher-Befragung)
Gemessen werden Benutzer, Meinung Aufgabenerfüllung
Erwartung System/Inhalt
Erfahrung & ExpertiseSystem/Inhalt/Internet
Motivation/Interesse
Demographische Daten Subjektive Beurteilung System
� Effektivität� Effizienz� Zufriedenheit � Attraktivität� Loyalität� Etc.
Benutzer Aufgabe(Verhalten)
SystemGenutztes System
Besuchsgrund
� Vertiefte Aussagen über den Benutzer. Je nach detaillierungsgrad der Fragen sind vertiefte Aussagen über Kontext und Aufgabe möglich.
Online-Befragung (Vorher-Nachher-Befragung)
Gemessen werden Benutzer, Meinung Aufgabenerfüllung
| Folie 21soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Benutzer
System
Aufgabe(Verhalten)
Kontext (Umfeld)
+++++
++
+
| Folie 22soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Eingeschränkte Bewertungsfreiheit
�Deshalb zusätzlich offene Antwortfelder anbieten
� Verständnisfragen sind nicht möglich
�Konstruktion und Antworte-Kategorien bei Fragebogen wohl überlegen
� Überpräsentation von Nutzern mit höherer Computerexpertise
� Zusätzlich Erfahrung abfragen, anhand derer Ergebnisse segmentiert werden können
� Unverbindlichkeit des Online-Mediums ���� hohe Abbrecherquote
�Ca. 10% ist normal, Daten sollten herausgefiltert werden
Online-Befragung (Vorher-Nachher-Befragung)
Einflussfaktoren bei Messung
| Folie 23soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Ergebnisverzerrung durch onlinespezifische Gestaltungsfehler
� Technische Fehler/Probleme
� Lange oder langweilige Befragung� Aufruf für Befragung richtig platzieren
� Zugehörigkeit Nutzer zur Zielpopulation
� Anonyme Erhebung vs. Besonderheiten Zielgruppe verstehen
� Qualität des Erhebungsinstruments� Qualität der Daten ist abhängig von dessen Qualität (sehr
aufwändig in der Konstruktion nach testtheoretischen Prinzipien)
Online-Befragung (Vorher-Nachher-Befragung)
Einflussfaktoren bei Messung
� Insgesamt nur globale Aussagen zur Usability und Attraktivität des Systems möglich
� Alternativ können einzelne Prozesse wie der Check-out-Prozess beurteilt werden (zeitnahe Präsentation Fragebogen)
� Zusätzliche offene Antwortfelder geben detaillierteren Einblick
Online-Befragung (Vorher-Nachher-Befragung)
Daten analysieren
| Folie 24soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Landing Page Kategorienseite Detailseiteseite Check-out Bestellung
Step 1 Step 2 Step 3
global über ganzes System
� Nicht nur einzelne Aussagen zum Benutzer, zur Aufgabe oder System können gemacht werden, sondern auch zu deren Zusammenhänge
Online-Befragung (Vorher-Nachher-Befragung)
Daten analysieren
| Folie 25soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Benutzer
System
Aufgabe(Verhalten)
Kontext (Umfeld)
� Beispiel: Privatkunden haben tendenziell die Informationen schneller gefunden als Geschäftskunden
Conversion Rate vs. Online-Befragung
Vergleich
| Folie 26soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Conversion Rate Online-Befragung
� Gemessen wird Verhalten (Aktionen) der Benutzer
� Gemessen wird Meinung (Zufriedenheit etc.) der Benutzer
� Bestimmung von Nutzerpfaden, Abbruchraten/Effektivität von Prozessen (bspw. Check-out)
� Bestimmung von Nutzer-meinungen
Conversion Rate vs. Online-Befragung
Vergleich
| Folie 27soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Conversion Rate Online-Befragung
� Gründe für Veränderung (warum) der CR schwierig zu bestimmen. Wird transparenter durch Mikroziele oder zusätzlicher Befragung
� Gründe für Veränderung der Zufriedenheit klarer. Mitunter auch durch offene Fragen und Detaillierungsgrad des Fragebogens. Einflussfaktoren sind bestmöglich zu kontrollieren
� Herausforderung liegt in der Interpretation des gezeigten Verhaltens (was waren konkrete Gründe dafür)
� Herausforderung liegt in der Interpretation der Meinungen,offene Fragen tragen zum Verständnis bei
Conversion Rate vs. Online-Befragung
Vergleich
| Folie 28soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Conversion Rate Online-Befragung
� Zielgruppe gänzlich unbekannt (wer hat welches Verhalten gezeigt)
� Zielgruppe kann bestimmt und segmentiert werden
� Schnell und flexibel einsetzbar.Für objektive Messung sollten jedoch konkrete Ziele gesetzt werden
� Sorgfältige Planung für Durchführung, nicht zu oft einzusetzen
� Methoden der empirischen Sozialforschung (Schnell R., Hill P.B. & Esser E.)
� Methoden der Usability Evaluation (Sarodnick, F. & Brau, H.)
� TrakkBlog (2013). Die Makro- und Mikrozieleder Conversion Rate. Verfügbar unter: www.trakken.de/trakkblog/optimization/makro-und-mikroziele-der-conversion-rate/
� Nielsen, J. (2013). Conversion Rates. Verfügbar unter: www.nngroup.com/articles/conversion-rates/
Literatur
| Folie 29soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
� Usability Coffee in Bern� Bern, Donnerstag, 21. Januar 2015: Do’s und Dont’s bei Online-
Formularen
� Mehr Informationen finden Sie auf unserer Webseite oder dem hashtag #usabilitycoffee auf Twitter
Nächste Termine
| Folie 30soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Herzlichen Dank für Ihre Aufmerksamkeit
Bei Fragen stehen wir gerne zur Verfügung
AB14
Folie 31
AB14 Nach vorne genommen, bevor das Team kommt.Andreas Bossard; 08.05.2015
Team
soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015 | Folie 32
soultank AG
Bahnhofplatz
Postfach 4744
6304 Zug
Tel: +41 41 726 50 20Fax: +41 41 726 50 26www.soultank.ch
Gaby SurberMonique Andres
Marcel B.F. Uhr Bianca Redel Andreas Bossard Adrian Lauper
Stefanie Friedli Jérome Fischer