crowdsourced mobile testing – alternative oder ergänzung?
Post on 22-Apr-2015
891 Views
Preview:
DESCRIPTION
TRANSCRIPT
Wir testen mobile Apps und Webseiten. Wir nennen das Crowdtesting.
Crowdsourced Mobile Testing – Alternative oder Ergänzung? mdays, Frankfurt
05. Februar 2013
Philipp Benkler
Geschäftsführer
+49 89 416 1736-00
p.benkler@testbirds.de
2
Was ist das Problem? Testing ist eine Schwachstelle in vielen Unternehmen.
Nur 1/3 der Unternehmen testet derzeit mobile
Anwendungen systematisch*
IT-Verantwortliche in Deutschland beklagen*
Mangel an richtigen Werkzeugen (67%)
nicht verfügbare mobile Endgeräte (60%)
zu wenig Testexperten (40%)
Gerade im mobilen Umfeld fehlt die Erfahrung
Der eigenen Entwicklung fehlt oftmals die Distanz
Endgerätevielfalt erschwert das Testing
Quelle: http://www.spiegel.de * Quelle: World Quality Report 2012: 1.553 IT-Verantwortliche in 25 Ländern wurden befragt
http://www.sogeti.com/upload/Curious%20about%20us/Documents/WQR_2012-13_OK1.pdf
Es besteht das Bedürfnis nach einer
umfassenden Testing Lösung
3
Was ist Crowdtesting? Begrifflichkeiten.
„Crowdsourcing bzw. Schwarmauslagerung bezeichnet im Gegensatz
zum Outsourcing nicht die Auslagerung von Unternehmensaufgaben
an Drittunternehmen, sondern die Auslagerung auf die Intelligenz
und die Arbeitskraft einer Menge von Freizeitarbeitern im Internet“
(wikipedia.de).
Crowdsourcing
„Crowdtesting bezeichnet das Testen von Software durch eine
Masse von Freizeittestern über das Internet.“ (wikipedia.de).
Crowdtesting
4
Wie funktioniert Crowdtesting? Ein Schaubild.
Kunde
entwickelt App
oder Webseite
Testbirds
Projektmanager
Tester
mit Geräten
Plattform
mit Testberichten
testen
wertet aus
kann einsehen
Mobile Apps
& Games Webseiten
Social Media Apps
PC-Anwendungen
& Games
1 2
3 4
5 6
5
Wer oder was ist die Crowd? Endanwender und Experten testen mit eigenen Geräten.
Sämtliche Kombinationen aus Geräten, Browsern und Betriebssystemen
Mobile: iOS (4, 5, 6), Android, Windows Phone (8), Blackberry OS
Desktop: Windows, Mac OS, Linux, FF, IE, Safari, Chrome, Opera Facebook Apps, Rich Client-Anwendungen u.v.m.
Geräte nicht im Lab, sondern unter reale Bedingungen: Zu Hause, U-Bahn, beim Einkaufen, …
Endgeräte u. Systeme
Experten verschiedener Softwaresysteme (ERP,
CRM, SCM, BI, Onlineshop Administratoren u.v.m.)
Zertifizierte Tester (z.B. ISTQB, CAT, Testmanager,
Projektmanager)
Experten
Ausführliche Profile zur Auswahl spezifischer
Fokusgruppen und Panels
Individuelle Panels: 35 Auswahlkriterien
Unterschiedliche Testing-Erfahrung
Studenten, Mütter, Führungskräfte
Endanwender / „Freizeittester“
6
IT & QA Design & UI Produktmanagement
Bug Testing
Strukturiertes
Bug Testing
(via Testfälle)
Exploratives
Bug Testing
(via Use cases)
Usability
Testing
Prototypen-
Test
Beta-Test
Produkt-
Rundumtest
Wettbewerbs-
analyse
Exploratives
Testing
Bug Testing
Usability
Testing
Für was kann Crowdtesting eingesetzt werden? Das Dienstleistungsportfolio.
7
Was kann mit Crowdtesting erreicht werden? Zwei Fall-Beispiele für einen erfolgreichen Einsatz.
Tester
20 Personen
Profil: 50 % weiblich,
50 % männlich, ab 25 Jahren,
Großstadt, Smartphone
Hotelbuchungssoftware –
Evaluation von drei Prototypen für
die Kalenderfunktion
Geräte
Apple iPhone 2G, 3G(S), 4(S) mit iOS-
Version 4.x, 5.0, 5.1 und Beta 6
Testdauer 5 Tage
Ergebnisse
Management Summary
20 ausführliche Testberichte, die ein
breites Usability-Feedback sowie
einen Favoriten der Prototypen
aufzeigen
50 Tester zwischen 18 und 43 Jahren
Entscheidungsträger (Manager,
Juristen etc.)
Mischung aus Zielgruppe und Test-
Experten
Allianz Mobile Services Plattform
18 iPhones: 3GS, 4, 4S, 5
27 Androids: Samsung, HTC, LG,…
5 Blackberry
5 Tage
20 ausführliche Testberichte
Zahlreiche, teilweise kritische Bugs
Abschlussbericht inkl. Konkreter
Usability Handlungsempfehlungen
8
Was ist so toll an Crowdtesting? Die Vorteile.
Plattform Crowd Projekt-
Manager
Expertise/
Beratung
Prozesse
Einzigartige
Abwicklungs-
plattform
ermöglicht
flexibles Testing
Heterogene
Crowd aus
Tausenden von
Nutzern
Erfahrene
Projektmanager
betreuen jedes
Projekt
Spezialisten für
Endnutzer-
basiertes Testing
Schnelle, flexible
Abwicklungs-
prozesse
9
Was kann Crowdtesting nicht? (Un)lösbare Probleme?
Fehlende Qualifizierung
Objektivität der Ergebnisse
Testing(prozesse) ersetzen
Sicherstellung Einstiegstest und
Erfahrungspunkte-System
Externer Zugriff / Vertraulichkeit
Usability Labore ersetzen
Einbettung von Crowdtesting in
Entwicklungsprozess
Testprojektmanagement unabdingbar
Reale Testumgebung (zu Hause, unterwegs…)
Honorierung von Feedback (auch negativ)
Zweistufige NDAs
„On-Demand“ SSH/VPN-Verbindung
Probleme
Mythen
Crowdtesting ist ein weiterer Baustein
Crowdtesting liefert neue Ergebnisse
10
Wie hilft Crowdtesting? Unterstützung entlang des Entwicklungsprozesses.
Analyse &
Definition
Entwurf
Implementation
Test
Betrieb & Wartung
Analyse von Wettbewerbsprodukten
Marktanalysen / Anwendereinschätzung
(Funktionaler) Test des finalen Produkts
Explorativer Rundumschlag
Test von Design Prototypen
Vergleich verschiedener Prototypen
Iterative Modultests
Funktionale Tests
End-to-end Testing (Check-Outs usw.)
Vorbereitung von Release-Updates
Phase Testarten
11
Wie lautet das Fazit? Crowdtesting wird benötigt für erfolgreiche Produkte.
… ist Alternative und Ergänzung zugleich.
… ist eine norme Form von Usability und QA Tests.
… liefert wertvolle, neutrale und kritische Einblicke
zu Applikationen und findet Fehler.
… kann zu allen Phasen der Entwicklung eingesetzt
werden.
… bereichert die UI/UX durch neue Usability
Szenarien.
1
2
3
4
5
Crowdtesting…
12
Die letzte Slide.
Alternative und Ergänzung!
Philipp Benkler
Geschäftsführer
p.benkler@testbirds.de
+49 89 416 1736-00
+49 151 40 44 22 25
Testbirds, bekannt aus
Kunden die auf Testbirds vertrauen
Testbirds GmbH
Guerickestraße 25
80805 München
www.testbirds.de
top related