entmystifizierung...8 (agile) testing quadrants business facing m functional tests examples story...

56

Upload: others

Post on 30-May-2020

10 views

Category:

Documents


0 download

TRANSCRIPT

Page 2: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

2

• Entmystifizierung• DevOps vs. Test Management

• Fundamentaler Testprozess• Rollenverteilung

• Testerstellung

• Testplanung für Sprints

• Testausführung

• Testauswertung

• Fazit

Agenda

Page 3: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

3

• Klarheit in der Begriffswelt

• Änderungen im Rollenverständnis / Kulturwandel

• Test Design

• Tipps für die Strukturierung von Testplänen

• Toolsupport

Take-Aways

Page 4: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 5: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

5

Page 6: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

6

• Change in IT culture

• Focusing on rapid IT service delivery

• Adoption of agile, lean practices

• System-oriented approach

• Emphasizes people (and culture)

• Seeks to improve collaboration (Dev <-> Ops)

• Utilize technology

http://www.gartner.com/it-glossary/devops/, Abgerufen am 03.12.2016

https://blogs.msdn.microsoft.com/uk_faculty

_connection/2016/06/23/devops-the-wall-

of-confusion-understanding-the-basics-of-

devops/

Page 7: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

7

Fundamentaler Testprozess nach ISTQBISTQB-Standard:

Test Analysis

Test Design

Test Execution

Test Tracking and Reporting

Test Closure

Planning

and

Steering

Page 8: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

8

(Agile) Testing QuadrantsBusiness Facing

Su

pp

ort

ing

Team

Functional Tests

Examples

Story Test

Prototypes

Simulations

Explorative Testing

Scenarios

Usability Testing

UAT (User Acceptance

Testing)

Alpha / Beta

Critiq

ue P

rod

uctUnit Tests

Component Tests

Performance and Load

Testing

Security Testing

“Ility Testing”

Technology-FacingSource: Brian Marrick

Page 9: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 10: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

10

• Kennt sich in der Fachlichkeit aus

• Hat im Bereich schon selbst gearbeitet

• Kann wenig bis gar nicht programmieren

Meinung: „Code ist etwas für Entwickler.“

Releases dauern mehre Monate / Jahre

Persona Tester - Klassisch

Page 11: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

11

• Kennt sich mit Code / Technologien aus

• Kann Architektur designen

• IT Background, aber nie Anwender des System gewesen

Meinung: „Tester kritisieren nur.“

Releases dauern mehre Monate / Jahre

Persona Entwickler - Klassisch

Page 12: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

12

Das Internet zu DevOps und Sicherheit

Quelle:

https://twitter.com/petecheslo

ck/status/5956172042736189

44?lang=en

Page 13: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

13

Eine Abwandlung …

Page 14: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

1:301:291:281:271:261:251:241:231:221:211:201:191:181:171:161:151:141:131:121:111:101:091:081:071:061:051:041:031:021:011:000:590:580:570:560:550:540:530:520:510:500:490:480:470:460:450:440:430:420:410:400:390:380:370:360:350:340:330:320:310:300:290:280:270:260:250:240:230:220:210:200:190:180:170:160:150:140:130:120:110:100:090:080:070:060:050:040:030:020:01End1:30

Page 15: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

15

Testmanagement:

• Unabhängigkeit

• Fachlichkeit (Prozesse)

DevOps:

• Kultur

• Automatisierung

• Technik

Gute Dinge aus beiden Welten

Page 16: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

16

Testmanagement:

- „Geschwindigkeit“ (Monate)

- Fehlendes Technikverständnis

DevOps:

- Als Techi „den Kunden verstehen …“

- Verständnis für den Tester

Nicht so gute Dinge aus beiden Welten

Page 17: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

17

• Hat im Bereich schon selbst gearbeitet

• Schärft den Blick des Entwicklers für Fachlichkeit

• Hat keine Angst vor Code/Skripte

Meinung: „Entwickler helfen mir bei der Automatisierung

der Tests.“

Releases dauern Wochen / Viele Feature-Experimente

Persona Tester – DevOps Ära

Page 18: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

18

• Kennt sich mit Code / Technologien aus

• Kann Architektur designen

• IT Background, aber nie Anwender des System gewesen

Meinung: „Tester helfen mir die die Perspektive des Kunden

besser zu verstehen.“

Releases dauern Wochen

Viele Feature-“Experimente“

Persona Entwickler – DevOps Ära

Page 19: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 20: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

20

Recap: Fundamentaler Testprozess

Test Analysis

Test Design

Test Execution

Test Tracking and Reporting

Test Closure

Planning

and

Steering

ISTQB-Standard:

Page 21: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

21

Test Design

Testfälle

Page 22: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

22

Test Design

Testfälle

Akzeptanz-

Kriterien

Page 23: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

23

Demo - Testfallerstellung

Page 24: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

27

Test Design

Testfälle

Akzeptanz-

Kriterien

Experimente

/ Erfahrung

Page 25: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

28

Test Design

Testfälle

Daten aus

der

Produktion

Akzeptanz-

Kriterien

Experimente

/ Erfahrung

Page 26: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

29

• Telemetriedaten ermöglichen quantitative

Analyse der Anwendung sowie des

Anwenderverhaltens bei hoher Datenqualität

• Telemetrie wird aktuell leider nur von Entwicklern genutzt

• Telemetriedaten bilden wertvollen Input für Testplanung

Neu: Daten aus der Produktion

Page 27: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

30

Telemetriedaten – Woher?

HockeyAppApplication

InsightsAndere …

iOS Android

Windows Phone

WebServices WebApps

Page 28: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 29: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

32

Hierarchischer TestplanTeam Project

Test Plan

Release 1Test Plan Release 2 …

Test Suite 1Test Suite

2…

Test

Daten

Test

Steps

Shared

Parameters

Test 1

Test

DatenTest

Steps

Test 2

KonfigurationenShared

Steps

Page 30: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

33

Knackpunkte:

• Wie kann man Testplanung bei kurzen Zyklen realisieren?

• Wie behält man die Übersicht?

• Wie kann ich Sprints vergleichbar machen?

Organisation bei kurzen Zyklen

Page 31: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

34

Testplanstruktur

• Release-Ebene:<Produktname>_<Version>_Repository

• Sprint Ebene:<Produktname>_<Version>_<SprintName1>

<Ort>_<Produktname>_<Version>_<SprintName1>

Ein oder mehre Testpläne?

Page 32: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

35

Testplan-Name

Testsuite Struktur

Automated Tests

Manual Tests

UI

Backend

Services

UI

Backend

Services

Page 33: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

36

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Services

DB

Rest

Page 34: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

37

Planung Sprint 1

MyEvent_1.0_S1 UI Test Case 1

Page 35: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

38

Planung Sprint 2

MyEvent_1.0_S2 UI

Test Case 1

Test Case 3

Page 36: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

39

Planung Sprint 3

MyEvent_1.0_S3 UI

Test Case 2

Test Case 3

Page 37: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

40

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Test Case 4

Services

DB

Rest

Page 38: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

41

Planung Sprint 4

MyEvent_1.0_S4 UI

Test Case 3

Test Case 4

Page 39: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

43

„Sprintplanung“ für Testfälle

Sprint 1 Sprint 2 Sprint 3 Sprint 4

Repository

v 1.0 Testplan

Copy Copy Copy Copy

Copy = Testfälle als Referenzen übernehmen (Copy by

Reference)

Page 40: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

44

Testplan „Baselining“ bei mehren Releases

Klonen

Repository

v 1.0 Testplan

Repository

v 2.0 Testplan

Klonen = Element physisch duplizieren

Page 41: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

45

Demo – “Agile” Testplanung

Page 42: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 43: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

48

Grundprozess:

• Testfälle sind im Vorfeld definiert

• Testfälle sind genau eingeplant

• Testfälle werden nach Skript abgearbeitet

Trennung von Spezifikation und Ausführung

Testausführung – Formal

Page 44: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

49

Testausführung und –spezifikation finden gleichzeitig statt

Abhängig von Erfahrung des Testers

Dokumentation problematisch

Testausführung – Explorativ

Page 45: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

1:301:291:281:271:261:251:241:231:221:211:201:191:181:171:161:151:141:131:121:111:101:091:081:071:061:051:041:031:021:011:000:590:580:570:560:550:540:530:520:510:500:490:480:470:460:450:440:430:420:410:400:390:380:370:360:350:340:330:320:310:300:290:280:270:260:250:240:230:220:210:200:190:180:170:160:150:140:130:120:110:100:090:080:070:060:050:040:030:020:01End1:30

Page 46: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

51

• Recap: Rahmenbedingungen durch DevOps + AgileNeu: Kurze Zyklen

Alt: Mehre Monate Testphase

• Probleme in der PraxisPlanung, Ausführung und Reporting in kurzen Zyklen

Organisation bei einer großer Testanzahl und gleichzeitig kleinen Zyklen

Wieviel Formal und Explorativ ist richtig?

Page 47: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

52

Demo - Testausführung

Page 48: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 49: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

55

Daten für Testauswertung stecken in verschiedenen

Bereichen

• Release Management

• Build

• Test-Management

• Telemetrie

Tester müssen auch in andere Bereiche schauen

Testauswertung

Page 50: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

56

Demo - Testauswertung

Page 51: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 52: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

62

• DevOps und Testmanagement gehören zusammen

• Formales vs. Exploratives Testen – richtiger Mix!

• Input für Testdesign aus verschiedenen Quellen

• Testplanstrukturen: Release vs. Sprint

Zusammenfassung

Page 53: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

63AIT GmbH & Co. KG – Ihre Software effizienter entwickelt

Page 54: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User

64AIT GmbH & Co. KG – Ihre Software effizienter entwickelt

WIR UNTERSTÜTZEN SIE

[email protected]+49 151 55052628

AIT GmbH & Co. KGLeitzstr. 45, 70469 Stuttgart

www.aitgmbh.de

BERATUNGAgile ALM und TFS

.NET und Architektur

ENTWICKLUNGDienstleister für individuelle

Lösungen mit .NET und Azure

© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer

und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine

eingetragene Marke oder ein eingetragenes Warenzeichen handelt.

[email protected]

+49 151 55052624

Page 55: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User
Page 56: Entmystifizierung...8 (Agile) Testing Quadrants Business Facing m Functional Tests Examples Story Test Prototypes Simulations Explorative Testing Scenarios Usability Testing UAT (User