entmystifizierung...8 (agile) testing quadrants business facing m functional tests examples story...

2

• Entmystifizierung• DevOps vs. Test Management

• Fundamentaler Testprozess• Rollenverteilung

• Testerstellung

• Testplanung für Sprints

• Testausführung

• Testauswertung

• Fazit

Agenda

3

• Klarheit in der Begriffswelt

• Änderungen im Rollenverständnis / Kulturwandel

• Test Design

• Tipps für die Strukturierung von Testplänen

• Toolsupport

Take-Aways

5

6

• Change in IT culture

• Focusing on rapid IT service delivery

• Adoption of agile, lean practices

• System-oriented approach

• Emphasizes people (and culture)

• Seeks to improve collaboration (Dev <-> Ops)

• Utilize technology

http://www.gartner.com/it-glossary/devops/, Abgerufen am 03.12.2016

https://blogs.msdn.microsoft.com/uk_faculty

_connection/2016/06/23/devops-the-wall-

of-confusion-understanding-the-basics-of-

devops/

7

Fundamentaler Testprozess nach ISTQBISTQB-Standard:

Test Analysis

Test Design

Test Execution

Test Tracking and Reporting

Test Closure

Planning

and

Steering

8

(Agile) Testing QuadrantsBusiness Facing

Su

pp

ort

ing

Team

Functional Tests

Examples

Story Test

Prototypes

Simulations

Explorative Testing

Scenarios

Usability Testing

UAT (User Acceptance

Testing)

Alpha / Beta

Critiq

ue P

rod

uctUnit Tests

Component Tests

Performance and Load

Testing

Security Testing

“Ility Testing”

Technology-FacingSource: Brian Marrick

10

• Kennt sich in der Fachlichkeit aus

• Hat im Bereich schon selbst gearbeitet

• Kann wenig bis gar nicht programmieren

Meinung: „Code ist etwas für Entwickler.“

Releases dauern mehre Monate / Jahre

Persona Tester - Klassisch

11

• Kennt sich mit Code / Technologien aus

• Kann Architektur designen

• IT Background, aber nie Anwender des System gewesen

Meinung: „Tester kritisieren nur.“

Releases dauern mehre Monate / Jahre

Persona Entwickler - Klassisch

12

Das Internet zu DevOps und Sicherheit

Quelle:

https://twitter.com/petecheslo

ck/status/5956172042736189

44?lang=en

13

Eine Abwandlung …

1:301:291:281:271:261:251:241:231:221:211:201:191:181:171:161:151:141:131:121:111:101:091:081:071:061:051:041:031:021:011:000:590:580:570:560:550:540:530:520:510:500:490:480:470:460:450:440:430:420:410:400:390:380:370:360:350:340:330:320:310:300:290:280:270:260:250:240:230:220:210:200:190:180:170:160:150:140:130:120:110:100:090:080:070:060:050:040:030:020:01End1:30

15

Testmanagement:

• Unabhängigkeit

• Fachlichkeit (Prozesse)

DevOps:

• Kultur

• Automatisierung

• Technik

Gute Dinge aus beiden Welten

16

Testmanagement:

- „Geschwindigkeit“ (Monate)

- Fehlendes Technikverständnis

DevOps:

- Als Techi „den Kunden verstehen …“

- Verständnis für den Tester

Nicht so gute Dinge aus beiden Welten

17

• Hat im Bereich schon selbst gearbeitet

• Schärft den Blick des Entwicklers für Fachlichkeit

• Hat keine Angst vor Code/Skripte

Meinung: „Entwickler helfen mir bei der Automatisierung

der Tests.“

Releases dauern Wochen / Viele Feature-Experimente

Persona Tester – DevOps Ära

18

• Kennt sich mit Code / Technologien aus

• Kann Architektur designen

• IT Background, aber nie Anwender des System gewesen

Meinung: „Tester helfen mir die die Perspektive des Kunden

besser zu verstehen.“

Releases dauern Wochen

Viele Feature-“Experimente“

Persona Entwickler – DevOps Ära

20

Recap: Fundamentaler Testprozess

Test Analysis

Test Design

Test Execution

Test Tracking and Reporting

Test Closure

Planning

and

Steering

ISTQB-Standard:

21

Test Design

Testfälle

22

Test Design

Testfälle

Akzeptanz-

Kriterien

23

Demo - Testfallerstellung

27

Test Design

Testfälle

Akzeptanz-

Kriterien

Experimente

/ Erfahrung

28

Test Design

Testfälle

Daten aus

der

Produktion

Akzeptanz-

Kriterien

Experimente

/ Erfahrung

29

• Telemetriedaten ermöglichen quantitative

Analyse der Anwendung sowie des

Anwenderverhaltens bei hoher Datenqualität

• Telemetrie wird aktuell leider nur von Entwicklern genutzt

• Telemetriedaten bilden wertvollen Input für Testplanung

Neu: Daten aus der Produktion

30

Telemetriedaten – Woher?

HockeyAppApplication

InsightsAndere …

iOS Android

Windows Phone

WebServices WebApps

32

Hierarchischer TestplanTeam Project

Test Plan

Release 1Test Plan Release 2 …

Test Suite 1Test Suite

2…

Test

Daten

Test

Steps

Shared

Parameters

Test 1

Test

DatenTest

Steps

Test 2

KonfigurationenShared

Steps

33

Knackpunkte:

• Wie kann man Testplanung bei kurzen Zyklen realisieren?

• Wie behält man die Übersicht?

• Wie kann ich Sprints vergleichbar machen?

Organisation bei kurzen Zyklen

34

Testplanstruktur

• Release-Ebene:<Produktname>_<Version>_Repository

• Sprint Ebene:<Produktname>_<Version>_<SprintName1>

<Ort>_<Produktname>_<Version>_<SprintName1>

Ein oder mehre Testpläne?

35

Testplan-Name

Testsuite Struktur

Automated Tests

Manual Tests

UI

Backend

Services

UI

Backend

Services

36

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Services

DB

Rest

37

Planung Sprint 1

MyEvent_1.0_S1 UI Test Case 1

38

Planung Sprint 2

MyEvent_1.0_S2 UI

Test Case 1

Test Case 3

39

Planung Sprint 3

MyEvent_1.0_S3 UI

Test Case 2

Test Case 3

40

Planung Gesamt

MyEvent_1.0

UI

Test Case 1

Test Case 2

Test Case 3

Test Case 4

Services

DB

Rest

41

Planung Sprint 4

MyEvent_1.0_S4 UI

Test Case 3

Test Case 4

43

„Sprintplanung“ für Testfälle

Sprint 1 Sprint 2 Sprint 3 Sprint 4

Repository

v 1.0 Testplan

Copy Copy Copy Copy

Copy = Testfälle als Referenzen übernehmen (Copy by

Reference)

44

Testplan „Baselining“ bei mehren Releases

Klonen

Repository

v 1.0 Testplan

Repository

v 2.0 Testplan

Klonen = Element physisch duplizieren

45

Demo – “Agile” Testplanung

48

Grundprozess:

• Testfälle sind im Vorfeld definiert

• Testfälle sind genau eingeplant

• Testfälle werden nach Skript abgearbeitet

Trennung von Spezifikation und Ausführung

Testausführung – Formal

49

Testausführung und –spezifikation finden gleichzeitig statt

Abhängig von Erfahrung des Testers

Dokumentation problematisch

Testausführung – Explorativ

1:301:291:281:271:261:251:241:231:221:211:201:191:181:171:161:151:141:131:121:111:101:091:081:071:061:051:041:031:021:011:000:590:580:570:560:550:540:530:520:510:500:490:480:470:460:450:440:430:420:410:400:390:380:370:360:350:340:330:320:310:300:290:280:270:260:250:240:230:220:210:200:190:180:170:160:150:140:130:120:110:100:090:080:070:060:050:040:030:020:01End1:30

51

• Recap: Rahmenbedingungen durch DevOps + AgileNeu: Kurze Zyklen

Alt: Mehre Monate Testphase

• Probleme in der PraxisPlanung, Ausführung und Reporting in kurzen Zyklen

Organisation bei einer großer Testanzahl und gleichzeitig kleinen Zyklen

Wieviel Formal und Explorativ ist richtig?

52

Demo - Testausführung

55

Daten für Testauswertung stecken in verschiedenen

Bereichen

• Release Management

• Build

• Test-Management

• Telemetrie

Tester müssen auch in andere Bereiche schauen

Testauswertung

56

Demo - Testauswertung

62

• DevOps und Testmanagement gehören zusammen

• Formales vs. Exploratives Testen – richtiger Mix!

• Input für Testdesign aus verschiedenen Quellen

• Testplanstrukturen: Release vs. Sprint

Zusammenfassung

63AIT GmbH & Co. KG – Ihre Software effizienter entwickelt

64AIT GmbH & Co. KG – Ihre Software effizienter entwickelt

WIR UNTERSTÜTZEN SIE

KontaktThomas.Ruemmler@aitgmbh.de+49 151 55052628

AIT GmbH & Co. KGLeitzstr. 45, 70469 Stuttgart

www.aitgmbh.de

BERATUNGAgile ALM und TFS

.NET und Architektur

ENTWICKLUNGDienstleister für individuelle

Lösungen mit .NET und Azure

© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer

und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine

eingetragene Marke oder ein eingetragenes Warenzeichen handelt.

KontaktNico.Orschel@aitgmbh.de

+49 151 55052624