t-systems multimedia solutionsst.inf.tu-dresden.de/files/.../testmanagement_tudd... ·...

98
T-Systems Multimedia Solutions Multimedia Solutions

Upload: others

Post on 22-Aug-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

T-SystemsMultimedia SolutionsMultimedia Solutions

Page 2: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Testmanagement in Theorie und Praxis.

Page 3: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

1. T-Systems Multimedia Solutions – Test and Integration Center.

2. Grundbegriffe des Testens.

3. Warum testen?

Agenda

3. Warum testen?

4. Application Lifecycle und damit einhergehende QS-Maßnahmen.

5. Der Testprozess und Aufgaben eines Testmanagers.

6. Auch so kann‘s gehen – Ein Beispiel aus der Praxis.

7. Überblick ausgewählter Testarten.

8. Data Privacy and Security.

Page 4: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

1. T-Systems Multimedia Solutions.

Page 5: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

AUS GUTEM HAUSE.

� Die T-Systems Multimedia Solutions GmbH ist eineTochter der T-Systems.

� Uns gibt es seit 1995.

� Wir sind Deutschlands Marktführer bei internetbasierten Lösungen.*

� Mit über 980 Kollegen realisieren wir jährlich 1.400 komplexe IT-Projekte.� Mit über 980 Kollegen realisieren wir jährlich 1.400 komplexe IT-Projekte.

� Und wir wachsen weiter: wir stellen permanent neue Mitarbeiter ein.

* New Media Service Ranking 2010 (BVDW)

Page 6: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Dresden

Berlin

Jena

Hamburg

Bonn

Umfassende QS entlang des Application Lifecycle | Matthias Schneider, T-Systems Multimedia Solutions GmbH

Freiburg

Stuttgart

München

Page 7: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Dresden

Berlin

Jena

Hamburg

Bonn

Umfassende QS entlang des Application Lifecycle | Matthias Schneider, T-Systems Multimedia Solutions GmbH

Freiburg

Stuttgart

München

Page 8: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

E-Commerce

E-Procurement

E-Services

Online-Marketing

MobilityVideo-On-Demand

Testing Services & SupportCode Quality Management

Security

Certification Support Services

IT Strategy and ServiceBusiness ProcessesPortale

Business Strategies

Communities

ShopsystemeE-Workplace

Content Management

Mobility

CommunicationsApplication Integration

Collaboration

E-EntertainmentPay Media

Event TV

Web TV/IPTVMediathek

Consulting

Technology Consulting

Project ManagementCommunities

Page 9: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Test and Integration Center. Akkreditiertes Software- Prüflabor

Das TIC der T-Systems MMS ist ein akkreditiertes Softwareprüflabor der Bundesrepublik in der Internet- und Multimediabranche. Die Akkreditierung erfolgte durch die Deutsche Akkreditierungsstelle Technik (DATech e.V.), die Mitglied im Deutschen Akkreditierungsrat (DAR) ist.

Durch die Akkreditierung wird dem TIZ der T-Systems MMS bescheinigt:

Umfassende QS entlang des Application Lifecycle | Matthias Schneider, T-Systems Multimedia Solutions GmbH

T-Systems MMS bescheinigt:

� Das Testlabor arbeitet nach ausgereiften Methoden und Verfahren.

� Die Mitarbeiter verfügen über hervorragende Kompetenzen.

� Die Infrastruktur des Testlabors erfüllt die hohen technischen Anforderungen.

� Das Management und die Prozesse sind auf einem hohen Niveau.

Page 10: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Applikations-analyse

Lasttest

Usability/Accessibility-

Test

SOA -Test

Funktionstest

Test-Management

Datenschutz

Qualitäts-sicherungs-

LEISTUNGSPORTFOLIO.

ApplicationMonitoring

Abnahmetest

Lasttest

Security

Test-automa-tisierung

Funktionstest

Code Quality Management

sicherungs-Beratung

Page 11: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

2. Grundbegriffe des Testens.

Page 12: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

WAS IST EIN FEHLER?

Fehler:

� Eine Abweichung zwischen dem gemessenen Wert / Zustand und dem entsprechenden spezifizierten Wert.

• Fehlerhandlung

• Fehlerzustand

� Nichterfüllung einer Anforderung

� Differenz zwischen Soll- und Ist-Verhalten

Ähnliche Begriffe:

� Abweichung

� Mängel

• Fehlerzustand

• Fehlerwirkung

Page 13: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

TEST: WAS IST DAS EIGENTLICH?

Was Test NICHT ist

Testen kann nichtnichtnichtnicht garantieren, dass die Software fehlerfrei ist

Man kann nichtnichtnichtnicht alles testen. Man kann nichtnichtnichtnicht alles testen.

Man kann ein schlechtes Produkt nichtnichtnichtnicht"gut"-testen.

Testen ist nichtnichtnichtnicht Debugging / Testen identifiziert nichtnichtnichtnicht die Fehlerursache

Page 14: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

TEST: WAS IST DAS EIGENTLICH?

Gesamter Prozess, ein Programm auf systematische Weise auszuführen, um die korrekte Umsetzung der Anforderungen nachzuweisen und Fehlerwirkungen aufzudecken.

Vergleich eines Zustandes des Testobjektes mit dem gewünschten bzw. verlangten Zustand.

Testen ist der Prozess, ein Programm mit der Absicht auszuführen, Fehler zu finden.

Page 15: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

ZIEL DES TESTENS

Finden von Fehlern

Steigerung der Softwarequalität

Senkung der Fehlerrisiken

Erfüllung von Normen / Vorschriften / Auflagen

Warum?

� SW-Komplexität

� SW-Kritikalität (ohne Programme funktioniert kaum was noch)

� Fehler sind SEHR teuer

Page 16: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

WARUM GIBT ES ENTWICKLER UND TESTER?

Unabhängiges Testen (Objektivität behalten)

Test soll von den Personen durchgeführt werden, die nicht an der Programmierung der Software-Module beteiligt waren!

Entwickler sind die Theoretiker im Projektteam. Sie entwickeln die Ideen und glauben gern, dass die ganze Welt so funktioniert, wie sie sich das vorstellen.

Ein bisschen Psychologie

Entwickler sind die Theoretiker im Projektteam. Sie entwickeln die Ideen und glauben gern, dass die ganze Welt so funktioniert, wie sie sich das vorstellen. Wenn Entwickler selbst testen, suchen sie nach einer Bestätigung der Gültigkeit ihrer theoretischen Überlegungen.

Tester sind die Praktiker. Sie wollen nachweisen, dass das Programm unter bestimmten Bedingungen versagt.

Tester bringen schlechte Nachrichten � Konfliktpotential

Page 17: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

3. Warum testen?

Page 18: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Warum testen?

Page 19: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Warum testen?

Quelle: Standish Group, CHAOS Report 2009: „Chaos History“ von IT-Projekten.

Page 20: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Was kosten Fehler?

� Geschätzte Verluste durch Softwarefehler in Mittelstands- und Großunternehmen in Deutschland:ca. 84,4 Mrd. € p.a.

� 35,9% der IT-Budgets für Beseitigung von Programmfehlern entsprechen 14,4 Mrd. € p.a.

� Produktivitätsverluste durch Computerausfälle aufgrund fehlerhafter Software: ca. 2,6% des Umsatzes - 70 Mrd. € p.a.

Quelle: Studie der LOT Consulting Karlsruhe, IT-Services 3/2001

� allein in Deutschland Ausfälle von jährlich 85 Milliarden Euro durch mangelnde oder unzureichende Testing - Maßnahmen.

Quelle: Forrester Research, 2003

Page 21: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Was kostet die Fehlerbeseitigung?

Giga Information Group:

Softwarefehler, die erst in der Post-Production-Phase entdeckt werden, verursachen 50 Prozent höhere Kosten als wenn sie bereits in der Entwicklung behoben worden wären.

Page 22: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Was kostet die Fehlerbeseitigung?

� Istanalyse / Grobkonzept für Überarbeitung Geschäftsprozess, Review, Diskussion

� Feinkonzept / DV-Konzept

� Realisierung

1.000 €

4.000 €

12.000 €

für Überarbeitung Geschäftsprozess, Review, Diskussion

für zusätzliche � Realisierung

� Abnahme / Einführung

� Betrieb

12.000 €

48.000 €

90.000 €

für zusätzliche Abnahmekosten, wiederholtes Roll out

für zusätzliche Entwicklungskosten

Umsatzverlust, Imageschaden

Page 23: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

4. Application Lifecycle und damit einhergehende QS-Maßnahmen.einhergehende QS-Maßnahmen.

Page 24: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Application LifecycleLifecycle

Page 25: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Anforderungen

Page 26: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Design

Anforderungen

Design

Page 27: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Design

Anforderungen

Design

Realisierung

Page 28: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Design

Anforderungen

Design

RealisierungEinführung

Page 29: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

DesignBetrieb

Anforderungen

DesignBetrieb

RealisierungEinführung

Page 30: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Design

Optimierung

Betrieb

Anforderungen

DesignBetrieb

RealisierungEinführung

Page 31: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Anforderung:Weichenstellung für Qualität

Page 32: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Design: Fehler frühzeitig finden und beseitigen

Page 33: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Realisierung: Frühzeitiges, isoliertes Testen

Page 34: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Einführung: Prüfen auf Herz und Nieren

Abnahmetest

Betrieb

� Test gegen Anforderungen

� Vollständige Geschäftsprozesse

Entwicklertest

Komponententest

Integrationstest

Systemtest

� Schnittstellen

� Performance

� Ausfallsicherheit

� Vollständige Geschäftsprozesse

� Betriebliche Tests

� Reaktion auf System-Probleme

� Funktionalität

� Oberfläche

Page 35: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Einführung: Prüfen auf Herz und Nieren

Page 36: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Betrieb: Qualität nachhaltig managen

Page 37: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Optimierung: Verbesserungen ableiten

Page 38: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

5. Der Testprozess und Aufgaben eines Testmanagers.Testmanagers.

Page 39: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Testvorgehen in der T-Systems MMS.

Test-konzeption

Test-vorbereitung

Test-auswertung

� Teststrategie und Testziele � Testumfang � Teststufen � Testvoraussetzungen

� Klassifizierung Testobjekte auf Basis A/B/C-Analyse

� Erarbeitung Testfälle ->

� Bewertung der Testergebnisse

� Überprüfen der Abnahmekriterien

Test-durchführung

� Annahmetest� Testdurchführung nach

TestspezifikationProtokollieren der � Testvoraussetzungen

� Testumgebung � Bedarfsanalyse zur

Testautomatisierung � Toolauswahl � QS–Maßnahmen � Ressourcen � Fehlerklassen und

Fehlerworkflow� Risikomanagement� Testdaten

� Erarbeitung Testfälle -> Testspezifikation

� Erstellung der Testscripte

� Erstellung der Testdaten

� Bereitstellung der Testumgebung

� Installation� Konfiguration der

Testtools

Abnahmekriterien� Dokumentation /

Bericht� Zertifizierung� Freigabe

� Protokollieren der Testergebnisse

� Erstellung der Fehlermeldungen

� Re-Test� Erstellung der

periodischen Berichte

Page 40: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

AUFGABEN DES TESTMANAGERS.

� Erstellung / Koordination und Review der Teststrategie und –planung inkl. Anpassung entsprechend der Testergebnisse / des Testverlaufs

� Testplanung, Auswahl der Testmethoden inkl. Zeit- / Aufwands- sowie Kostenschätzung, Ressourcenbeschaffung, Planung des Abweichungs- und Fehlermanagements

� Initiieren der Spezifikation / Vorbereitung / Implementierung und Ausführung der Tests� Initiieren der Spezifikation / Vorbereitung / Implementierung und Ausführung der Tests

� Definition von Metriken für Nachweis der Effizienz des Testprozesses und für Qualitätsaussagen zur getesteten Anwendung / Produkt

� Terminierung, Überwachung und Steuerung der Testausführung

� Ergreifen von Maßnahmen bei auftretenden Problemen

� Erstellen von Testberichten

Page 41: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

6. Auch so kann‘s gehen – Ein Beispiel aus der Praxis.aus der Praxis.

Page 42: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Ausgangssituation.

� Ziel des SWE-Projektes: Bereitstellung einer Online-Plattform für die elektronische Genehmigung und Abrechnung von ärztlichen Verordnungen im Krankenkassenumfeld

GU: T-Systems

SW-Hersteller: deutscher Mittelständler

Kunde: Deutsche Krankenkasse

Projekt-zusammen-setzung

Page 43: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Ausgangssituation.

� Keine Erkenntnis bis 2009, dass Testmanagement essentiell wichtig für den Projekterfolg ist

� früherer Versuch der Etablierung eines Testmanagements schlug fehl

� Kunde war unzufrieden aufgrund unklarer Situation hinsichtlich Anforderungsumsetzung und Fehler-Status

� Keine Aussage möglich, wann Software in den Pilotbetrieb gehen kann

� Alleiniger Test durch SW-Unternehmen auf Basis formloser Entwicklertests, wobei Testautomatisierung vernachlässigt wurde

� SW-Unternehmen hat keine Erfahrung bzgl. Umgang mit Großkunden und komplexen Projekten

Page 44: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Ausgangssituation.

EtablierungTaskforce

2009 2010

Geplanter Livegang

September: SW noch nicht im Pilotbetrieb

Page 45: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Organisation TP Test.

Planung, Steuerung & Monitoring

initiale Testdu

rchführung

Testteams (sowohl Kunde als auch SW-Hersteller)

Sicherstellung der kontinuierlichen Kom

munikation

zwischen Entwicklung und TestKunde & Management-

Team

Reporting zur Testdurchführung

Planung, Steuerung & Monitoring

Nachtests

Sicherstellung der Test-

ergebn

is-Dokum

entation

Testmanager zusammen mit Test-Koordinatoren

Entwicklung SW-Hersteller

Koordination Fehler-

Bew

ertung

Sicherstellung der kontinuierlichen Kom

munikation

zwischen Entwicklung und Test

Reporting zur Testdurchführung und Fehlersituation

Klärung bei Defects. die ein

weiteres Testen unm

öglich

machen / stark erschw

eren

Page 46: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Titel der Präsentation | T-Systems Multimedia Solutions GmbH 4609.07.2009

Analyse der IstAnalyse der IstAnalyse der IstAnalyse der Ist----Situation undSituation undSituation undSituation undidentifizierte Verbesserungspotentiale.identifizierte Verbesserungspotentiale.identifizierte Verbesserungspotentiale.identifizierte Verbesserungspotentiale.

Page 47: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management
Page 48: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Ableitung von Verbesserungspotentialen-TOP 6.

FindingFindingFindingFinding VerbesserungspotentialVerbesserungspotentialVerbesserungspotentialVerbesserungspotential

Keine Traceability zwischen Testfällen und Anforderungen

Mapping der Anforderungen zu den bereits abgestimmten Testfällen

Nur partielle Risikoanalyse zur Bestimmung der SW-System-kritischen Teile vorhanden

Bestimmung der Testfälle, die 80% der Funktionalitäten der Applikation ausmachen (= riskante Systemteile) → Testfall-PriorisierungTeile vorhanden (= riskante Systemteile) → Testfall-Priorisierung

Fehler werden durch Kunde grundsätzlich

nur den Fehlerklassen 1 und 2 zugeordnet

Aufsetzen eines internen Fehlerkorridors mit Abstimmung, ob auch für Kunde im Rahmen der Übernahme anwendbar

Page 49: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Ableitung von Verbesserungspotentialen-TOP 6.

FindingFindingFindingFinding VerbesserungspotentialVerbesserungspotentialVerbesserungspotentialVerbesserungspotential

Keine mit dem Kunden gemeinsam

definierten Abnahmekriterien

Einholen des Commitments beim Kunde: definierte

TF-Beschreibungen = fixierten Anforderungen inkl.

Abnahmekriterien

Zuordnung der Tester zu den Testfällen Um kritische Testfälle mit entsprechender Intensität zu Zuordnung der Tester zu den Testfällen erfolgt momentan nach Verfügbarkeit

Um kritische Testfälle mit entsprechender Intensität zu testen, sind in einem Teststufenplan die Testfallreihenfolge, Testaufwand und -ressourcen zuzuordnen

Testaktivitäten durch neue Anforderungen /

CRs seitens Kunde stark erschwert

Abstimmung Frozen Zone mit Kunde, in der keine

Umsetzung neuer Anforderungen / CRs erfolgt

Page 50: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Testkonzeption auf Basis der abgeleiteten Verbesserungspotentiale.

Mapping der Testfälle zu den grobgranular spezifizierten Anforderungen schwierig, deshalb:

� Kunde erstellt die Testfälle, die gleichzeitig die Abnahmekriterien darstellen inkl. deren Einstufung nach Priorisierungskategorien

� 1. Erkenntnis: 1. Erkenntnis: 1. Erkenntnis: 1. Erkenntnis: zum ersten Mal wurde auf Seiten des Kunden als auch SW-Herstellers die Wichtigkeit erkannt, formalisierte Testfälle zu erstellenWichtigkeit erkannt, formalisierte Testfälle zu erstellen

� Anfang Oktober 2009:

� Auslieferung der ersten 20 Testfall-Beschreibungen durch den Kunden

� Hochrechnung der benötigten Zeiten für weitere Testfall-Erstellung

⇒ Grundlage für die Erstellung eines belastbaren Teststufenplans

Page 51: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Testkonzeption auf Basis der abgeleiteten Verbesserungspotentiale.

� 2. Erkenntnis 2. Erkenntnis 2. Erkenntnis 2. Erkenntnis für Kunde und SW-Hersteller: Test aller fachlich denkbaren Ausprägungen aufgrund Kosten-Nutzenverhältnis nicht machbar, weswegen die Testfall-Priorisierung von Nöten ist sowie die Definition eines Zielkorridors

� Zielkorridor:

Jeder definierte und mit dem Kunden abgestimmte Testfall wird mindestens einmal � Jeder definierte und mit dem Kunden abgestimmte Testfall wird mindestens einmal ausgeführt.

� Bei zeitlichen Engpässen: alle Testfälle mit Priorität 1 und 2 werden mindestens einmal ausgeführt.

� 3. Erkenntnis 3. Erkenntnis 3. Erkenntnis 3. Erkenntnis vor Allem für den Kunde: es gibt keine 0 Fehler-Qualität, deshalb Einigung auf einen Fehlerkorridor

Page 52: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Oktober November Dezember Januar

KW41 KW42 KW43 KW44 KW45 KW46 KW47 KW48 KW49 KW50 KW51 KW52 KW53 KW01 KW02 KW03 KW04

Funktions- und Prozesstest

Funktionaler Performanctest

Layout Test

Interner Test auf Basis eigener TFs

20.10. – 13.11.2009

06.11. – 23.11.2009

Funktionstest sKV 20.10. – 06.11.2009

Last- und Performancetest sKV tbd.

05.10. – 16.10.2009

Last- und Performancetest

20.10. – 06.11.2009

Interner Test auf Basis Kunden-TFs, 1. Teil 19.10. – 06.11.2009

09.11. – 27.11.2009

ab 06.11.2009

09.11. – 30.11.2009

ab 27.11.2009

Penetrationstest

Interner Test auf Basis Kunden-TFs, 2. Teil

Kunden-Test, 1. Teil

Kunden-Test, 2. Teil

Page 53: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Testkoordination und Testkoordination und Testkoordination und Testkoordination und ----monitoringmonitoringmonitoringmonitoring....

Titel der Präsentation | T-Systems Multimedia Solutions GmbH 5309.07.2009

Page 54: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Ergebnisse und Konflikte.

SW-Hersteller interner Test:

� Positives Ergebnis für alle Testphasen

� Die zum Testzeitpunkt zur Verfügung stehenden Testfälle wurden fehlerfrei durchlaufen

� Alle identifizierten Fehler wurden behoben und erfolgreich nachgetestet: lediglich 1 nicht Pilot-verhindernder Fehler (FK 4-5) war nicht behoben, erfolgte im gemeinsamen Regressionstest.

� Einhaltung des intern definierten Fehlerkorridors (0/0/9/15/-)

� Konflikt: zurück gestellte Testfälle aufgrund fehlender bzw. fehlerhafter Testfallbeschreibungen.

Page 55: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Ergebnisse und Konflikte.

� Hohes Fehleraufkommen beim anschließenden Kunden-Test:

� bisherige Testergebnisse wurden angezweifelt

� aber auch kundenseitige Fehler beim Testvorgehen

� während des Tests wird erkannt, dass TF-Korrekturen erforderlich sind

⇒ Entscheidung zum gemeinsamen Test mit einem gemischten Team aus Testern von der Kunden- als SW-Hersteller-SeiteKunden- als SW-Hersteller-Seite

⇒ Entscheidung zu einem abgestimmten Prozess hinsichtlich TF-Anpassungen

Page 56: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Oktober November Dezember Januar

KW41 KW42 KW43 KW44 KW45 KW46 KW47 KW48 KW49 KW50 KW51 KW52 KW53 KW01 KW02 KW03 KW04

Funktions- und Prozesstest

Interner Test auf Basis eigener TFs 05.10. – 16.10.2009

Zur Erinnerung: ursprüngliche Testplanung

Interner Test auf Basis Kunden-TFs, 1. Teil 19.10. – 06.11.2009

09.11. – 27.11.2009

ab 06.11.2009

ab 27.11.2009

Interner Test auf Basis Kunden-TFs, 2. Teil

Kunden-Test, 1. Teil

Kunden-Test, 2. Teil

Page 57: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Oktober November Dezember Januar

KW41 KW42 KW43 KW44 KW45 KW46 KW47 KW48 KW49 KW50 KW51 KW52 KW53 KW01 KW02 KW03 KW04

Funktions- und Prozesstest

Interner Test auf Basis eigener TFs

Interner Test auf Basis Kunden-TFs, 1. Teil 19.10. – 02.11.2009

09.11. – 27.11.2009

ab 06.11.2009

ab 27.11.2009

05.10. – 15.10.2009

Interner Test auf Basis Kunden-TFs, 2. Teil

Kunden-Test, 1. Teil

Kunden-Test, 2. Teil

Gemeinsamer Test vor Ort beim Kunden ab 30.11.2009

Gemeinsamer Regressionstest ab 18.01.2010

Übernahmetest ab 15.02.2010

Redaktionsschluss TrialRedaktionsschluss TrialRedaktionsschluss TrialRedaktionsschluss Trial----System: 11.03.2010, Schwenk zum ProduktivsystemSystem: 11.03.2010, Schwenk zum ProduktivsystemSystem: 11.03.2010, Schwenk zum ProduktivsystemSystem: 11.03.2010, Schwenk zum Produktivsystem

Kunden ab 30.11.2009

08.12.2009Freihandtest SW-Hersteller

Praxistest Kunde ab 06.01.2010

Page 58: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management
Page 59: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

308 300

8

287

11 20

50

100

150

200

250

300

Testdurchführung - Abarbeitung Testfälle gesamt

durchgeführt

offen (inkl. zurück gestellte Testfälle)

fehlerfrei

Nicht Pilot-verhindernde fehlerbehaftete Testfälle

Pilotverhindernde fehlerbehaftete Testfälle

Blockiert durch anderen Fehler

99

155

102

136

149

100

120

140

160

3%

93%

3%1%Testdurchführung insgesamt

offen (inkl. zurück gestellte Testfälle)

fehlerfrei

Nicht Pilot-verhindernde fehlerbehaftete Testfälle

Pilotverhindernde fehlerbehaftete Testfälle

Blockiert durch anderen Fehler

19

36

53

99

9

82

0

20

40

60

80

Anzahl

Testdurchführung

kumuliert (Plan)

Anzahl Testfall-

Durchführung

kumuliert (Ist)

Page 60: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

214

287

100

150

200

250

300

Aufteilung Testfall-Status nach Fehlerfreiheit

erfolgreich (nach-) getestet

bereit zum Nachtest

2 11 1349

24

0

50

Nachtest

offen zum Nachtest

Page 61: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

17 8

1 1

36

20

56

37

28

65

0

10

20

30

40

50

60

70

Pilotverhindernd Nicht-Pilotverhindernd Summe

Fehlerstatus akzeptierte Fehler nach Fehlerschwere

offen

gefixt

bereit zum Nachtest

closed

Gesamt

71

862

85 7

37

28

65

55

33

88

0

10

20

30

40

50

60

70

80

90

Pilotverhindernd Nicht-Pilotverhindernd Summe

Fehlerstatus Meldungen gesamt

zurück gezogen durch Kunde

einvernehmlich abgewiesen

doppelt

akzeptierte Fehler

Gesamt

Page 62: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Fehlermanagement.

Titel der Präsentation | T-Systems Multimedia Solutions GmbH 6209.07.2009

Page 63: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Fehlermanagement – Allgemeiner Workflow.

� Bislang: Bislang: Bislang: Bislang:

� Fehler wurden unbewertet auf Zuruf in internes Ticket-System des SW-Herstellers eingestellt

und unkoordiniert abgearbeitet

� Nun: Nun: Nun: Nun:

� Alle festgestellten Fehler, Abweichungen, Probleme, usw. werden unmittelbar im

Fehlermanagementsystem (TRAC) als „Fehler“ erfasst und dokumentiert sowohl durch den

Kunden als auch SW-Hersteller

� Bewertung Fehler-Klassifizierung und Behebungstermin mittels eines „Fehler Clearings“

� Vorab-Bewertung durch Entwicklungsteam des SW-Herstellers

� Tägliches Fehler-Reporting an den Kunden

Page 64: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Fehlermanagement – Allgemeiner Workflow.

new new

KUNDETESTER

KUNDEQS

SW-HerstellerQS

new

Entwicklung

assignedgefixt

SW-HerstellerTest

akzeptiertclosed

Nic

ht

akze

pti

ert

Zu

rück

g

ezo

gen

closed

Erfolgreichnachgetestet

SW-HerstellerQS

Nic

ht

erfo

lgre

ich

nac

hg

etes

tet

closed Fehler Clearing

re-testre-test

re-opened

Nic

ht

erfo

lgre

ich

closed

Erf

olg

reic

hn

ach

get

este

t

re-opened

Nic

ht

erfo

lgre

ich

nac

hg

etes

tet

Page 65: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Fehlerprozess – Klassifizierung und Priorisierung.

Täglich FehlerclearingTäglich FehlerclearingTäglich FehlerclearingTäglich Fehlerclearing

� Fehlermanager, Test und Entwicklung

Workflow „Neue Fehler“

Ergebnis = Fehler Ergebnis = CR

ChangeboardChangeboardChangeboardChangeboard (GPL, PL Kunde)(GPL, PL Kunde)(GPL, PL Kunde)(GPL, PL Kunde)

Analyse Risiko & ImpactAnalyse Risiko & ImpactAnalyse Risiko & ImpactAnalyse Risiko & Impact

� des Impacts (was passiert ,wenn wir es nicht tun)

� wie oft kommt der Fall vor

� gibt es einen Workaround

� Analyse Aufwand (Entwicklung und Test)

� Analyse Impact bereits erreichte Testergebnisse

� Analyse sonstige Risiko

EntscheidungEntscheidungEntscheidungEntscheidung

Auszug ausTicketsystem

Change Requestliste

Dokumente

Release-Versionsplan

Entwicklung

� Fehlerbeseitigung, Test

� Status : behoben

Zuordnung

� Fehlerklasse

� Priorität

� Entwickler

� zu beheben in Version x

� Termin der Behebung

Nachtest durch Testteam

� Status: geschlossen oder wiedereröffnet

� Freigabe nächste Teststufe (Kundentest)

GPL, Testmgmt, Entwickl.mgmt

� Entscheidung, wann Patch auf Testsystem Kunde

EntscheidungEntscheidungEntscheidungEntscheidung

� Umsetzung erfolgt in Version x Release-Versionsplan

Page 66: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management
Page 67: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Titel der Präsentation | T-Systems Multimedia Solutions GmbH 6709.07.2009

Fazit.Fazit.Fazit.Fazit.

Page 68: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Fazit.

� Die saubere Aufnahme und Abstimmung von Anforderungen zusammen mit dem Kunden ist das

A und O für erfolgreiche Projekte.

� Die tägliche Kommunikation im Projektteam als auch mit dem Kunden hat die nötige Transparenz

bzgl. notwendiger Maßnahmen sowie zum Status geschaffen. Das schaffte vor Allem Vertrauen auf

Kundenseite.

� Aktives Fehler Clearing zusammen mit dem Kunden führte zur zügigen Umsetzung / Behebung

der aus seiner Sicht wichtigsten Pain Points.

� Der gemeinsame Test unter Beteiligung des SW-Herstellers und des Kunden, konnte frühzeitig

Anwendungsfehler aufdecken, um „falsche“ Fehler zu verhindern.

� Die Anwendung befindet sich heute seit fast einem halben Jahr im Wirkbetrieb.

Page 69: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

7. Überblick ausgewählter Testarten.

Page 70: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Testarten im Überblick.

Testart = Eine Gruppe von

Testaktivitäten, mit der Absicht, eine

Komponente oder ein System auf einige

zusammenhängende

Qualitätsmerkmale zu prüfen. Eine

Testart ist auf ein bestimmtes Testziel

fokussiert.

Applikations-analyse

Lasttest

Usability/Accessibility-

Test

Security

Funktionstest Lasttest

SOA-Test

Test-automa-tisierung

Funktionstest

Code Quality Management

Page 71: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Qualitätsmerkmale.

Qualitätsmerkmale von Softwaresystemen:

� Funktionsumfang – kann die Software alle Aufgaben erfüllen?

� Zuverlässigkeit – wie reagiert das System auf die Fehleingaben?

� Benutzbarkeit – ist das System � Benutzbarkeit – ist das System verständlich und leicht bedienbar?

� Effizienz –wie sind die Antwortzeiten ?

� Änderbarkeit – kann die Software erweitert werden?

� Übertragbarkeit – läuft die Software unter verschiedenen Betriebssystemen oder Browsern?

Systematik entspricht den DIN-ISO-Normen 9126 und 12119.

Page 72: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Funktionstest.

Page 73: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

QUALITÄTSMERKMALE EINES SOFTWARESYSTEMS.

FunktionalitätFunktionalitätFunktionalitätFunktionalität ÜbertragbarkeitÜbertragbarkeitÜbertragbarkeitÜbertragbarkeitÄnderbarkeitÄnderbarkeitÄnderbarkeitÄnderbarkeitEffizienzEffizienzEffizienzEffizienzBenutzbarkeitBenutzbarkeitBenutzbarkeitBenutzbarkeitZuverlässigkeitZuverlässigkeitZuverlässigkeitZuverlässigkeit

AngemessenheitAngemessenheitAngemessenheitAngemessenheit

RichtigkeitRichtigkeitRichtigkeitRichtigkeit

ReifeReifeReifeReife

FehlertoleranzFehlertoleranzFehlertoleranzFehlertoleranz

VerständlichkeitVerständlichkeitVerständlichkeitVerständlichkeit

ErlernbarkeitErlernbarkeitErlernbarkeitErlernbarkeit

ZeitverhaltenZeitverhaltenZeitverhaltenZeitverhalten

VerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhalten ModifizierbarkeitModifizierbarkeitModifizierbarkeitModifizierbarkeit

AnalysierbarkeitAnalysierbarkeitAnalysierbarkeitAnalysierbarkeit

InstallierbarkeitInstallierbarkeitInstallierbarkeitInstallierbarkeit

AnpassbarkeitAnpassbarkeitAnpassbarkeitAnpassbarkeit

Nicht-funktionale Q-Merkmale

VerständlichkeitVerständlichkeitVerständlichkeitVerständlichkeit

ErlernbarkeitErlernbarkeitErlernbarkeitErlernbarkeit

ZeitverhaltenZeitverhaltenZeitverhaltenZeitverhalten

VerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhalten ModifizierbarkeitModifizierbarkeitModifizierbarkeitModifizierbarkeit

AnalysierbarkeitAnalysierbarkeitAnalysierbarkeitAnalysierbarkeit

InstallierbarkeitInstallierbarkeitInstallierbarkeitInstallierbarkeit

AnpassbarkeitAnpassbarkeitAnpassbarkeitAnpassbarkeitVerständlichkeitVerständlichkeitVerständlichkeitVerständlichkeit

ErlernbarkeitErlernbarkeitErlernbarkeitErlernbarkeit

ZeitverhaltenZeitverhaltenZeitverhaltenZeitverhalten

OrdnungsmäßigkeitOrdnungsmäßigkeitOrdnungsmäßigkeitOrdnungsmäßigkeit

SicherheitSicherheitSicherheitSicherheit

RichtigkeitRichtigkeitRichtigkeitRichtigkeit

InteroperabilitätInteroperabilitätInteroperabilitätInteroperabilität WiederherstellbarkeitWiederherstellbarkeitWiederherstellbarkeitWiederherstellbarkeit

FehlertoleranzFehlertoleranzFehlertoleranzFehlertoleranz ErlernbarkeitErlernbarkeitErlernbarkeitErlernbarkeit

BedienbarkeitBedienbarkeitBedienbarkeitBedienbarkeit

VerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhalten ModifizierbarkeitModifizierbarkeitModifizierbarkeitModifizierbarkeit

StabilitätStabilitätStabilitätStabilität

PrüfbarkeitPrüfbarkeitPrüfbarkeitPrüfbarkeit

KonformitätKonformitätKonformitätKonformität

InstallierbarkeitInstallierbarkeitInstallierbarkeitInstallierbarkeit

AustauschbarkeitAustauschbarkeitAustauschbarkeitAustauschbarkeit

Systematik entspricht der DIN-ISO-Norm 9126

ErlernbarkeitErlernbarkeitErlernbarkeitErlernbarkeit

BedienbarkeitBedienbarkeitBedienbarkeitBedienbarkeit

VerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhaltenVerbrauchsverhalten ModifizierbarkeitModifizierbarkeitModifizierbarkeitModifizierbarkeit

StabilitätStabilitätStabilitätStabilität

PrüfbarkeitPrüfbarkeitPrüfbarkeitPrüfbarkeit

KonformitätKonformitätKonformitätKonformität

InstallierbarkeitInstallierbarkeitInstallierbarkeitInstallierbarkeit

AustauschbarkeitAustauschbarkeitAustauschbarkeitAustauschbarkeit

ErlernbarkeitErlernbarkeitErlernbarkeitErlernbarkeit

BedienbarkeitBedienbarkeitBedienbarkeitBedienbarkeit

Page 74: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Motivation Vorgehen

FUNKTIONSTEST.

� Tut die Anwendung genau das, was in den funktionalen Anforderungen beschrieben wurde?

� Wo gibt es Abweichungen und welchen Auswirkungsgrad besitzen diese?

| T-Systems Multimedia Solutions GmbH | 10.09.2010 | 74

diese?

� Was muss zuerst/am intensivsten getestet werden, wo sind einfachere Test ausreichend?

� Wie wird die Wirtschaftlichkeit des Tests sichergestellt?

� Wie gut ist die Qualität der Entwicklung?

Page 75: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

VorgehenMotivation

Testelemente abgrenzen

Priorisieren Testmethode Testspezifikation

FUNKTIONSTEST.

| T-Systems Multimedia Solutions GmbH | 10.09.2010 | 75

�Komplexität

�Häufigkeit

�Schätzung durch AG

�Schätzung durch Entwicklung

abgrenzen

�Äquivalenzklassen

�Grenzwertanalyse

�Zustandsbasiert

�Intuitiv

�Manuell

�Automatisiert

�SOA

Page 76: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Lasttest.

Page 77: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Motivation NutzenVorgehen

LASTTEST.

Warum Lasttest?

� Steigende Nutzer- und Zugriffszahlen können längere Antwortzeiten, Fehler und Abstürze provozieren

� Wirtschaftliche Schäden durch Ausfall und Störungen entstehen

Imageverlust durch schlechte Performance

| T-Systems Multimedia Solutions GmbH | 10.09.2010 | 77

� Imageverlust durch schlechte Performance

� 8 Sekunden Regel - Kunde macht sein Geschäft woanders!

Beantwortung folgender Fragen:

� Wie viele User verkraftet die Anwendung?

� Wo liegen Performance-Engpässe unter Last?

� Wie lange müssen die Kunden bei steigender User-Anzahl warten?

� Wie sind meine Server ausgelastet?

� Wann muss die Hardware erweitert werden?

Page 78: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

LASTTEST.

Erzeugung der

Anfragen

Serverüberwachung in Realzeit

Überwachung der Agenten

Ergebnis-analyse

| T-Systems Multimedia Solutions GmbH | 10.09.2010 | 78

Testsystem

Controller Virtuelle Benutzer

TrueLog

Überprüfung der Antworten

Last-Agenten

Page 79: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Usability/Accessibility-Test.

Page 80: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Vorgehen NutzenMotivation

USABILITY/ACCESSIBILITY-TEST.

� Wie gut kommen die Nutzer mit der Anwendung zu recht?

Spricht die Anwendung die Sprache der Nutzer?

| T-Systems Multimedia Solutions GmbH | 10.09.2010 | 80

� Spricht die Anwendung die Sprache der Nutzer?

� Wo sind kritische Punkte bei der Nutzung?

Page 81: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Motivation NutzenVorgehen

USABILITY.

Usability-Experten-Evaluation

� Umfassende Evaluation der Nutzungsoberfläche durch mindestens 2 Experten

� Usability-Experten versetzen sich in Rolle repräsentativer Nutzer

� Überprüfen auf Basis anerkannter Heuristiken

| T-Systems Multimedia Solutions GmbH | 10.09.2010 | 81

� Ausführliche Erläuterung aller identifizierten Usability-Schwachstellen

� Konkrete und praxisnahe Verbesserungsvorschläge zu allen gefundenen Schwachstellen

� 30- bis 40-seitiger Testbericht

Usability-Test mit Probanden

� Nutzertest durch 6-8 Probanden, welche typische Aufgaben am zu testenden System durchführen

� Eye-Tracking Analyse einer Schlüsselseite durch einen repräsentativen Probanden

� Ausführliche Erläuterung aller identifizierten Usability-Schwachstellen

� Konkrete und praxisnahe Verbesserungsvorschläge zu allen gefundenen Usability-Schwachstellen

� 30- bis 40-seitiger Testbericht inkl. ausgesuchter Kommentare der Probanden

� Highlight-Video mit ausgewählten Szenen der Probanden

Page 82: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Motivation NutzenVorgehen

USABILITY/ACCESSIBILITY-TEST.

| T-Systems Multimedia Solutions GmbH | 10.09.2010 | 82

Page 83: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Und noch viel mehr…

Page 84: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Applikations-analyse

Lasttest

Usability/Accessibility-

Test

SOA -Test

Funktionstest

Test-Management

Datenschutz

Qualitäts-sicherungs-Beratung

ApplicationMonitoring

Abnahmetest

Security

Test-automa-tisierung

Code Quality Management

Beratung

Page 85: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Portfolio

Data Privacy and Security

Sicherheits-

Anforderungs-management

Sicherheits-/Daten-

Fachkonzept

Projektberatung

DV-Konzept

Sicherheits-anforderungen

Sicherheits-/Daten-schutzkonzept

Projektberatung

Betrieb Deployment Test

Regressionstest/Projektberatung Projektberatung

Penetrationstest/Zertifizierung

Implem

entierung

CodeReview

Page 86: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

8. Data Privacy and Security.Umfeld.

Page 87: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Data Privacy and Security

Wissen der Angreifer

Wissen der A

ngreifer

� Weitergabe von Informationen

� Schnelle Verbreitung

� Verstärkter Einsatz von Werkzeugen

Wissen der A

ngreifer

Anzahl der Angreifer

� Verstärkter Einsatz von Werkzeugen

� Notwendiges Wissen zum Ausnutzen von Schwachstellen sinkt

� Anzahl der möglichen „Angreifer“ steigt

Page 88: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Data Privacy and Security

Formen von Bedrohungen

Neue Angriffsformen mit alten Hilfsmitteln

Häufige Angriffsformen, die „nur“ einen Browser benötigen:Häufige Angriffsformen, die „nur“ einen Browser benötigen:

� Cross Site Scripting

� {SQL, Command, HTML, PHP, …} – Injection

� Informationspreisgabe

Weitere erfolgreiche Angriffsformen:

� Social Engineering

Page 89: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

OWASP Top 10

Data Privacy and Security

Page 90: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Data Privacy and Security.Arten von Schwachstellen.

Page 91: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

SQL - Injection

Data Privacy and Security

Nutzerseitige AngriffeNutzerseitige AngriffeNutzerseitige AngriffeNutzerseitige Angriffe� Cross Site Scripting

� Cross Site Tracing

� Inhaltsmanipulation

AutorisierungAutorisierungAutorisierungAutorisierung� Berechtigungen vorhersagen

� Unzureichende Autorisierung

� Unzureichende Sitzungs-beendigung

AuthentifizierungAuthentifizierungAuthentifizierungAuthentifizierung� Brute Force

� Unzureichende Authentisierung

� Schwache Passwort Wiederherstellung

� Cross Site Authentication

InformationsoffenlegungInformationsoffenlegungInformationsoffenlegungInformationsoffenlegung� Auflisten Verzeichnis

� Informationsleck

� Pfadmanipulation

� Vorhersagbare Quellen

beendigung

� Sitzungs Fixierung

BefehlsausführungBefehlsausführungBefehlsausführungBefehlsausführung� Injection Angriffe (Einschleusung)

� SQL Injection

Logische AngriffeLogische AngriffeLogische AngriffeLogische Angriffe� Unzureichende Anti-

Automation

� Unzureichende Prozessprüfung

� Cross Site Request Forgery

Quelle: nach WASC04, WASC 2010

Page 92: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Data Privacy and Security.Durchführung Penetrationstest.

Page 93: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Penetrationstest

Data Privacy and Security

Sicherheits-

Anforderungs-management

Sicherheits-/Daten-

Fachkonzept

Projektberatung

DV-Konzept

Sicherheits-anforderungen

Sicherheits-/Daten-schutzkonzept

Projektberatung

Betrieb Deployment Test

Regressionstest/Projektberatung Projektberatung

Penetrationstest/Zertifizierung

Implem

entierung

CodeReview

Page 94: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Praktische BeispieleVorgehenPenetrationstest

Data Privacy and Security

� Anforderungsmanagement, Projektberatung. – Anforderungen an Betrieb, Entwicklung und Fachseite wurden definiert.

� Fachkonzepte.� Fachkonzepte.– Sicherheitskonzept wird erstellt (gilt als Testgrundlage).

– Datenschutzkonzept wird erstellt.

� Penetrationstest.– Überprüfung der Wirksamkeit der Maßnahmen aus dem Sicherheitskonzept.

Page 95: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Praktische BeispieleVorgehenPenetrationstest

Data Privacy and Security

� Vorbereitung � Informationsbeschaffung � Bewertung � Aktive Eindringversuche � Aktive Eindringversuche � Auswertung

Page 96: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Praktische BeispieleVorgehenPenetrationstest

Data Privacy and Security

Page 97: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Danke für Ihre Aufmerksamkeit!

Page 98: T-Systems Multimedia Solutionsst.inf.tu-dresden.de/files/.../Testmanagement_TUDD... · Online-Marketing Mobility Video-On-Demand Testing Services & Support Code Quality Management

Kontakt

Ute Seidel

Telefon: 0351 28 20 2873E-Mail: [email protected]

Thomas Haase

Telefon: 0351 28 20 2206E-Mail: [email protected]