modellzentrisches system- & testengineering als … · keyword-basierten end-2-end...
TRANSCRIPT
siemens.com/answers
© Siemens AG 2015 All rights reserved.
Modellzentrisches System- & Testengineering als Schlüssel einer
Keyword-basierten End-2-End Testautomatisierung von großen
Systemen
Dr. H.-G. Langer / H. Fischer – Siemens Mobility
H. Goetz / T. Jaeger – Siemens Corporate Technology
Siemens Corporate Technology | Februar 2015
Page 2 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Einsatz von interdisziplinären Lösungsansätzen zur
Beherrschung der steigenden Produktkomplexität
Die zukünftigen Produkte werden definitiv in ihrer Komplexität steigen!
See: Heinz Nixdorf Institut Universität Paderborn, Fraunhofer-Institut IPT, UNITY AG, Systems Engineering in der industriellen Praxis, 2013
Page 3 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Testen von großen Systemen –
Beispiel ICx – die neue DB Plattform
http://www.mobility.siemens.com/mobility/global/de/fernverkehr/schienenverkehr/hochgeschwindigkeits-
intercity/icx/Seiten/icx.aspx#Technische%20Daten%20(Grundvarianten)
Weitere Details sind zu finden unter der offiziellen Webseite:
Page 4 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Entwicklung einer Labor-Testumgebung für
End-to-End Tests der neuen Intercity Plattform ICx
Der Aufbau umfasst eine modulare Simulations- & Testumgebung:
• Ein 12-teiliger Zug
• Einsatz von reale Steuerungen mit originaler Software und
Schaltungstechnik
• Sämtliche relevante Kommunikationsinfrastruktur
• Modellbasierte Spezifikation und Ausführung automatisierter Tests
• Stufiger Integrationsansatz (über Wagen- zur Fahrzeugintegration)
Die wesentliche Ziele sind:
• Frühzeitiger Test aller Parameter und Funktionen im Labor
• Nachweis der funktionalen E-2-E Sicht
• Korrekte Systemreaktion auf die Stimulation von Fehlverhalten
• Korrektes Laufzeitverhalten
Test-Methodik / Tools / Prozesse mit
max. Fokus auf Automatisierung und Simulation
Integration 3:
Fahren nach
betrieblichen
Anforderungen
Integration 2:
Natives Fahren
und Bremsen
Integration 1:
Inbetriebnahme
der einzelnen
Wagen bis zum
Fahrzeug
• Anforderungen
aus Normen /
Standards
• System Anf.
Page 5 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Motivation – Die Tunnelfahrt als ein typisches
Beispiel eines funktionalen E-2-E Tests
Beispiel Tunnelfahrt
• Unterschiedliche Wetterbedingungen:
• trocken
• Regen
• Schneefall, Eisglätte
• Unterschiedliche Geschwindigkeiten:
• konstant
• beschleunigt
• bremsend
• Variable Zuglängen und –gewichte
Testziele:
Prüfung der Ansteuerung der einzelnen Radsätze
Reaktion des Gesamtsystems bei Fehlerinjektion
Quelle: Google
Page 6 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Es startet mit der Detaillierung von sehr konkreten
End-2-End Testszenarien
Testszenarien entstehen durch die Analyse verschiedenster Quellen
• Quellen wie EBA-Vorschriften, Normen, Systemanforderungen,
Use Cases, Erfahrungswerte, etc.
• Für jedes Szenario werden
• Voraussetzungen bestimmt (Zugzustand, Geschwind.,etc.)
• Beteiligte Funktionen ermittelt
• Einflussfaktoren ermittelt (Bedienhandlungen, System-
zustände, Fehlereinflüsse, etc.)
• Sollreaktionen abgeleitet
Testszenarien
Szenario 1
Szenario 2
Szenario…
Voraussetzungen
Aktionen
Sollreaktion
Je Testszenario
Beteiligte Funktionen
Die Testszenarien werden auf Testbarkeit geprüft und mit konkreten Testdaten ergänzt!
• Verschiedene identifizierte Einflüsse wirken auf die Funktion ein, z.B.
• Geschwindigkeit des Fahrzeugs
• Bremszustand
• auftretende Fehler, etc.
• Der entstehende „Klassifikationsbaum“ bildet alle Faktoren ab,
die für den Test der Funktion wichtig sind
Konkretisierung des Testszenarios mit gleichzeitiger Verlinkung der Testdaten
Hohe Akzeptanz der Fachexperten beim Review dieses Ansatzes!
Page 7 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Modellzentrischer System- & Testengineeringsansatz
im Einklang mit den Prozessvorgaben & Simulation
Die 7 wesentlichen Erfolgsfaktoren für einen automatischen E-2-E Test bei großen Systemen
Modellzentrisches System- & Test Engineering Prozess- & Simulation Framework
End-2-End Testszenarien
Model Based System & Test Engineering
Keyword Driven Model Based
Testing
Keyword Engineering
Integrierte
Werk-
zeugkette
EN 50128 (2011)
ISO IEC 29119
Simulation der Umgebung
Page 8 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Einschub Modellierung – Warum überhaupt?
Vorteile des modellbasierten Ansatzes
„Design- & Entwicklungsdatenbank“ Single Source : Keine redundante Informationen
Konsistenz und Zusammenhänge
durch tooltechnische Verknüpfungen
Anforderungen Funktion/ System/ Schnittst.
Funktion System
Schnittstellen Funktion/System
Formalisierung (SysML)
• Eindeutigkeit durch SysML
• Vorteil der Prüfbarkeit
• Manuell: Visuelle Sprache
• Automatisch: Regeln
• Automatisierung (z.B. Relation Maps)
•Strukturiert und modular: Hierarchie
• Importschnittstellen (z.B. aus RE-Werkzeugen, Tabellen)
Konsis-tentes Modell
Anforderungen
Funktionen
Architektur
Schnittstellen
Beschreibungen
generiert automatisch:
Stakeholder-
bezogene Sichten/
Reports
Systemarchitekturen
Funktionsabläufe
(Wirkwege)
Schnittstellen-
tabellen u.s.w.
Page 9 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Zwingend notwendig : Entwicklung einer
Simulationsumgebung passend zur Testumgebung
Zielsetzung
• HiL Simulation
• Reale HW/SW der realen Steuergeräte an simulierte, fahrzeugweite / wagenspezifische
Bremsmomente, Drehzahlen, Antriebs-/ Pneumatikmomente, …
• Reale zentrale Steuerungs-SW gekoppelt an Stromlaufplansimulation
• Stromlaufplansimulation
• Relaislogik / Verriegelungen / zugweite Sicherheitsschleifen / komplexe Module / etc..
• Ankopplung der DB Netz-Infrastruktur
• Bidirektionale Kopplung zur Strecken-/Balisen-Information, Geschwindigkeit für Radarsignale, etc.
Lösungsansatz
• Zugweite Testumgebung für
die reale SW/HW
• Nachbildung von nicht
vorhandenen bzw.
untergeordneten Funktionen
• Kopplung zur Testauto-
matisierung für das
Gesamtfahrzeug
Mechanik des Fahrzeugs
Dynamik des Fahrzeugs
Stromlaufpläne
DB Netz-Infrastruktur
Simulation der
• physikalisch-techni-
sche Prozesse
• Automatisierungs- /
Zugsteuerungstechnik
• Zugsicherung
des Gesamtfahrzeuges
Fokusthemen
Page 10 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
“Keyword Driven MBT” ist der generische Ansatz für
jede zukünftige Testautomatisierungslösung
Manual Testing
Capture-Replay
Testing
Data-Driven Testing
Keyword-Driven
Testing
Keyword-Driven
Model Based Testing
Test auto-
mation
maturity
levels
Model Based Testing (MBT) generiert aus einem Testmodell die wesentl. Testartefakte
Testdesigner
Require-
ments Test Spezifikation
Test- cases
generiert
generiert Testmodell Testautomatisierung
Test- skripte
“Keyword Driven MBT” ist der logisch nächste Schritt einer Testautomatisierung
Test Automation Layer
E-2-E Test- szenario
Sequenz aus HLKs
High Level Keyword (HLK)
Low Level Keyword (LLK)
Test
Design
Geschl. Systemfunktion
Besteht aus HLKs / LLKs Test
Engineer.
… weitere 60+ Werkzeuge, siehe unter:
https://www.testtoolreview.de/de/testing-tools/tool-liste
Modulare & parametrisierbare
Modelbausteine
Verwendung von sog “function
blocks” aus Systemfunktionen
Einzelne Aktionen
1:1 Bezug zu den
realen Signale /
Simulationen
IEC 29119/5 :
Testfälle können
als Sequenz von
(automatisierbare)
Schlüsselwörter
interpretiert werden
Test
Autom.
Page 11 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Modellzentrisches System- & Test Engineering als
“Single Source” für Design, Entwicklung und Test
Model Based System Eng.
Model Based Test(system) Eng.
Bereitstellung einer zentralen
Keyword Bibliothek (HLK/ LLK)
für die Modellierung im
MBT Werkzeug
Verknüpfung mit den realen/
simulierten Signale
zur Scriptcode-Generierung
Keyword Modell der
Testautomatisierung
Architekturdarstellung von
Fahrzeugaufbau
Testsystemaufbau
Spezifikation
der Komponenten
der physikalischen
Schnittstellen
der Bustopologie
Struktur-/ physik. Modell
Use Case basierte Darstellung von
zugübergreifenden Funktionen
Spezifikation
der beteiligten Aktoren
der Abläufe über Aktivitätsdiagramme
der funktionalen Schnittstellen
der verwendeten Referenzdokumente
Funktionales Modell
Synch. Schnittstelle
Import und Verlinkung
von Referenzen
Anforderungen
Page 12 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Die integrierte Werkzeugkette als Dreh- und
Angelpunkt aller Fragen und Artefakte
Engineering Test Design, Test Spezifikation &
Test Implementierung Test Planung &
Management (Automatische)
Testdurchführung Support Prozesse
Anforderungen
Implementierung Implementierun
Implemen-
tation
Testfallanalyse Testmodellierung
Zentrales Test
Management
Test Management
De
fec
t M
an
ag
em
en
t
• automatisch
• manuell
Labor / HIL
Integration
realer Zug
Ko
nfi
gu
rati
on
Ma
na
ge
me
nt
Test
status?
Test Spezifikation
generated
Test Report
generated
Archivierung und Release Management mittels Konfig. Mgmt.
Testmodell
korrekt?
Anford.
korrekt?
generiert
Defect Tracking
SysML Modell
Keywords
Testona
(CTE)
Testanalyse
korrekt?
Testdaten und –ablaufmodelle als interdisziplinäre Anforderungsbasis
Testautomatisierung durch Keyword-basierten Ansatz / Keyword Engineering
Vollständige Traceability ermöglicht effektive Nachweisführung / max. Dokumentengenerierung
Vereinfachtes Änderungsmanagement und Impact Analysen durch 100% Traceability
Die integrierte Toolkette ermöglicht effizientes und effektives Testen
import
Page 13 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Prozeßframework - DIN EN 50128 und ISO/IEC 29119
ergänzen sich ideal!
Regulatorische Anforderungen für die
Eisenbahn durch die DIN EN 50128 (2011)
• Anforderungsbasierte und strukturbasierte
Testabdeckung
• Nachverfolgbarkeit der Anforderungen zu
Testfällen und Fehlermeldungen
Auswirkungsanalyse / Rückwirkungsfreiheit
• Rechts- und revisionssichere Dokumentation
und Versionierung der Entwicklungs- und
Testdokumente
• Validierung der Testumgebung
• Lebenszyklusmodell
• Klare Definition und Abgrenzung der
Integration und Teststufen , usw.
ISO/IEC/IEEE 29119 Software Testing
• Die 29119 ist der erste weltweit gültige
Software Testing Standard auf der Ebene der
internationalen Standardisierungs-
organisationen ISO / IEC / IEEE.
• Bestandteile des Standards
• 29119-1: Konzepte und Definitionen (09/13)
• 29119-2: Testprozesse (09/13)
• 29119-3: Testdokumentation (09/13)
• 29119-4: Testtechniken (Release in 2015)
• 29119-5: Keyword- Driven Testing
(Release in 2015 / 2016)
Die EN 50128 ist „nahezu gleichzusetzen“ mit den Standards
ISO 26262-6 „Road Vehicles -Functional Safety“ Automobiltechnik
IEC 62304 / FDA (CFR) Part 820 Medizintechnik
etc.
Page 14 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Auszug aus ISO IEC 29119-2 Dynamic Test Process
Phase „Test Design & Implementation“
Page 15 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Start der
automatischen
Testdurch-
führung
Test
Engineering
Part 2
Einlesen & Zuord-
nung der Signale
zu den Keywords
im SysML Modell
Das Keyword Engineering erlaubt den frühest
möglichen Startpunkt einer Testautomatisierung
Implementierung
im Testsystem
Spezifikation und
Implementierung der
Trigger, Signale
(real, Simulation,
etc.) im Testsystem
End-2-End
Testmodellierung
Erstellen des
Testmodells im MBT
Werkzeug mittels der
erstellten Keywords.
Integration &
Verifikation der
Keywords
Vor-Integration und
Einzelabnahme der
Keywords
Test Engineering
Part 1
Anlegen des Key-
words (LLK / HLK)
im SysML Modell
als API (“Hülle”)
Keyword
Request
Trigger durch
• E-2-E Tests
• Fehlerinjektion
• Bedien-
elemente
• Post Proces-
sing Aufgaben
Page 16 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Lessons Learned
Die erfolgreiche Einführung, Etablierung und Pflege einer modellbasierten Toolkette und –methodik
erfordert begleitende Maßnahmen
• Consulting zur Herbeiführung der richtigen Entscheidungen
• Training der Testdesigner und Testautomatisierer
• Bildung einer Community
• Problem und Change Management übergreifend über alle Komponenten der Toolkette
• Implementierung von neuen Features bzw. funktionalen Erweiterungen innerhalb der Toolkette
für die optimale Ergänzung an die vorgegebene Prozesswelt ist essentiell
“A Fool with a Tool is still a Fool!”
• Die Rolle Testmanager muss vorhanden sein, um den Einsatz von MBT planen und beurteilen
können
• Die modellbasierten Testfälle wiederum sind zum allergrößten Teil tatsächlich automatisierbar
MBT und Testautomation synchronisiert einführen!
• Wichtig: Nicht jeder guter Testmodellierer ist gleichzeitig auch ein guter Testautomatisierer (und
umgekehrt!)
Keyword-basierter Testansatz fungiert hier definitiv als “Kleber“ zwischen den beiden Welten
Die Testmodellierung bringt einige Besonderheiten mit sich:
Page 17 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Lessons Learned
Modellierung lohnt sich schon ohne Generierung
• Anforderungen werden konstruktiv hinterfragt
• Probleme und Lücken werden frühzeitig durch die Modellierung aufgedeckt
• Komplexe Sachverhalte verlieren durch die Modellierung ihren „Schrecken“
Durchgeführte Reviews anhand der erstellten Testmodelle zeigen eine hohe Effizienz, aber
auch Akzeptanz der beteiligten Stakeholder!
Der Nutzen eines modellbasierten Vorgehens beginnt früh
Die Effizienz der Toolkette hängt stark davon ab, dass die einzelnen Tools flexibel miteinander zu
integrieren sind
• Der Weg der Informationen durch die Toolkette muss frühzeitig entschieden werden
• APIs und serviceorientierte Architekturen erleichtern die Integration – klarer Vorzug gegenüber
Export/Import
• Anforderungen an die Toolkette müssen ebenso ernsthaft gemanagt werden wie die an die zu
testenden Systeme
Hauptanforderung der Werkzeugkette : Integrativität
Page 18 Februar 2015 H. Goetz, Corporate Technology © Siemens AG 2015 All rights reserved.
Thank you very much!
Helmut Goetz
Senior Key Expert
“Model Based Testing
of Complex Systems”
Siemens AG
Corporate Technology
CT RTC SAD TAM DE
Wladimirstr. 3
91058 Erlangen, Germany
Phone: +49 (0) 9131 7 35563
Mobile: +49 (0) 173 706 4066
E-mail: [email protected]
https://intranet.tedeso.siemens.de