verifikation und validierung im wissenschaftlichen rechnen · 1 zusammenarbeit und kommunikation 2...
Post on 28-Oct-2019
5 Views
Preview:
TRANSCRIPT
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Verifikation und Validierung imwissenschaftlichen Rechnen
Sandra Schroder
Arbeitsbereich Wissenschaftliches RechnenFachbereich Informatik
Fakultat fur Mathematik, Informatik und NaturwissenschaftenUniversitat Hamburg
2012-12-17
1 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Frage Wie sehr konnen wir den Ergebnissen einerkomplexen mathematischen Berechnung ”vertrauen”?
Antwort Wir vertrauen nicht, wir verifizieren und validierendas mathematische Modell.
2 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Frage Wie sehr konnen wir den Ergebnissen einerkomplexen mathematischen Berechnung ”vertrauen”?
Antwort Wir vertrauen nicht, wir verifizieren und validierendas mathematische Modell.
2 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Frage Wie sehr konnen wir den Ergebnissen einerkomplexen mathematischen Berechnung ”vertrauen”?
Antwort Wir vertrauen nicht, wir verifizieren und validierendas mathematische Modell.
2 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Gliederung
1 Einleitung
2 Definitionen
3 Verifikation
4 Validierung
5 Zusammenfassung
3 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
KonzeptuellesModell
Realität
Computer-modell
Verifikation
Validierung
Qualifizierung
Programmieren
Analyse
Computer-Simulation
Figure : Verifikation und Validierung in der Modellierung und Simulation(Nachzeichnung aus [OR] )
4 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Definition bisher
Verifikation
Substantiation that a computerized model represents aconceptual model within specified limits of accuracy.
Validierung
Substantiation that a computerized model within its domain ofapplicability possesses a satisfactory range of accuracy consistentwith the intended application of the model.
5 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Definition nach American Institute of Aeronautics andAstronautics (1998)
Verifikation
The process of determining that a model implementationaccurately represents the developer’s conceptual description of themodel and the solution of the model.
Validierung
The process of determining the degree to which a model is anaccurate representation of the real world from the perspective ofthe intended use of the model.
6 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
KonzeptuellesModell
Realität
Computer-modell
Verifikation
Validierung
Qualifizierung
Programmieren
Analyse
Computer-Simulation
7 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Aufgaben der Verifikation
Untersuchung der numerischen Algorithmen und desComputercodes
Ist der Computercode eine gute Reprasentation desmathematischen Modells?Code-VerifikationExakte Losung des mathematischen Modells vorhanden
Untersuchung der numerischen Losung
Wie genau ist das Simulationsergebnis?Losungs-VerifikationExakte Losung des mathematischen Modells ist nichtvorhanden
8 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Der Ubergang vom Kontinuierlichen zum Diskreten
Warmeleitungsgleichung:
L(T ) =∂T
∂t− α∂
2T
∂x2= 0
Diskretisierung mit finiten Differenzen:
Lh(T ) =T n+1i − T n
i
∆t− α
T ni+1 − 2T n
i + T ni−1
(∆x)2= 0
=⇒ Wie bestimmen wir die Abweichung der Gleichungen?
9 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Abbruchfehler und Diskretisierungsfehler
Beziehung zwischen mathematischem Modell und diskreterGleichung
Lh(u)︸ ︷︷ ︸diskrete Gleichung
= L(u)︸︷︷︸mathematisches Modell
+ TEh(u)︸ ︷︷ ︸Abbruchfehler
Abweichung zwischen exakter Losung der diskreten Gleichungvon der exakten Losung des mathematischen Modells
εh = uh − u
10 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Analyse des Abbruchfehlers
Taylorreihenentwicklung der abhangigen Variable
Taylorreihe von ex
ex = 1 + x +x2
2!+
x3
3!+ . . .
Approximation von ex durch die ersten drei Summanden ergibt
ex = 1 + x +x2
2!+ E (x)
Je mehr Summanden, umso genauer die Approximation
11 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Zusammenhang Abbruchfehler und Diskretisierungsfehler
L(εh) = −TEh(uh)
=⇒ Theoretische Ordnung der Genauigkeit ist kleinster Exponenteines diskreten Parameters im Abbruchfehler TEh(uh)
12 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Beispiel: Theoretische Ordnung der diskretenWarmeleitungsgleichung
∂εh∂t− α∂
2εh∂x2︸ ︷︷ ︸
L(εh)
= −A ·∆t − (−B) · (∆x)2 + O(∆t2,∆x4)︸ ︷︷ ︸−TEh(Th)
13 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Grad der Genauigkeit - Order of Accuracy
Strenges Kriterium der Code-Verifikation
Aufdecken von Implementierungsfehlern
Theoretische Ordnung der Genauigkeit
Formal Order Of Accuracy
Empirische Ordnung der Genauigkeit
Observed Order Of Accuracy
14 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Empirische Ordnung der Genauigkeit
h2 = ½ h
1h
1 h3 = ¼ h
1
Figure : Bestimmung der empirischen Ordnung der Genauigkeit
15 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Anwendung: Aufdecken von Fehlern in derImplementierung
Theoretische Konvergenzbestimmen
Exakte Lösung desMathematischen
Modells bestimmen
Numerische LösungAuf unterschiedlichen
Gittern bestimmen
Bestimmen der Empirischen Konvergenz
Übereinstimmung?
Ergebnissedokumentieren
Fehler imCode?
Debugging
JANEIN
NEIN
JA
Figure :
16 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Verifikation der numerischen Losung
Bisher den Diskretisierungsfehler kennengelernt
Weitere numerische Fehler:
RundungsfehlerIterativer FehlerStatistischer Fehler
Voraussetzung fur die Analyse:
Wir haben keine Programmierfehler in unserem Code
17 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Rundungsfehler
Eingeschrankte Genauigkeit der Computer:
3.0 · (1.0/3.0) = 0.9999999
Genauigkeit von Fliesskommazahlen hangt ab von
der Programmiersprachedem Compilerder Hardware
18 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Anwendungsabhangige Fehler
Statistischer Fehler
Modellierung stochastischer Prozesse
Iterativer Fehler
Losen von GleichungssystemenSchrittweise Approximation der LosungBeispiel: Naherungsweises Bestimmen von Nullstellen
19 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Abschatzung des Diskretisierungsfehlers
Konnte bis jetzt einfach bestimmt werden
Schwierig wird es, wenn keine Referenzlosung vorhanden ist
Abschatzung der exakten Losung des mathematischen Modells
Richardson’s Extrapolation
20 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Zwischenfazit
”solving the equations right”
Code Verifikation
Funktionieren die Algorithmen so wie man sich es vorstellt?Grad der Genauigkeit des Algorithmus
Verifikation der Losung
Ist die Simulation genau genug fur einen bestimmten Zweck?Analytische Losung nicht fur den Vergleich der ErgebnissevorhandenFehler muss abgeschatzt werden
21 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
KonzeptuellesModell
Realität
Computer-modell
Verifikation
Validierung
Qualifizierung
Programmieren
Analyse
Computer-Simulation
22 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Die drei Aspekte der Validierung
”solving the right equations”
Vergleich der mit dem Computermodell berechnetenErgebnisse mit dem Experiment
Vorhersage-Fahigkeit des Modells uberprufen
Vergleich der tatsachlichen Genauigkeit mit denAnforderungen an Genauigkeit
23 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Computermodell
Experiment
-
Diff
eren
z
Angemessene Differenz?
Vorhersage
Kalibrierung
Kalibrierung
NEIN
NEIN
JA
Figure : Validierung im Uberblick (Nachzeichnung aus [OR])24 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Computermodell
Experiment
-
Diff
eren
z
Angemessene Differenz?
Vorhersage
Kalibrierung
Kalibrierung
NEIN
NEIN
JA?
Figure : Validierung im Uberblick (Nachzeichnung aus [OR])25 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Richtlinien zur Entwicklung von Validationsexperimenten
1 Zusammenarbeit und Kommunikation
2 Wiedergabe der relevanten Physik, mit allen Randbedingungen
3 Synergismus zwischen Experiment und Simulation
4 Unabhangigkeit zwischen berechneten und experimentellenErgebnissen
5 Erstellen einer Validationshierarchie
6 Analyse von Unsicherheiten im Experiment
26 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Richtlinie 5: Validierung in kleinen Happchen
Validierung des Gesamtsystems ist zu komplex
Unterteilung des Systems in Teilmodule
Validierungshierarchie
Besitzt grundlegend vier Ebenen
GesamtsystemSubsystemBenchmarkUnit-Probleme
27 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Computermodell
Experiment
-
Diff
eren
z
Angemessene Differenz?
Vorhersage
Kalibrierung
Kalibrierung
NEIN
NEIN
JA
Figure : Validierung im Uberblick (Nachzeichnung aus [OR])28 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Validationsmetrik
Quantitativer Vergleich
Wahl zwischen alternativen Modellen
Eigenschaften einer Metrik
d(x , y) ≥ 0 (1)
d(x , y) = d(y , x) (2)
d(x , y) + d(y , z) ≥ d(x , z) (3)
d(x , y) = 0, GDW. x = y (4)
29 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Was macht den Vergleich so schwierig?
Messunsicherheiten im Experiment
Ergebnis liegt in einem bestimmten Intervall
Kein expliziter Wert, wie zum Beispiel x = 5
Bekannte Ansatze (entnommen aus [LCAH11])
Classical Hypothesis TestingFrequentist’s Metric
30 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Vergleich der Qualitat der Metriken
Kunstliche Erzeugung von Messungen
y e(x ,Θ) = sin(x − 0.5πΘ) + cos(Θ + 0.25π) + 0.2x + εe
mit Θ = 1.5, 0 ≤ x ≤ 8 und εe ∼ N(0, σ2ε )
Zwei Modelle fur diese Beobachtungen:
1 Θ = 1.52 Θ = 1.2
31 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Figure : Ergebnisse des Experiments vs. Vorhersage des Modells[LCAH11]
32 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Figure : Ergebnis der Metrik Classical Hypothesis Testing [LCAH11]
33 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Figure : Ergebnis der Metrik Frequentist’s Metric [LCAH11]
34 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Zusammenfassung
Einblick in die Aufgaben der Verifikation und Validierung
Verifikation beschaftigt sich mit
Korrektheit der AlgorithmenKorrektheit des CodesAbschatzung numerischer Fehler
Validierung beschaftigt sich mit
Dem Vergleich von Simulation und ExperimentAnhand ValidationsexperimentenDer Evaluation der Vorhersage-Fahigkeit des Modells
35 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Fazit
Verifikation und Validierung ein sehr umfassendes Thema
Schwer zu erarbeiten anhand des Buches, obwohl sehrinformativ
Vielleicht in weitere Seminarthemen aufteilen?
Genaueres uber ValidationsmetrikenFehlerabschatzungInsbesondere Bestimmung des Diskretisierungsfehlers, wennReferenzlosung nicht vorhanden
36 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Vielen Dank fur die Aufmerksamkeit!
37 / 38
Einleitung Definitionen Verifikation Validierung Zusammenfassung
Literatur
Yu Liu, Wei Chen, Paul Arendt, and Hong-Zhong Huang.Toward a better understanding of model validation metrics.Journal of Mechanical Design, 133(7):071005, 2011.
William L. Oberkampf and Christopher J. Roy.Verification and Validation in Scientific Computing.Cambridge University Press.
38 / 38
top related