1

Data Mining zur Prozessoptimierung

VDI-Fachtagung Prfprozessmanagement im Fahrzeug- und Maschinenbau 2012 Leonberg, 24.10.2012

Dr. Michael HeizmannDipl.-Ing. Christian KhnertDr. Thomas Bernard

2 Fraunhofer IOSB 10/2012

Steigerung der Prozess-Effizienz und Produktqualitt mit Data-Mining-Methoden

Datengrab oder Goldgrube

Data Mining:aus einem Datenberg

etwas Wertvolles extrahieren

2

3 Fraunhofer IOSB 10/2012

Motivation: Wozu Data Mining im Produktionsumfeld?

Lsungskonzept:

Merkmalsgewinnung

Merkmalsselektion

Erstellung eines datengetriebenen Prozessmodells

Anwendungsbeispiel: Optimierung der Anfahrphase eines Batchprozesses

Weitere Anwendungsmglichkeiten

berblick

4 Fraunhofer IOSB 10/2012

Zunahme des Automatisierungs-grads und der Komplexitt von Produktionsprozessen

Dadurch fr den Anlagenfahrer nur noch schwer berschaubare Prozesse

Optimierung auch bei instationrenProzessphasen erforderlich

Bisher meist Prozessberwachung und -optimierung auf Grundlage physikalischerModelle und Expertenwissen:

Nicht immer mit hinreichender Gte mglich (z.B. bei nichtlinearen Prozessen oder Materialeigenschaften, zeitvariantem Systemverhalten)

Zeitaufwendig und kostenintensiv

Motivation: Wozu Data Mining im Produktionsumfeld?

3

5 Fraunhofer IOSB 10/2012

Zunahme der Verfgbarkeit von Produkt- und Prozessdaten (aufgrund des zunehmenden Automatisierungsgrades)

Sensor-, Qualitts- und Anlagendaten mssten eigentlich die interessierenden Informationen ber den Prozess enthalten

Sichtung und Interpretation der Daten durch den Menschen allerdings nur bei einfachen Zusammenhngen zuverlssig mglich

Erfahrung am IOSB: Gesammelte Daten werden im Produktionsumfeld nicht systematisch ausgewertet und zur Prozess- und Produktoptimierung genutzt momentan eher Datengrab statt Goldgrube

Motivation: Wozu Data Mining im Produktionsumfeld?

6 Fraunhofer IOSB 10/2012

... kann untersttzen bei:

Prozessfhrung und -optimierung

Prozessberwachung, Condition Monitoring

Qualittsberwachung und -management

Analyse von Key Performance Indices (KPIs)

Versuchsplanung

Produktdesign

Produktionsplanung und Fertigungssteuerung

Stammdatenmanagement

Instandhaltungsmanagement

Variantenmanagement

....

Data Mining im Produktionsumfeld

4

7 Fraunhofer IOSB 10/2012

Zusammenhang zwischen Prozessgren (z.B. Stell-, Regel-, Messgren, Materialparameter, Konfigurationen) und Produkteigenschaften bzw. Prozessgte ist in den verfgbaren Daten enthalten

Aufgabe des Data Mining: Einflsse von Prozessparametern auf Produkteigenschaften erkennen und modellieren

Ziel (Bsp. verfahrenstechnische Batch-Prozesse): Optimierung in Anfahrphase und bei Lastwechsel, Unterdrckung von Streinflssen

Produkt-Eigenschaften Qualitt Kosten Ressourcenverbrauch ...

Produktionsprozess

Prozess-Parameter Maschinenparameter Regelungsparameter Rezepte ...

Zusammenhang?

Grundgedanken

8 Fraunhofer IOSB 10/2012

State of the art:

Umfassende Sensorik

Anlagenberwachung

Regelungstechnik

Analytische Modelle

Data Mining dagegen bisher nur schwach verbreitet

Fraunhofer-Projekt ProDaMi Data Mining im Produktionsumfeld:

Methoden: Datenvorverarbeitung, Merkmalsgewinnung, Klassifikation, Visualisierung

Flexible Software-Module zu Sensordatengewinnung und -vorverarbeitung, Merkmalsgewinnung, Klassifikation, Modellgenerierung, Condition Monitoring

Einsatzszenarien: Stckgutprozesse, verfahrenstechnische Prozesse, Anlagen fr unterschiedliche Aufgaben (z.B. Windenergieanlagen)

Data Mining in der Automatisierungstechnik

ProProDaMiDaMiProProDaMiDaMiwww.prodami.de

5

9 Fraunhofer IOSB 10/2012

Fayyad 1996: Knowledge Discovery in Databases

Integration von Expertenwissen

Integration von physikalischem Wissen

Workflow im Data Mining

10 Fraunhofer IOSB 10/2012

Grundlage: archivierte Prozessgren (Zeitreihen) und Gteindizes fr den Prozess

Gteindizes: Bewertungsmae fr Produktqualitt und -quantitt, Ausschussrate, Material- und Rohstoffverbrauch, Kosten etc.

Vorverarbeitung der Prozessdaten und Merkmalserzeugung

Selektion relevanter (informationstragender) Merkmale: Reduktion der Datenmenge durch Beschrnkung auf signifikante Details

Generierung eines Prozessmodells: Zusammenhang zwischen relevanten Merkmalen und Gteindizes

Verwendung des Modells zur Optimierung der relevanten Merkmale und damit der Prozessgren

Optimierung offline und online

Data-Mining-Ansatz zur Prozessoptimierung

Vorverarbeitung undMerkmalsextraktionVorverarbeitung undMerkmalsextraktion

MerkmalsrankingMerkmalsranking

Datengetriebenes Modell

Datengetriebenes Modell

Optimierung der Gteindizes

Optimierung der Gteindizes

Prozessdaten, Zeitreihen

Merkmalspool

relevante Merkmale

Gteindizes

optimale Merkmalswerte

6

11 Fraunhofer IOSB 10/2012

Einlernphase: Generierung datengetriebener Modelle aus historischen Prozessdaten

Mehrere Modelle fr instationre Prozesse (z.B. An-/Abfahren, Dauerbetrieb, Phasen in einem Batchprozess, Zeitpunkte im Prozessablauf)

Nutzung dieser offline generierten Modelle zur Online-Prdiktion der Prozessgte:

Auswahl des passenden Modells (je nach Prozessphase)

Verarbeitung der Prozessdaten zu Merkmalen, Merkmalsreduktion

Frhzeitige Erkennung von Prozessvernderungen oder einer drohenden Prozessverschlechterung: Online-Monitoring

Lsungskonzept

Vorverarbeitung, Merkmalsextraktion, Selektion

Vorverarbeitung, Merkmalsextraktion, Selektion

aktuelle Prozessgren

ModellselektionModellselektion

Mo

del

l 1M

od

ell 1

Mo

del

l 2M

od

ell 2

Mo

del

l nM

od

ell n

relevante Merkmale

Prognose der Gteindizes

12 Fraunhofer IOSB 10/2012

Mer

kmal

sext

rakt

ion

Mer

kmal

sext

rakt

ion

Ziel: Gewinnung mglichst niederdimensionaler informationstragender Merkmale

Zeitreihen: hochdimensional, daher schon aufgrund der Datenmenge nicht direkt zur Prozessoptimierung verwendbar

Auswahl der Merkmale so, dass Information ber Prozess erhalten bleibt

Verwendung von Vorwissen: Sicherstellung, dass relevante Information in den Merkmalen enthalten ist

Im Zweifelsfall eher Merkmal zu viel verwenden, Elimination redundanter Information erfolgt spter (bei der Merkmalsselektion und Modellbildung)

Merkmalsgewinnung (I)

VorverarbeitungVorverarbeitung

Prozessdaten

Erzeugung zustzlicher Daten

Erzeugung zustzlicher Daten

SegmentierungSegmentierung

Merkmals-berechnungMerkmals-

berechnung

Ausreier-unterdrckung

Ausreier-unterdrckung

Merkmale

7

13 Fraunhofer IOSB 10/2012M

erkm

alse

xtra

ktio

nM

erkm

alse

xtra

ktio

n

Vorverarbeitung: Entfernen von offensichtlich fehlerhaften Daten und Ausreiern, Resampling

Erzeugung zustzlicher Daten: Ableitungen, Kombinationen, Transformationen, Bercksichtigung bekannter physikalischer Zusammenhnge

Segmentierung: zeitliche Gliederung, z.B. ausgehend von lokalen Extremwerten

Merkmalsberechnung: z.B. Extremwerte, Ableitungen, Wertekombinationen, Eigenschaften im Frequenzbereich/Skalenraum usw.

Ausreierunterdrckung: Elimination unplausiblerWerte

Merkmalsgewinnung (II)

VorverarbeitungVorverarbeitung

Prozessdaten

Erzeugung zustzlicher Daten

Erzeugung zustzlicher Daten

SegmentierungSegmentierung

Merkmals-berechnungMerkmals-

berechnung

Ausreier-unterdrckung

Ausreier-unterdrckung

Merkmale

14 Fraunhofer IOSB 10/2012

Nach Merkmalsgewinnung: mehrere Standard-Merkmale fr die einzelnen Prozessgren

Umfangreicher Merkmalsdatensatz mit redundanter Information

Daher Vorselektion der Merkmale vor der Modellerzeugung

Abschtzung der Relevanz der Merkmale durch informationstheoretische Mae: Kriterien zur Beurteilung von Wahrscheinlichkeitsverteilungen, hier verwendet zur Entscheidung, ob ein Merkmal zur Modellbildung verwendet werden soll

Bewertung der Relevanz eines Merkmals und der Redundanz zwischen Merkmalen: Transinformation zwischen Gren x1 und x2:

D.h. je mehr die Gren x1 und x2 miteinander zusammenhngen, desto grer ist I(x1;x2)

Merkmalsselektion (I)

1 2

1 2 1 2 21 2

,; : , log

p x xI x x p x x

p x p x

8

15 Fraunhofer IOSB 10/2012

Daraus Relevanz des Merkmals mi bzgl. des Gteindex gj:

Redundanz des Merkmals mi:

Selektion der relevanten Merkmale durch Definition von Grenzen fr minimale Relevanz und maximale Redundanz, ggf. Division oder Subtraktion von D und M

Merkmalsselektion (II)

; : ; maxi j i jD m g I m g

: max ; fr alle mini i jR m I m m i j

16 Fraunhofer IOSB 10/2012

Modellierung des Prozessverhaltens mittels Verfahren des maschinellen Lernens

Verfahren zur Modellierung linearen und nichtlinearen Prozessverhaltens

Beispiele fr lineare Verfahren: Diskriminanz- oder Varianz-Analyse (zur Findung und Bewertung passender linearer Merkmalskombinationen)

Reale Industrieprozesse: hufig nichtlinear (z.B. aufgrund Strahlung, Materialeigenschaften) oder zeitvariant (z.B. aufgrund Drift, bei Batchprozessen)

Hier: Anwendung von Support Vector Machines (SVMs) zur Modellbildung und Merkmalsselektion: Modellierung auch nichtlinearer Prozesse mittels Kernelfunktionen

Weitere Merkmalsreduktion whrend der Modellbildung: Herausgreifen einer Untermenge aus den verfgbaren Merkmalen, die den Prozess mglichst vollstndig, aber kompakt beschreibt

Merkmalsreduktion erfolgt bei SVMs implizit bei der Modellerstellung

Erstellung des Prozessmodells (I)

9

17 Fraunhofer IOSB 10/2012

Hier: Modellerstellung mittels Support Vector Machines zur Regression (SVR)

Ablauf:

Initialisierung:

Kernelfunktion: Gau-Kernel

Hyperparameter: eher unkritisch

Merkmalsranking und -selektion mittels Leave-one-out-Fehler und rckwrtsgerichtetem Greedy-Algorithmus

Erstellung des Prozessmodells (II)

InitialisierungInitialisierung

MerkmaleMerkmale

Prozessdaten

KernenfunktionKernenfunktion

HyperparameterHyperparameter

Mo

del

lers

tellu

ng

Mo

del

lers

tellu

ng

Optimierung Modellparameter

Optimierung Modellparameter

MerkmalsrankingMerkmalsranking

MerkmalsselektionMerkmalsselektion

SVR-Modell und Merkmale

18 Fraunhofer IOSB 10/2012

Optimierung der Modellparameter der SVR mit vollstndigem Merkmalssatz

Auslassen jeweils eines Merkmals und Bestimmung der Modellparameter der SVR

Bestimmung des Anteils dieses Merkmals am Ergebnis der Optimierung

Merkmalsranking: Sortierung der Merkmale entsprechend ihrer Signifikanz

Auswahl des optimalen Merkmalsraums

Iterative Optimierung (bis Modellparameter und Merkmalsraum sich nicht mehr signifikant ndern)

Zwar keine Garantie fr Finden des globalen Optimums, aber bewhrte Vorgehensweise mit praxistauglichen Ergebnissen

Erstellung des Prozessmodells (III)

InitialisierungInitialisierung

MerkmaleMerkmale

Prozessdaten

KernenfunktionKernenfunktion

HyperparameterHyperparameter

Mo

del

lers

tellu

ng

Mo

del

lers

tellu

ng

Optimierung Modellparameter

Optimierung Modellparameter

MerkmalsrankingMerkmalsranking

MerkmalsselektionMerkmalsselektion

SVR-Modell und Merkmale

10

19 Fraunhofer IOSB 10/2012

Fertigung von Quarzglasstben bzw. -rhren

Vorprodukt fr Lichtwellenleiter

Hohe Qualittsanforderungen

Physikalisch motivierte Modelle:

Modellbildung erschwert durch empirisch zu ermittelnde stark nichtlineare und variierende Materialeigenschaften, Zeitvarianz (z.B. durch Ablagerungen im Ofen)

Modelle liegen vor, bieten aber keine ausreichende Genauigkeit, v.a. nicht in transienten Zustnden (Anfahren, Schweistelle, Abfahren)

Datenbasierte Prozessoptimierung

Anwendungsbeispiel: Glasziehprozess

Ofen

Glas

20 Fraunhofer IOSB 10/2012

Problem in Anfahrphase: Strungen durch Schweistelle zwischen Gutmaterial und Ansatzstck, variierende Eigenschaften der Schweistelle fr jede Produktion

Ziel: Optimale Temperaturfhrung

Einfluss der Schweistelle minimieren

Schnelles Erreichen des Durchmesser-Sollwertes

Glasziehprozess: Optimierung der Anfahrphase

Ofen

Glas

Sollwert

Schweistellegezogene Masse

11

21 Fraunhofer IOSB 10/2012

Finden relevanter Merkmale in Zeitreihen durch automatisiertes Merkmalsranking

Beispiel:

Glasziehprozess: Merkmalsgewinnung und -ranking

22 Fraunhofer IOSB 10/2012

Relevante Merkmale: Zeitliche Ableitung und Fluktuation der Rohrtemperatur in einem bestimmten Zeitintervall whrend der Anfahrphase (Austritt Schweistelle aus dem Ofen)

Glasziehprozess: Optimale Temperaturfhrung

OptimumGte-kriterium

Sollwert schneller erreicht

12

23 Fraunhofer IOSB 10/2012

Ziel: Sofortige Erkennung von Strungen bzw. Anomalien

Operator sieht meist nur aktuelle Zeitverlufe

Lernen von Normalzustnden bzw. Prozessphasen aus Messdaten

Monitoring von kontinuierlichen Prozessen (I)

24 Fraunhofer IOSB 10/2012

Schnelle Erkennung von Strungen als Abweichungen vom Normalzustand

Industrielle Anwendungen u.a. in der verfahrenstechnischen Industrie

Monitoring von kontinuierlichen Prozessen (II)

Prozessdatenverlauf

Quantisierungsfehlerverlauf

Darstellung des Prozesszustands als Self-Organizing Map

Ausfall einer Komponente

13

25 Fraunhofer IOSB 10/2012

Ziel: Sichere Detektion toxischer Stoffe in Trinkwassernetzen bei geringer Falschalarmrate

Anlernen des Normalzustands aus Messdaten Schnelle Erkennung von Anomalien

Eingesetzt im Sensorsystem AquaBioTox

Monitoring der Qualitt von Trinkwasser

26 Fraunhofer IOSB 10/2012

Ziel: Frhzeitige Erkennung von Getriebeschden (sonst droht Totalausfall)

Anlernen des Normalzustands aus Messdaten der Anlage

Monitoring von Windkraftanlagen

14

27 Fraunhofer IOSB 10/2012

Beispiel: Automobil-Produktion

Kennwerte-Diagnose und -Prognose:

Findung der Ursachen fr eine Vernderung der Gteindizes

Vorhersage eines mglichen Kennwerteeinbruchs bei Variation von Eingangsgren

Fehlerkorrelation:

Ermittlung von Fehlerkombinationen und zeitlichen Relationen in komplexen Montageprozessen

Kennwerte-/Fehlerkorrelationen in Fertigungsprozessen

28 Fraunhofer IOSB 10/2012

Erstellung und Anwendung von datengetriebenen Modellen fr die Prozessoptimierung und -berwachung

Nutzung von Prozessdaten, die oft bereits fr die berwachung und Dokumentation erhoben werden

Hohes Potenzial besonders bei Prozessen, deren physikalische Modellierung schwierig ist

Sorgfalt erforderlich bei

Datengewinnung

Merkmalsextraktion

Modellerstellung

Aktuelle Forschung: Erlernen kausaler Zusammenhnge aus Messdaten

Zusammenfassung

Vielen Dank fr Ihr Interesse!

15

29 Fraunhofer IOSB 10/2012

Fertigungsstammdaten beschreiben Eigenschaften und Abhngigkeiten von Maschinen, Materialien, Personal, Werkzeugen, Produkten, Prozessen

Sind in der Praxis oftmals fehlerhaft Planung und Optimierung erschwert

Ziel: Generierung und Aktualisierung von Fertigungsstammdaten aus Produktionsdaten

Generierung und Aktualisierung von Fertigungsstammdaten

Beispiel: Platinenbestckung

Paper_VDI_Pruefprozessmanagement_DataMining.pdf

Data Mining zur Prozessoptimierung Dr.-Ing. M. Heizmann, Dipl.-Ing. C. Khnert, Dr.-Ing. T. Bernard, Fraunhofer-Institut fr Optronik, Systemtechnik und Bildauswertung IOSB, Fraunhoferstrae 1, 76131 Karlsruhe

Kurzfassung Zur berwachung und Optimierung von Prozessen in der Verfahrens- und Fertigungsindust-

rie werden Sensordaten erfasst, die seit langem zur Anlagenberwachung und fr Rege-

lungsaufgaben verwendet werden. Die Optimierung von Produktionsprozessen erfordert je-

doch darber hinaus Prozess- und Anlagenwissen, das bislang mittels physikalisch motivier-

ter Prozessmodelle generiert wird oder als Expertenwissen des Anlagenpersonals vorliegt.

Datengetriebene Prozessmodelle stellen eine Ergnzung der blichen Prozessmodellierung

dar. Dabei wird der Zusammenhang zwischen Sensordaten und Gtemaen, die gewnsch-

te Anlagen- und Prozesszustnde sowie Produktmerkmale beschreiben, nachgebildet. Sol-

che Modelle lassen sich insbesondere auch dann erstellen, wenn die Prozesse komplex,

nichtlinear oder zeitvariant sind. Dieser Beitrag zeigt, wie datengetriebene Modelle aus Pro-

zessdaten und Gtekriterien erstellt werden knnen und stellt Anwendungen zur Prozess-

optimierung in der Verfahrenstechnik vor.

Abstract In order to supervise and to optimize processes in process and manufacturing industry, sen-

sor data has been acquired and used for plant monitoring and feedback control for a long

time. However, optimizing production processes requires additional knowledge about the

processes and plants, which is up to now generated by means of physically motivated pro-

cess models or exists as expert knowledge of the operating staff. Data driven process model-

ing constitutes an addition to the usual process modeling. Within these models, the connec-

tion between sensor data and quality criteria describing desired plant and process states as

well as product features is reproduced. Such models can especially be generated even if the

processes are complex, non-linear or time-variant. This contribution shows how data driven

models can be generated from process data and quality criteria and presents applications for

process optimization in process engineering.

Schlagworte: Datenanalyse, Merkmalsgewinnung, Klassifikation, Datengetriebene Optimie-rung von industriellen Prozessen

Keywords: Data analysis, feature extraction, classification, data driven optimization of indus-trial processes

1. Einfhrung

Moderne Produktionsprozesse z. B. in den Branchen Chemie, Stahl oder Glas zeichnen sich

durch einen hohen Automatisierungsgrad und zunehmende Komplexitt aus. Die Optimie-

rung insbesondere von instationren Prozessphasen wie z. B. beim An- oder Abfahren von

Batchprozessen, bei Last- oder Produktwechseln erfolgt bisher im Wesentlichen basierend

auf physikalischen Prozessmodellen und dem Expertenwissen der Anlageneinrichter und

-fahrer. Beide Anstze sind jedoch zunehmend problematisch, da zum einen die Erstellung

von physikalischen Prozessmodellen zeit- und damit kostenaufwendig ist und bei vielen Pro-

zessen aufgrund stark nichtlinearer Teilprozesse bzw. Materialeigenschaften oder zeitvarian-

tem Systemverhalten nur eine Modellbildung mit begrenzter Gte oder Gltigkeit mglich ist.

Zum anderen knnen Anlagenfahrer die komplexen Prozesse immer weniger berschauen,

so dass neue Anstze zur Optimierung komplexer Produktionsprozesse notwendig sind. In

modernen Anlagen sind aufgrund des zunehmenden Automatisierungsgrads die relevanten

Anlagen-, Prozess- und Qualittsdaten in steigendem Mae verfgbar. Obwohl in diesen

Daten eigentlich die interessierenden Informationen ber den Prozess enthalten sein sollten,

sind die Sichtung und die Interpretation der Daten durch die Anlagenfahrer nur bei sehr ein-

fachen Zusammenhngen und Aufflligkeiten hinreichend zuverlssig mglich. Nach Erfah-

rung des Fraunhofer IOSB werden bei vielen Prozessen die gesammelten Daten berhaupt

nicht systematisch ausgewertet und zur Prozess- und Produktoptimierung genutzt.

Hier bieten sich Data-Mining-Methoden an, mittels derer archivierte und aktuelle Prozessda-

ten systematisch ausgewertet und genutzt werden knnen [Mik11], [Ott04]. Der Grundge-

danke dabei ist, dass zwischen den Prozessgren (z. B. relevante Stell-, Regel- und

Messgren, Materialparameter, Anlagenkonfiguration; diese stellen die Eingangsgren

eines Prozessmodells dar) und den Produkteigenschaften bzw. der Gte des Prozesses

(den Ausgangsgren) ein Zusammenhang existiert, den es aus den verfgbaren Daten

ber den Prozess und das Produkt zu identifizieren und zu modellieren gilt (siehe Bild 1).

Bild 1: Die Suche nach Zusammenhngen zwischen Prozess-Parametern und Produkt-

Eigenschaften wird mit Data-Mining-Methoden untersttzt.

Data-Mining-Methoden besitzen in der Automatisierungstechnik allerdings noch eine relativ

kurze Geschichte. Sie werden im Produktionsumfeld noch recht zurckhaltend eingesetzt,

obwohl sie ein groes Potenzial hinsichtlich Prozess- und Produktoptimierung besitzen und

die klassischen Methoden der Prozessfhrung auf der Grundlage physikalischer Modelle

ergnzen knnen. In letzter Zeit wurde in Forschungsprojekten gezeigt, wie Data-Mining-

Methoden sinnvoll zur Prozessberwachung und -fhrung eingesetzt werden knnen, etwa

im Projekt ProDaMi [Kue09a], [Pro12].

Ein Ansatz zur datengetriebenen Prozessoptimierung besteht darin, aus archivierten Zeitrei-

hen der Prozessgren automatisiert relevante, informationstragende Merkmale zu extrahie-

ren [Mik09] und diese in Relation zu einem oder mehreren Gteindizes des Prozesses zu

stellen (siehe Bild 2, siehe auch [Fay96]). Bei den Gteindizes kann es sich um Bewer-

tungsmae fr die produzierte Menge, den generierten Ausschuss, die Produktqualitt, Ma-

terial- und Rohstoffverbrauch oder Produktionskosten handeln. Dadurch werden datenge-

triebene Modelle generiert, die den Zusammenhang zwischen einer mglichst geringen An-

zahl an aussagekrftigen Merkmalen, die aus den Prozessgren zu bestimmen sind, und

den zuvor definierten Gteindizes mglichst genau beschreiben. Mittels der relevanten

Merkmale und der erstellten Modelle lassen sich dann die optimalen Merkmalswerte der

Prozessgren und somit optimale Prozessfhrungsmuster extrahieren. Solche Analysen

lassen sich offline, d. h. auf Grundlage von historischen Anlagendaten, verwenden, um die

grundlegende Auslegung eines Prozesses zu optimieren, siehe z. B. [Kue09b]. Im vorliegen-

den Beitrag wird ein Ansatz vorgestellt, der es darber hinaus ermglicht, online whrend

einer Produktion bereits frhzeitig zu erkennen, ob der Prozess eine hohe Gte erzielen

wird, und ggf. frhzeitig gegenzusteuern.

Bild 2: Prinzipielle Vorgehensweise zur Generierung von Gteindizes aus den Prozessda-

ten.

2. Lsungskonzept

Das Lsungskonzept besteht darin, dass zunchst in einer Einlernphase aus historischen

Prozessdaten datengetriebene Modelle generiert werden. Da Prozesse oft instationr sind

und daher nicht durch ein einziges Modell vollstndig beschrieben werden knnen, werden

entsprechend dem Prozessverlauf (charakterisiert z. B. durch gesteuerte Phasen in einem

Batchprozess oder bestimmte Zeitpunkte im Prozessablauf) mehrere Modelle erzeugt. Mit

zunehmender Anzahl von Produktionen stehen aufgrund der wachsenden Anzahl an Mess-

daten immer genauere Modelle zur Prognose zur Verfgung.

Die offline generierten Modelle werden bei laufender Produktion herangezogen (siehe Bild 3)

und online zur Prdiktion der Prozessgte verwendet, indem nach einer Vorverarbeitung und

Merkmalsextraktion der aktuellen Prozessdaten das Modell der jeweiligen Prozessphase

ausgewhlt und fr die Prognose aktiviert wird. Eine drohende Verschlechterung der Pro-

zessgte lsst sich somit frhzeitig aus den Prozessdaten (und nicht erst aus den Produkt-

daten) erkennen, so dass zum frhestmglichen Zeitpunkt gegengesteuert werden kann. Die

hier vorgestellte Vorgehensweise stellt eine Erweiterung des in [Kue09b] vorgestellten Ver-

fahrens zur Offline-Analyse von instationren Prozessphasen hin zum Online-Monitoring und

zur Prdiktion der Prozessgte dar.

Bild 3: Auswahl des jeweiligen Modells zur Prognose der Prozessgte.

3. Merkmalsgewinnung

Aus den Prozessdaten mssen mglichst niederdimensionale informationstragende Merkma-

le extrahiert und spter mittels eines Rankings selektiert werden. Dieser Schritt ist notwen-

dig, da sich die Zeitreihen der Datenverlufe in einem zu hochdimensionalen Raum befin-

den, so dass anhand dieser Daten aufgrund der bloen Datenmenge keine sinnvollen Er-

gebnisse generiert werden knnen [Las04]. Die Auswahl der zu bercksichtigenden Merkma-

le muss allerdings besonders sorgfltig erfolgen, da eine schlechte Auswahl der Merkmale

dazu fhren kann, dass das daraus generierte Modell die jeweilige Prozessphase nur unzu-

reichend beschreibt. Daher ist es unerlsslich, Vorwissen in die Merkmalsauswahl mit ein-

flieen zu lassen, um sicherzustellen, dass alle relevanten Informationen ber den Prozess

in den Merkmalen enthalten sind. Im Zweifelsfall sollte zunchst eher ein Merkmal zu viel

verwendet werden; die Elimination redundanter Information ist Aufgabe der nachfolgenden

Schritte der Merkmalsselektion und Modellbildung.

Nach einer ersten Vorverarbeitung der Daten (Entfernen von offensichtlich fehlerhaften

Messdaten und Ausreien sowie Resampling, siehe z. B. [Pyl99]) erfolgt der in Bild 4 darge-

stellte prinzipielle Vorgang zur Extraktion von Merkmalen aus Prozessdaten. Da oftmals In-

formationen ber den Prozess nicht direkt in den originalen Messwertverlufen erkennbar

sind, werden zustzliche Daten erzeugt (beispielsweise durch Ableitungen, Kombinationen

von Messwertverlufen, Transformationen oder Bercksichtigung bekannter physikalischer

Zusammenhnge). Des Weiteren erfolgt eine zeitliche Segmentierung der Messreihen (z. B.

ausgehend von lokalen Extremwerten), da oft nur Teilbereiche der gesamten Verlufe infor-

mationstragend sind. Als eigentliche Merkmale, die aus den segmentierten Datenverlufen

bestimmt werden, lassen sich z. B. Extremwerte, Ableitungen, Wertekombinationen in unter-

schiedlichen Prozessgren, Eigenschaften im Frequenzbereich der Fourier-Transformation

oder Skalenraum der Wavelet-Transformation u. v. m. verwenden. Nach der Extraktion der

Merkmale wird nochmals eine Ausreierfilterung durchgefhrt, um unplausible Werte zu eli-

minieren. An dieser Stelle der Signalverarbeitung knnen die extrahierten Merkmale durch-

aus noch redundante Information enthalten, die erst in der nachfolgenden Merkmalsselektion

entfernt wird.

Bild 4: Vorgehensweise zur Erzeugung von Merkmalen aus Messdaten.

4. Merkmalsselektion

Da wie dargestellt in der Regel von jeder Prozessgre mehrere Standard-Merkmale (z. B.

Extrema, Trend- oder Mittelwerte) in einem relativ umfangreichen Merkmalsdatensatz erstellt

werden, der noch redundante Informationen enthalten kann, ist es zweckmig, vor der Mo-

dellbildung eine Vorselektion der Merkmale durchzufhren. Um abzuschtzen, ob ein Merk-

mal relevante Information zur Modellbildung trgt, lassen sich informationstheoretische Mae

verwenden. Solche Mae stellen Kriterien zur Beurteilung von Wahrscheinlichkeitsverteilun-

gen dar und dienen hier der Abschtzung, ob sich in einem Merkmal relevante Information

zur Modellbildung befindet oder ob es schon im Vorhinein von der Modellbildung ausge-

schlossen werden kann [Pyl99].

Informationstheoretische Mae werden im Folgenden verwendet, um eine erste Selektion

von informationstragenden Merkmalen mittels eines Rankings durchzufhren und damit re-

dundante und informationsarme Merkmale zu entfernen. Zur Analyse wird dazu als Ma die

Transinformation zwischen den Prozessgren x und den Gteindizes y verwendet [Pen05]:

; , log ,

Zur Selektion der Merkmale werden hnlich wie bei dem in [Pen05] vorgestellten Verfahren

die folgenden Gren verwendet:

; , max ; fralle

Dabei beschreiben D die Relevanz des Merkmals xibezglich der Gteindizes y und R die maximale Redundanz eines Merkmals xizu einem anderen Merkmal xj. Mittels dieser beiden Gren lsst sich eine Merkmalsselektion vornehmen, indem man Grenzen fr die minimale

Relevanz und die maximale Redundanz definiert. Zustzlich kann ein Merkmalsranking bei-

spielsweise durch Division oder Subtraktion der Kriterien D und R durchgefhrt werden.

5. Erstellung des datengetriebenen Prozessmodells

Zur Modellierung des Prozessverhaltens knnen prinzipiell unterschiedliche Methoden des

maschinellen Lernens eingesetzt werden. Beispiele fr lineare Verfahren sind etwa die

Diskriminanz- oder die Varianz-Analyse, die darauf abzielt, geeignete lineare Merkmalskom-

binationen zu finden und zu bewerten [Guy03]. Allerdings ist das Verhalten vieler Industrie-

prozesse nichtlinear (etwa aufgrund nichtlinearer Vorgnge wie Strahlung oder nichtlinearer

Materialeigenschaften) oder zeitvariant (etwa aufgrund von Drifteffekten oder bei Batchpro-

zessen), so dass in der Praxis nichtlineare Methoden zur Modellierung vorteilhaft sein kn-

nen. Auch nichtlineare Methoden zur Merkmalsselektion sind in den letzten Jahren erarbeitet

worden, siehe z. B. [Hal99], [Mik02], [Sax07].

Besonders vielversprechend erscheint der in der statistischen Lerntheorie verankerte Ansatz

der Support Vector Machines (SVM), der ebenfalls fr die Modellbildung und die Merkmals-

selektion geeignet ist, siehe z. B. [Agr03], [Guy00], [Rak07]. Fr die Modellbildung von nicht-

linearen Systemen ist die Eigenschaft der SVM hilfreich, dass Merkmale durch nichtlineare

Kernelfunktionen in einen hherdimensionalen Raum transformiert werden knnen, in dem

ursprnglich nichtlineare Zusammenhnge mittels linearer Analyse erkennbar werden

[Chr04], [Sch98].

Die extrahierten Merkmale bilden die Grundlage fr die Erstellung datengetriebener Modelle.

Dazu sollen jedoch nicht alle erzeugten Merkmale verwendet werden, da sie noch redundan-

te Informationen enthalten knnen. Die Auswahl informationstragender Merkmale erfolgt in

einer weiteren Merkmalsauswahl bei der Erstellung des Prozessmodells, bei der aus der

Gesamtmenge der verfgbaren Merkmale eine Untermenge herausgegriffen wird, die den

Prozess mglichst vollstndig, aber kompakt im Modell beschreibt.

Dazu lassen sich Methoden auf der Grundlage von SVMs verwenden, bei denen gleichzeitig

mit der Merkmalsauswahl die Modellparameter optimiert werden. Im Gegensatz zu Filter-

oder Wrapper-Methoden [Guy06] wird hierbei nicht zwischen Merkmalsauswahl und Modell-

bildung unterschieden, sondern beides in einem iterativen Verfahren gemeinsam durchge-

fhrt. Als zugrundeliegendes Modell werden Support Vector Machines zur Regression (SVR)

verwendet, siehe z. B. [Chr04], [Kue09b].

Der prinzipielle Ablauf der Modellbildung und Merkmalsauswahl ist in Bild 5 dargestellt. Die

SVR wird mit einer gewhlten Kernelfunktion sowie gewhlten Hyperparametern (d. h. De-

signparametern fr die SVR) initialisiert. Daraufhin erfolgen die Optimierung der Modellpa-

rameter, das Ranking der einzelnen Merkmale sowie daraus die Auswahl des optimalen

Merkmalsraums. Dieses Verfahren wird so lange wiederholt, bis sich die Modellparameter

und der Merkmalsraum nicht mehr signifikant ndern. Auf das Merkmalsranking und die Mo-

dellbildung wird im Folgenden detailliert eingegangen.

Bild 5: Vorgehensweise zur Modellbildung und Merkmalsselektion.

Um eine mglichst hohe Generalisierbarkeit der sich ergebenden Support Vector Machine zu

erreichen, wird zur Merkmals- und Modellselektion der Leave-one-out-(Loo-)Fehler verwen-

det. Dabei wird durch Auslassen jeweils eines Merkmals bei der Bestimmung der Modellpa-

rameter der SVR dessen Anteil am Ergebnis der Optimierung bestimmt. Durch Sortieren der

Merkmale entsprechend ihrem jeweiligen Anteil ergibt sich daraus ein Kriterium fr die Wich-

tigkeit eines Merkmals. In der Praxis lsst sich der Loo-Fehler durch eine obere Grenze an-

nhern, wodurch Rechenzeit gespart werden kann, siehe z. B. [Cha05], [Guy06], [Wit10]. In

der hier dargestellten Vorgehensweise wird diese Approximation durchgngig angewandt.

Zur Initialisierung der SVR mssen deren Designparameter gewhlt werden. Dies sind die

verwendete Kernelfunktion und Hyperparameter, siehe z. B. [Kue10]. Im vorliegenden Fall

haben sich zur Modellbildung Gau-Kernel bewhrt, die Initialisierung der Hyperparameter

der SVR hat sich als unkritisch erwiesen. Mittels einer Rastersuche werden nun diejenigen

Parameterwerte bestimmt, die den Anpassungsfehler der SVR minimieren. Diese Parame-

terwerte werden ebenfalls verwendet, um im nchsten Schritt das Merkmalsranking durchzu-

fhren.

Zum Merkmalsranking wird ein rckwrtsgerichteter Greedy-Algorithmus eingesetzt [Rak07].

Dazu werden zunchst die Modellparameter fr eine SVR unter Bercksichtigung aller

Merkmale bestimmt. In den nachfolgenden Schritten wird je ein Merkmal entfernt, fr alle

verbliebenen Merkmale werden jeweils die Modellparameter berechnet. Die sich ergebende

Differenz zwischen den Anpassungen unter Bercksichtigung aller Merkmale und bei Elimi-

nation eines Merkmals wird dann als Kriterium fr das Merkmalsranking eingesetzt. Das

Merkmal, fr das die Differenz maximal wird, liefert den grten Beitrag am Optimierungser-

gebnis und verursacht den grten Loo-Fehler, wenn es weggelassen wird.

Mittels des Merkmalsrankings wird daraufhin ein reduzierter Merkmalssatz bestimmt, bei

dem weniger relevante Merkmale weggelassen werden. In einem iterativen Prozess werden

im reduzierten Merkmalsraum die Modellparameter der SVR optimiert und ein Merkmalsran-

king durchgefhrt. Dies erfolgt so lange, bis das Verfahren gegen eine feste Anzahl an

Merkmalen und die gewnschten Modellparameter der SVR konvergiert. Auch wenn auf-

grund des rckwrtsgerichteten Greedy-Algorithmus nicht sichergestellt ist, dass das globale

Optimum der Merkmalsauswahl sicher erreicht werden kann, hat sich diese Vorgehensweise

bewhrt und liefert praxistaugliche Ergebnisse.

Zur Online-Anwendung des Verfahrens werden die zum jeweiligen Zeitpunkt verfgbaren

und zur Prozessphase passenden Merkmale verwendet. Durch Anwendung des jeweiligen

Modells ergibt sich das gewnschte Gtekriterium. Im folgenden Beispiel wird dieses Verfah-

ren dazu eingesetzt, die Betriebsfhrung eines rheologischen Glasziehprozesses whrend

der Anfahrphase zu berwachen.

6. Anwendungsbeispiel: Optimierung der Anfahrphase eines Batchprozesses

Die entwickelte Methodik und die dafr notwendigen Data-Mining-Werkzeuge wurden zur

Optimierung der Startphase eines industriellen Glaszieh-Prozesses [Saw09] angewandt. Bei

diesem Batchprozess wird ein Glaszylinder aus hochwertigen Quarzglas langsam in einen

Ofen eingefahren, dort auf Erweichungstemperatur erhitzt (ca. 2000 C) und mit erhhter

Abzugsgeschwindigkeit zu einem dnneren Stab verformt (siehe Bild 6). Die dabei produzier-

ten Glasstbe sind Vorprodukte fr Lichtwellenleiter und mssen daher hchsten Qualitts-

anforderungen gengen. Die primre Zielstellung der Anfahrphase besteht darin, den

Durchmesser des produzierten Stabes in mglichst kurzer Zeit auf den geforderten Sollwert

zu bringen und dadurch den Ausschuss zu Beginn der Batchproduktion zu minimieren.

Bild 6: Optimierung der Anfahrphase eines Glaszieh-Batchprozesses.

Fr den Prozess liegen zwar physikalisch motivierte Modelle vor (z. B. [Saw09]), jedoch lsst

sich das transiente Verhalten der Anfahrphase bisher noch nicht mit ausreichender Genauig-

keit basierend auf rigorosen Modellen simulieren. Wesentlicher Grund dafr ist eine

Schweistelle zwischen dem Zylinder und einem sogenannten Ansatzstck, welches beim

Anfahren zunchst durch den Ofen gefahren wird. Die physikalischen Eigenschaften der

Schweistelle variieren von Produktion zu Produktion, so dass eine physikalisch motivierte

Modellierung praktisch nicht mglich ist. Daher bietet sich fr diesen Prozess eine datenge-

triebene Optimierung der Anfahrphase an.

Bei der Data-Mining-Analyse wurden die in Bild 6 gezeigten Prozessgren sowie weitere

Prozessparameter bercksichtigt. Das Merkmalsranking ergab, dass die zwei signifikantes-

ten Merkmale mit dem dynamischen Verhalten der Glastemperatur in einem sehr engen Zeit-

fenster in der Anfahrphase verknpft sind. Die relevanten Merkmale beschreiben zum einen

die zeitliche Ableitung, zum anderen die Fluktuation der Glastemperatur in dem in Bild 7

(rechts unten) mit vertikalen Linien gekennzeichneten Zeitintervall. Der Graph des gewhlten

Gtekriteriums als Funktion der beiden signifikantesten Merkmale ist in Bild 7 (links) darge-

stellt. Aus der in Bild 7 (rechts oben) gezeigten Auswertung von ca. 500 Produktionen ist

ersichtlich, dass in denjenigen Produktionen, bei denen die optimalen Merkmalswerte einge-

halten worden waren, der nominale Durchmesser deutlich schneller erreicht wurde als in den

Produktionen, in denen die optimalen Merkmalswerte nicht eingehalten worden waren. Die

anhand der Data-Mining-Analyse erlangten neuen Erkenntnise wurden mittlerweile in die

Prozessfhrung integriert. Die Prozessgte in der Anfahrphase konnte hierdurch deutlich

verbessert werden.

Bild 7: Gtekriterium als Funktion der beiden signifikantesten Merkmale (links), Ergebnisse

von Produktionen, bei denen die optimalen Merkmalswerte eingehalten bzw. nicht

eingehalten wurden (rechts oben) und zugehrige Verlufe der Rohrtemperatur

(rechts unten).

7. Fazit

Methoden des Data-Mining lassen sich im industriellen Umfeld sinnvoll einsetzen, um Pro-

duktionsprozesse zu analysieren, zu modellieren und zu optimieren. Dabei werden Prozess-

daten, die in den meisten Anlagen ohnehin erfasst werden, mit zuvor definierten Gtemaen

in Beziehung gesetzt. Data Mining bedeutet in diesem Zusammenhang, dass aus der Viel-

zahl von Daten durch eine Merkmalsgewinnung und -selektion relevante Information ber

den Prozess und die erzielte Qualitt extrahiert wird und der Zusammenhang zu den Gte-

maen in ein datengetriebenen Modell mittels Methoden des maschinellen Lernens abgebil-

det wird. Dieses Modell lsst sich anschlieend fr die Prozessberwachung oder die Opti-

mierung der Prozessfhrung nutzen.

Eine Herausforderung in der datengetriebenen Prozessanalyse besteht noch in der automa-

tischen Erkennung von Ursache-Wirkungs-Zusammenhngen in realen Prozessdaten: Ob

zwei Prozessgren kausal voneinander abhngen, kann mit der oben dargestellten Vorge-

hensweise nicht erfasst werden. Anstze zur Erkennung von kausalen Strukturen basieren

etwa auf einer Kreuzkovarianzanalyse, der Analyse der Granger-Kausalitt oder der Trans-

fer-Entropie, siehe z. B. [Kue11], [Kue12], und sind Gegenstand der aktuellen Forschung. Mit

solchen Verfahren wird es etwa mglich sein, Fehlerursachen zu diagnostizieren oder zahl-

reiche gemeinsam auftretende Fehlermeldungen auf eine oder wenige urschliche Prozess-

gren zu reduzieren.

Literatur

[Agr03] K. Agrawal, A. Jade, V. Jayaraman, B. Kulkarni: Support vector machines: A

usefull tool for process engineering. Chemical engineering progress 99 (1), S. 57-

62, 2003

[Cha05] M. Chang, C. Lin: Leave-one-out bounds for support vector regression model se-

lection. Neural Computation 17 (5), S. 1188-1222, 2005

[Chr04] N. Cristianini, J. Shawe-Taylor: Support Vector Machines. Cambridge University

Press, 2004

[Fay96] U. Fayyad, G. Piatetsky-Shapiro, P. Smyth: From Data-Mining to Knowledge Dis-

covery: An Overview. Advances in Knowledge Discovery and Data-Mining,

AAAI/MIT Press, S. 1-35, 1996

[Guy00] I. Guyon, J. Weston, S. Barnhill, V. Vapnik: Gene selection for cancer classification

using support vector machines. Machine Learning, 46, S. 389-422, 2000

[Guy03] I. Guyon, A. Elisseff: An introduction to variable and feature selection. Journal of

Machine Learning Research 3, S. 1157-1182, 2003

[Guy06] I. Guyon: Feature extraction: foundations and applications. Springer, Berlin, 2006

[Hal99] M. Hall: Correlation based feature selection for machine learning. Dissertation,

University of Waikato, New Zealand, 1999

[Kue09a] C. Khnert, T. Bernard: Optimization and online-monitoring in industrial batch pro-

cesses using data-mining-methods. Proceedings 19. Workshop Computational In-

telligence, KIT Scientific Publishing, S. 170-180, 2009

[Kue09b] C. Khnert, T. Bernard: Extraction of optimal control patterns in industrial batch

proccesses based on support vector machines. IEEE Multi-Conference on systems

and control, S. 481-486, 2009

[Kue10] C. Khnert, T. Bernard: Online-Monitoring und Prdiktion der Prozessgte

komplexer Batchprozesse. Verteilte Messsysteme, F. Puente Len. K.-D. Sommer,

M. Heizmann (Hrsg.), KIT Scientific Publishing, S. 13-24, 2010

[Kue11] C. Khnert, L. Grll, M. Heizmann, R. Mikut: Anstze zur datengetriebenen Formu-

lierung von Strukturhypothesen fr dynamische Systeme. Proceedings 21. Work-

shop Computational Intelligence, F. Hoffmann, E. Hllermeier (Hrsg.), KIT Scien-

tific Publishing, S. 15-29, 2011

[Kue12] C. Khnert, L. Grll, M. Heizmann, M. Reischl, R. Mikut: Methoden zur datenge-

triebenen Formulierung und Visualisierung von Kausalittshypothesen. at Auto-

matisierungstechnik, erscheint voraussichtlich im Heft 60 (11), 2012

[Las04] M. Last, K. Abraham, Data Mining in time series databases. World Scientific, 2004

[Mik02] S. Mika: Kernel Fisher Discriminants. Dissertation, Technische Universitt Berlin,

2002

[Mik09] R. Mikut: Data Mining in der Medizin und Medizintechnik. Universittsverlag Karls-

ruhe, 2009

[Mik11] R. Mikit: Data mining tools. Wiley Interdisciplinary Reviews: Data Mining and

Knowledge Discovery 1 (5), S. 431-443, 2011

[Ott04] R. Otte, V. Otte: Data Mining fr die industrielle Praxis. Hanser, 2004

[Pen05] H. Peng, F. Long: Feature Selection Based on Mutual Information: Criteria of Max-

Dependency, Max-Relevance, Min-Redundancy. IEEE Transaction on Pattern

Analysis and Machine Intelligence 27 (8), S. 1226-1238, 2005

[Pro12] http://www.prodami.de (verfgbar am 03.08.2012)

[Pyl99] D. Pyle, Data preparation for data-mining. Morgan Kaufmann, 1999

[Rak07] A. Rakotomamonjy: Analysis of SVM regression bounds for variable ranking.

Neurocomputing 70 (7-9), S. 1489-1501, 2007

[Saw09] F. Sawo, T. Bernard: Finite Element Model of a Complex Glass Forming Process

as a Tool for Control Optimization. European COMSOL Conference, Milano, 2009

[Sax07] H. Saxen, F. Petersson: A Data Mining method applied to a Metallurgical process.

IEEE Symposium on Computational Intelligence and Data Mining, S. 368-375,

2007

[Sch98] A. Smola, B. Schlkopf: A Tutorial on Support Vector Regression. NeuroCOLT2

Technical Report Series, 1998

[Wit05] I. Witten and E. Frank, Data Mining Practical Machine Learning tools and tech-

niques. Elsevier, 2005