multivariate verfahren - magnifisa -...

technische universität dortmund

Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund 13.10.2008 - 1 -

Multivariate Verfahren

Prof. Dr. Jörg Rahnenführer

Raum 720Email: rahnenfuehrer@statistik.

tu-dortmund.de

• Voraussetzungen: • Vordiplom in Statistik,

Mathematik, Datenanalyse, Informatik

• Zeiten und Räume• Vorlesung (4V):

Mo 8.30-10.00, M/E 21

Do 10.15-11.45, M/E 21

• Übung (2Ü):Fr 10.15-11.45 M/E 25Fr 14.15-15.45 M/E 27

M.Sc. Katrin Knies

Raum 730Email: [email protected]

dortmund.de

• Leistungsnachweis• Mündliche Prüfung

• Statistik: Spezialgebiete

• Datenwissenschaft

• Zulassungsvoraussetzungen zur mündlichen Prüfung

• 50% der Übungspunkte

• 50% der Punkte aus Übungen und Klausur(Gewichtung 80% Klausur)



Multivariate Verfahren

• Wichtigste Grundlage der Vorlesung ist ein Skript von Prof. Dr. Roland Fried, TU Dortmund, Fakultät Statistik:

Multivariate Statistik (Wintersemester 2006/07)

• Skript beruht teilweise auf früheren Skripten von• Prof. Dr. Claudia Becker, Universität Halle-Wittenberg

• Prof. Dr. Isabel Molina, Universidad Carlos III de Madrid

• Andere Literatur• Backhaus, K. et al., Multivariate Analysemethoden, 10. Auflage, Berlin

2003.

• Johnson, R.A. und D.W. Wichern, Applied Multivariate StatisticalAnalysis, 5. Auflage, New Jersey 2002.

• Fahrmeir, L., A. Hamerle und G. Tutz (Hrsg.), Multivariate statistische Verfahren, 2. Auflage, Berlin 1996.



Themengebiete der Vorlesung

0 Multivariate Analysemethoden

1 Multivariate Zufallsvariablen

2 Die multivariate Normalverteilung

3 Normalverteilungsmodelle

4 Hauptkomponentenanalyse

5 Faktorenanalyse

6 Kanonische Korrelationsanalyse

7 Korrespondenzanalyse

8 Clusteranalyse

9 Diskriminanzanalyse

10 Graphische Modelle


0. Multivariate Analysemethoden



Multivariate Analysemethoden

• Häufige Situation: mehrdimensionale (multivariate) Daten

• Beschreibung der Untersuchungsobjekte (’Individuen’) durch mehrere Variablen

• Multivariate Verfahren dienen zur Analyse solcher mehrdimensionaler Daten, insbesondere der Zusammenhänge unter den Variablen

• Beispiele• Messwerte bei Menschen

• Alter, Geschlecht, Körpergröße, Gewicht, Puls, Blutdruck

• Risikofaktoren bei Krebspatienten• Ausdehnung des Tumors, Vorhandensein von Metastasen, Rauchen




• Auswahl geeigneter multivariater Analysemethoden• Verschiedene Arten der “Zusammenhangsanalyse“ adressieren

verschiedene Fragestellungen

• Korrelationsanalyse

• Hypothesentests für eine oder mehrere Populationen

• Multivariate Varianzanalyse, multiple multivariate Regression

• Hauptkomponentenanalyse

• Faktorenanalyse

• Korrespondenzanalyse

• Clusteranalyse

• Diskriminanzanalyse

• Graphische Modelle




• Korrelationsanalyse• Ziel: Bestimmung von paarweisen, multiplen und partiellen

Korrelationen

• Beispiel: Gewicht, Körpergröße und Alter von Personen

• Paarweise Scatterplots fürGewicht, Körpergröße undAlter von n = 21 Individuen

• Scatterplot kann als sehreinfaches multivariatesVerfahren betrachtetwerden

Körpergröße

Gew

icht




• Korrelationsanalyse• Ziel: Bestimmung von paarweisen, multiplen und partiellen

Korrelationen

• Beispiel: Gewicht, Körpergröße und Alter von Personen

• Paarweise Scatterplots

Alter

Gew

icht

Alter

Kör

perg

röß

e




• Hypothesentests für eine oder mehrere Populationen

• Ziel: Unterscheidung von Populationen anhand von mehrdimensionalen Merkmalen

• Beispiel: Gefälschte Banknoten

• Daten: ne

= 100

echte und nf= 100

falsche Schweizer Banknoten




• Multivariate Varianzanalyse• Frage: Wirken mehrere Variablen einzeln und/oder gemeinsam

auf eine oder mehrere interessierende Merkmale?

• Beispiel Werkstatt• Fertigung von Autorädern in verschiedenen Werkstätten mit jeweils

mehreren Maschinen• Zwei Qualitätsmerkmale zur Beurteilung der gefertigten Räder• Gibt es Qualitätsunterschiede zwischen den Maschinen innerhalb

einer Werkstatt, oder zwischen den Werkstätten?

• Multiple Multivariate Regression• Funktionaler Zusammenhang zwischen mehreren Einfluss- und

einer oder mehreren Zielgrößen

• Beispiel Prostatakrebs• Untersuchung des Einflusses verschiedener Prädiktoren auf eine

Zielvariable




• Daten zum Prostatakrebs von Stamey et al. (1989)

• Prädiktoren: lcavol log cancer volumelweight log prostate weightage

lbph log benign hyperplasiaamount

svi seminal vesicle invasionlcp log capsular penetrationgleason gleason scorepgg45 percent gleason

scores 4 or 5

• Zielvariable:log(PSA) (prostate specific antigen) level

Daten standardisiert auf Varianz 1



Lineare Regression: Prostatakrebs

Kovarianz-Matrix:

0.7570.6630.4810.0300.2760.0740.483pgg45

0.4760.3070.0330.3660.0240.426gleason

0.671-0.0890.1730.1570.692lcp

-0.1390.1290.1810.593svi

0.2870.4370.063lbph

0.3170.286age

0.300lweight

gleasonlcpsvilbphagelweightlcavol



Lineare Regression: Prostatakrebs

• Modell für log PSA

• Prädiktoren auf Varianz 1 normalisiert

• Test auf Ausschließungeiner Gruppe von Termendurch F-test (ANOVA)

• Z-score misst somit den Effekt für das Entferneneiner Variable aus demModell

• lcp ist nicht signifikantwenn lcalvol im Modellenthalten ist, ansonstenschon!

1.740.150.27pgg45

-0.150.15-0.02gleason

-1.870.15-0.29lcp

2.470.120.31svi

2.060.100.21lbph

-1.400.10-0.14age

2.750.110.30lweight

5.370.130.68lcavol

27.660.092.48Intercept

Z ScoreStd. ErrorCoefficientTerm




• Hauptkomponentenanalyse• Bestimmung weniger Richtungen, die möglichst viel Varianz

erklären

• Iterative BestimmungorthogonalerVektoren

• Erste Hauptkomponenteentspricht der linearenTransformation derDaten auf die Richtungmit maximalerVarianz




• Faktorenanalyse• Ähneln sich mehrere Merkmale so stark, dass wir sie als ein

einziges ”latentes” Merkmal betrachten können?

• Beispiel• Wichtige Charakteristika für Einstellungschancen von Bewerbern?

• Bei diesen Charakteristika kann es sich um ”abstrakte” Faktoren handeln, wie etwa Kontaktfähigkeit oder emotionale Kompetenz.

• Korrespondenzanalyse• Beziehungen zwischen kategoriellen Variablen an mehreren

Individuen

• Beispiel• Betrachtung der Haarfarbe und Augenfarbe von Menschen




• Clusteranalyse• Auffinden von Gruppen ähnlicher Objekte

• Beispiel• Marketinganalyse zur Einteilung von Produkten in homogen

Untergruppen• Ein Handyhersteller stellt auf Basis einer Verbraucherbefragung fest,

dass alle drei von ihm hergestellte Handytypen in die gleiche Untergruppe eingeordnet werden, sich aus Verbrauchersicht also kaum unterscheiden

• Einen oder zwei dieser Typen durch einen neuen, mit anderen Leistungsmerkmalen ausgestatteten Typen ersetzen, um so einen neuen Kundenkreis anzusprechen?

• Wichtigste „Zutaten“ der Clusteranalyse• Distanzmaß oder Ähnlichkeitsmaß zwischen Objekten

• Clusteralgorithmus zum Auffinden kompakter Gruppen




• Diskriminanzanalyse

• Einordnung von Objekten in gegebene Klassen

• Beispiel Kreditwürdigkeit• Beurteilung der Kreditwürdigkeit von Firmen an Hand von

Bilanzkennzahlen, unter Zurückgreifen auf “Erfahrungswerte”

• Betrachtung einer ”Lernstichprobe” von Firmen mit bekannten Bilanzkennzahlen und Kreditwürdigkeit

• Entscheidung über die Kreditwürdigkeit eines neuen Antragstellers mit dieser Vorinformation

• Beispiel Krebsdiagnose• Prognose von Therapieerfolg anhand von klinischen und genetischen

Messungen




• Graphische Modelle• Unterscheidung mittelbarer und unmittelbarer Zusammenhänge

unter mehreren Variablen

• Beispiel• Examensnoten in Mechanik Me, Vektorrechnung Ve, Algebra Al,

Analysis An, Statistik St (gemessen in Prozentzahlen) von 88 Studenten


1. Multivariate Zufallsvariablen



Multivariate Zufallsvariablen

1.1 Multivariate Verteilungen

• Zufallsvektor: gemeinsame Darstellung d eindimensionaler Zufallsvariablen.• Wie im univariaten Fall unterscheidet man zwischen diskret und stetig.

• Mischformen: Zufallsvektor mit diskreten und stetigen Merkmalen (Komponenten).




• Beispiele für multivariate Verteilungen• Biometrie

• Klinische Messungen bei Krebspatienten (Örtliche Ausdehnung des Primärtumors, Existenz von regionären Lymphknotenmetastasen, Existenz von Fernmetastasen, Blutwerte, Raucherstatus, genetische Mutationen)

• Genexpressionswerte (Messungen der Aktivität von Tausenden Genen gleichzeitig)

• Ökonometrie• Aktienkurse verschiedener Unternehmen

• Daten zu Konsum, Investition, Import, Export (BIP)

• Technometrie• Zur Risikoanalyse technischer Systeme

• Einstellungen verschiedener technischer Parameter, technologische Bauteilqualität






Multivariate Verteilungsfunktion

• Die folgende Definition d-variater Verteilungs- und Dichtefunktionen verallgemeinert die entsprechenden Begriffe f ¨ur eindimensionale Zufallsvariablen:



Multivariate Dichte



Multivariate Dichte









Erwartungswert



Erwartungswert



Kovarianz



Kovarianz



Kovarianz

Eine Kovarianzmatrix ist symmetrisch, damit diagonalisierbar (mittels Hauptachsentransformation) und folglich positiv semidefinit.

Die Berechnungen erfolgen mittels einfacher Matrizenrechnung, meist unter Ausnutzung der Linearität des Erwartungswertes



Bedingte Erwartungen

• Die bedingte Erwartung ist eines der tiefsten und wichtigsten Konzepte der Wahrscheinlichkeitstheorie, aber auch offensichtlich eines der am schwersten zu vermittelnden Konzepte

• Allgemeine Definition:

Die Funktion Y=E(X| ) heißt dann bedingte Erwartung von X

• Wir betrachten nur Spezialfälle• Die σ-Algebra wird ersetzt durch eine Zufallsvariable

• Die Zufallsvariable ist entweder stetig oder diskret verteilt




E(XX2)-E(X)E(X2)










• Interpretation des bedingten Erwartungswertes• Bedingte Erwartung als orthogonale Projektion

• h(X1) ist eine bzgl. X1 messbare Funktion, die X2

besonders gut approximiert







• Empirische Größen entsprechen den theoretischen Größen, wobei die multivariaten Verteilungen durch die empirischen Verteilungen ersetzt sind




• Für lineare Transformationen können Mittelwerte und Kovarianzenleicht berechnet werden




• Empirische Mittelwerte und Kovarianzenim (Größe/Gewicht)-Datensatz




• Wichtigste Transformation eines Datensatzes zur Normalisierung bzgl. Mittelwert und Kovarianz




• Jordan‘sche Zerlegung• Charakterisierung von symmetrischen Matrizen

• Hilfsmittel zur Berechnung von Hauptkomponenten




• Beispiel 1.26 • Beispiel 1.27(Fortsetzung von Beispiel 1.2)










• Verallgemeinerung der inversen Matrix auf singuläre und nichtquadratische Matrizen

• Häufigste Anwendung: Lösung linearer Gleichungssysteme

• Kann mit Hilfe von Singulärwertzerlegung berechnet werden




• Zusammenhang von theoretischen und empirischen Größen




• Wichtigster Satz der Statistik:

• ZENTRALER GRENZWERTSATZ







• Zentraler Grenzwertsatz für Transformationen des empirischen Mittelwerts


2. Die multivariate Normalverteilung



Theorie der Multinormalverteilung

• Multivariate Normalverteilung ist die wichtigste

multivariate Verteilung

• Normalverteilung eignet sich zur Modellierung von Größen, die durch

das Zusammenwirken vieler Zufallseinflüsse entstehen

• Messfehler, Abweichungen vom Sollwert, physikalische Größen wie

Länge, Gewicht, Volumen etc.

• Die multivariate Normalverteilung ist die einzige multivariateVerteilung, deren Komponenten stochastisch unabhängig sind und deren Dichte zugleich rotationssymmetrisch ist

• Eine multivariate Verteilung ist genau dann eine multivariateNormalverteilung, wenn alle Linearkombinationen der Komponenten

univariate Normalverteilungen sind




• Univariate Normalverteilung




• Multivariate Normalverteilung• Eindeutig bestimmt durch Erwartungswertvektor und Kovarianzmatrix




• Standardnormalverteilung







• Die Kovarianzmatrix ist symmetrisch und beinhaltet alle

Kovarianzen von Paaren von den Komponenten der

multivariaten Verteilung







• Höhenlinien bei der (Standard-)Normalverteilung




Höhenlinien







• Lineare Transformationen




• Beweis durch Berechnung der Kovarianzmatrix mit

gemischtem Term ΣΣΣΣ12 = AΣΣΣΣBT




• Approximation und bedingte Verteilung




• Für eine multivariate Normalverteilung ist die bedingte Erwartung

linear in x1

und die bedingte Varianz unabhängig von x1.

• Die beste Approximation von X2

durch X1

fällt mit der besten linearen Approximation BX

1+b von X

2durch X

1zusammen.







• Spezialfall d=k+1

• Multiple Korrelation: maximale Korrelation zwischen Xd

und einer

Linearkombination BX1, für k = 1 „gewöhnliche“ Korrelation




• Multiple Korrelation zwischen X1 und(X2 ,X3) ist (notwendigerweise) größer als die (univariaten) Korrelationen zwischen X1 und X2

und zwischen X1

und X3









Stichprobenverteilungen

• Bei multivariaten Datenanalysen geht man oft von einer multivariaten Normalverteilung aus, kennt aber Erwartungswert und Kovarianzmatrix nicht.

• Übergang von theoretischen zu empirischen Größen







• Test, ob die Korrelation in einem bestimmten Intervall liegt (Konfidenzintervalle)




Übung: Nachrechnen mit r12 = 0.73, n = 100




• Bei der Kovarianzmatrix stoßen wir auf die Wishart-Verteilung(multivariate Erweiterung der χ2-Verteilung)







(Im Wesentlichen Projektionsmatrizen)

Ü: Warum folgt dies?




Hotteling´s T2-Verteilung (multivariate Erweiterung der t-Verteilung)




• Zusammenhang zwischen Hotteling´s T2-Verteilung und F-Verteilung



Schätztheorie

• Allgemeines Schätzen (mit parametrischen Familien)



Schätztheorie

• Scorefunktion und Fisher-Informationsmatrix für Normalverteilungen



Schätztheorie

• Der ML-Schätzer ist also unter Regularitätsbedingungenasymptotisch unverzerrt, effizient und normalverteilt.



Schätztheorie


3. Normalverteilungsmodelle



Parametertests



Parametertests

• Asymptotische Verteilung für Likelihood-Quotienten (LR) Test



Parametertests



Parametertests



Parametertests



Parametertests

Hier wird dasMaximum über alleVektoren a gebildet, so dass dasKonfidenzintervallfür beliebiges festesa gilt



Parametertests



Parametertests



Parametertests

0.5 2 3 3 1- pchisq(2.7365,3)d p= ⋅ ⋅ = ⇒ =



Parametertests

• Spezialfall für Likelihood-Quotienten Test• Test auf einen bestimmten Koeffizientenvektor im linearen Modell

Exakte Verteilung der LR



Lineare Restriktionen

• Testen von linearen Hypothesen (lineare Restriktionen)




• Es soll getestet werden, ob jeweils die i-te Komponente des Vektors (X

1,...,X

k) und des Vektors (X

k+1,...,X

d) denselben Erwartungswert

haben

• Linke Formulierung der Nullhypothese entspricht der anschaulichen Formulierung, rechte der Formulierung mit Kontrastmatrix C=(diag(1,...,1),diag(-1,...,-1)) mit jeweils k Einträgen 1 bzw. -1




• Banknoten-Beispiel: Sind die Abstände von inneren Rechteck zum unteren Rand (x

4) bzw. oberen Rand (x

5) gleich?

signifikant wegen F1,99(13.638) = 0.00036




• Es soll getestet werden, ob alle Komponenten des Vektos (Xk+1

,...,Xd)

den Erwartungswert 0 haben




• Repeated Measures (wiederholte Messungen)• n Beobachtungen mit d Messungen (Bedingungen, Behandlungen,

Prüfungen,… )

• In Matrixschreibweise:

Kovarianzmatrix unbekannt,siehe Satz 3.10




• Repeated Measures (wiederholte Messungen)• n Beobachtungen mit d Messungen (Bedingungen, Behandlungen,

Prüfungen,… )

Satz 3.5 lieferte










• Umschreiben der Teststatistik zeigt wiederum, dass man einen exakten F-Test verwenden kann:




Pivot-Statistik: Verteilung der Statistik hängt nicht vom unbekannten Parameter ab







• Wert der Teststatistik ist hoch-signifikant

• Die meisten Konfidenzintervalle für die sechs Einzelhypothesen umschließen auch nicht die 0







Zum Vergleich: Bei der Annahme gleicher Kovarianzmatrizenhatten wir folgende Konfidenzintervalle erhalten:







• Übung: Nachrechnen der Signifikanzwerte










• Sind Profile parallel?• Keine Ablehnung

• Sind Profile gleich?• Ablehnung

• Sind Profile horizontal?• Ablehnung


4. Hauptkomponentenanalyse



Hauptkomponentenanalyse

• Problemstellung• Beobachtungen X

1,…, X

nvon d quantitativen Merkmalen, n

Objekte.

• Problem für großes d: schwere Überschaubarkeit / Strukturerkennung

• Lösungsansatz (Pearson, 1901, Hotelling, 1933):• Konstruktion unkorrelierter Linearkombinationen

(Hauptkomponenten, HK) der beobachteten Variablen, die sukzessive einen sinkenden Prozentsatz der Datenvariabilität erklären

• Durch Auswahl von p < d Hauptkomponenten Repräsentation der Daten in einem niedriger dimensionalen Raum mit möglichst kleinem Informationsverlust




1. Hauptkomponente: Richtung der größten Varianz

2. Hauptkomponente: Richtung dergrößten Varianz,orthogonal zur1. Hauptkomponente




• Beispiel mit d=2 und 2 Hauptkomponenten• Zur Veranschaulichung, üblicherweise zur Dimensionsreduktion

verwendetes Verfahren




• Die Verkaufszahlen für beide Produkte sind positiv korreliert

• Geschäfte, die von einem Produkt viel verkaufen, verkaufen in der Regel auch viel von dem zweiten Produkt

• Somit ist die wesentliche Information in der summe der verkauften Produkte enthalten










• Aus der Definition der Hauptkomponenten folgt direkt die Diagonalform der Kovarianzmatrix der transformierten Daten




• Hauptkomponentenzerlegung entspricht der Spektralzerlegung der Kovarianzmatrix










• Die totale Varianz von Y1,...,Y

dund der HKn stimmen überein

multivariate verfahren - magnifisa -...

Documents