1
Vorlesung:Multivariate Statistik für Psychologen
9. Vorlesung: 12.05.2003
2
Agenda
2. Univariate Varianzanalyseiv. Varianzanalyse als Spezialfall der Regression§ Zusammenhang Regression und Varianzanalyse§ Exkurs: Dummy-Kodierung§ Berechnung einer Varianzanalyse mittels Regression§ Vergleich der Varianzzerlegung bei Regression und Varianzanalyse
v. Verallgemeinerungen mehrfaktorielle Varianzanalysevi. Annahmen und Voraussetzungen der univariaten Varianzanalyse
Exkurs: Matrizenrechnung
2
3
Zusammenfassung letzte Sitzung
n Univariate Varianzanalyse¡ Grundlagen und Ziele der univariaten Varianzanalyse
¡ Vergleich varianzanalytischer Verfahren
¡ Statistisches Modell der ANOVA
¡ Varianzzerlegung und Hypothesentestung
¡ Interpretation der Ergebnisse und Folgetests
¡ Güte des ANOVA-Modells, Determinationskoeffizient
4
Varianzanalyse als Spezialfall der Regression I
n Prädiktoren in der Regression vs. Varianzanalyse¡ unterschiedliches Skalenniveau
¡ à keine Anwendung der Regression für nominale, ordinale Prädiktorenn keine lineare Restriktion der Erwartungswerte/Mittelwerte für einzelne Gruppen
n Anwendung der Dummy-Kodierung¡ künstliche Benennung und Gegenüberstellung bestimmter Gruppen(mittelwerte)
¡ Referenzgruppenkodierung
¡ Effektkodierung
¡ Kontrastkodierung
3
5
Varianzanalyse als Spezialfall der Regression II
n Dummy-Kodierung (Fortsetzung)¡ minimale Dekomposition der Gruppen/Kategorien
n Anzahl der Dummy-Variablen = Gruppen-/Kategorienzahl minus Eins
¡ Möglichkeit 1: Kodierung mit Referenzgruppe/-kategorien
n Kodierungsprinzip¡ Referenzgruppe/-kategorie auf allen Variablen gleich Null¡ alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null
0
1
0
X1
3 Gruppen
1Gruppe 3
01Gruppe 2
00Gruppe 1
X2X1Dummy-Variable
2 Gruppen
6
Varianzanalyse als Spezialfall der Regression III
¡ Möglichkeit 1: Kodierung mit Referenzgruppe/-kategorie (Fortsetzung)n Regressionsgleichungen
¡ 2 Gruppen Modellgleichung:eingesetzte Gleichungen:
¡ 3 Gruppen Modellgleichung:eingesetzte Gleichungen:
n Interpretation der Regressionsparameter¡ Intercept a entspricht Gruppenmittelwert der Referenzgruppe/-kategorie¡ Regressionskoeffizienten bk entsprechen Mittelwertsunterschied der Gruppe k
zur Referenzgruppe/-kategorie¡ Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz
der Unterschiede der Gruppenmittelwert
1 1i iY a b X= + ⋅
1Y a=
2 1Y a b= +
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
1Y a=
2 1Y a b= +
3 2Y a b= +
4
7
Varianzanalyse als Spezialfall der Regression IV
n Dummy-Kodierung (Fortsetzung)¡ Möglichkeit 2: Effektkodierung
n
n Kodierungsprinzip¡ erste Gruppe/Kategorie auf allen Variablen gleich -1¡ alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null
0
1
-1
X1
3 Gruppen
1Gruppe 3
01Gruppe 2
-1-1Gruppe 1
X2X1Dummy-Variable
2 Gruppen
8
¡ Möglichkeit 2: Effektkodierung (Fortsetzung)n Regressionsgleichungen
¡ 2 Gruppen Modellgleichung:eingesetzte Gleichungen:
¡ 3 Gruppen Modellgleichung:eingesetzte Gleichungen:
n Interpretation der Regressionsparameter¡ Intercept a entspricht Gesamtmittelwert aller Gruppen¡ Regressionskoeffizienten bk entsprechen Mittelwertsunterschieden der
Gruppen zum Gesamtmittelwert (für Gruppe 1 Summe aller Koeffizienten)¡ Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz
der Unterschiede der Gruppenmittelwert
1 1 2Y a b b= − −
Varianzanalyse als Spezialfall der Regression V
1 1i iY a b X= + ⋅
1 1Y a b= −
2 1Y a b= +
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
2 1Y a b= +
3 2Y a b= +
5
9
Varianzanalyse als Spezialfall der Regression VI
n Dummy-Kodierung (Fortsetzung)¡ Möglichkeit 3: Kontrastkodierung
n Test spezifischer Hypothesen möglich¡ Beispiel 1: Gleichheit der Gruppen 2 und 3¡ Beispiel 2: Gleichheit der Gruppe 1 mit Mittelwert der Gruppen 2 und 3
n Kodierungsprinzip¡ abhängig von Hypothese¡ nur Test orthogonaler Kontraste möglich (d.h. nicht redundante Hypothesen)
1
1
-2
X1
Beispiel 2
1Gruppe 3
-1Gruppe 2
0Gruppe 1
X1Dummy-Variable
Beispiel 1
10
¡ Möglichkeit 3: Kontrastkodierung (Fortsetzung)n Regressionsgleichungen
¡ Beispiel 1 Modellgleichung:eingesetzte Gleichungen:
¡ Beispiel 2 Modellgleichung:eingesetzte Gleichungen:
n Interpretation der Regressionsparameter¡ Bedeutung des Intercept und der Regressionskoeffizienten bk abhängig von
Kodierung¡ Signifikanztests der Regressionskoeffizienten entsprechen Test auf Gültigkeit
der Hypothesen (z.B. Verhältnisse der Mittelwerte)
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
1 1ˆ 2Y a b= −
Varianzanalyse als Spezialfall der Regression VII
1Y a=
2 1Y a b= −
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
2 1Y a b= +
3 1Y a b= +
3 1Y a b= +
6
11
Varianzanalyse als Spezialfall der Regression VIII
n Berechnung einer Varianzanalyse mittels Regression¡ Durchführbarkeit
n Varianzanalyse ist als Regression berechenbar (Spezialfall)n Restriktion der Linearität der Erwartungswerte für Personen mit unterschiedlicher
Ausprägung auf Prädiktor(en) muss aufgehoben werdenn à Anwendung der Dummy-Kodierung
¡ Berechnung der Dummy-Variablen für einzelne Prädiktoren (in SPSS: Transformieren > Umkodieren in neue Variable)
¡ Kontrastkodierung (Test von orthogonalen Kontrasten) auch in einfaktoriellerVarianzanalyse verfügbar (in SPSS: Analysieren > Mittelwertsvergleich > einfaktorielle Varianzanalyse > Kontraste)
¡ Ergebnissen Interpretation der Regressionskoeffizienten abhängig von Dummy-Kodierungn Äquivalenz der Tests
¡ Mittelwertsvergleich ANOVA = Mittelwertsvergleich Regression (Gesamttest)¡ zusätzlich in Regression gezielte Gruppenvergleiche möglich
12
Varianzanalyse als Spezialfall der Regression IX
n Vergleich der Varianzzerlegung und des Hypothesentests ¡ Varianzzerlegung gleich bei ANOVA und Regression mit Referenzgruppen- oder
Effektkodierungn systematische/erklärte Varianz: Zwischengruppenvarianz (ANOVA) gleich Varianz
der Regression¡ Abweichung der vorhergesagten Werte von Gesamtmittelwert¡ Kodierung in Regression à keine Restriktion der Erwartungswerte (=ANOVA)
n Fehler-/nicht erklärte Varianz: Innergruppenvarianz (ANOVA) gleich Fehlervarianz in Regression¡ Abweichung der beobachteten Werte von vorhergesagten Werten
(Gruppenmittelwerte)
¡ Freiheitsgrade gleich bei ANOVA und Regression mit Referenzgruppen- oder Effektkodierungn Freiheitsgrade des Effekts
¡ Regression: Anzahl der Prädiktoren (= Anzahl der Gruppen -1)¡ ANOVA: Anzahl der Gruppen - 1
7
13
Verallgemeinerungen mehrfaktorielle Varianzanalyse I
n Grundprinzip¡ siehe multiple Regression
n Effekte bei der mehrfaktoriellen Varianzanalyse¡ Haupteffekte der Faktoren
n Mittelwertsunterschiede zwischen verschiedenen Gruppen dieses Faktors, gemittelt über die Faktorstufen der anderen Faktoren
¡ Interaktionseffekte der Faktorenn Einfluss eines Faktors verschiedenen für verschiedene Faktorstufen eines
anderen Faktorsn automatisch berücksichtigt in ANOVA (nicht in Regression)
n Beispiel¡ Unterschiede bei der Punktzahl der Statistikklausur in Abhängigkeit vom
Geschlecht (Faktor 1, zweistufig) und Teilnahme an den Lehrveranstaltungen (Faktor 2, zweistufig)
14
Verallgemeinerungen mehrfaktorielle Varianzanalyse II
n Veranschaulichung der Effekte am Beispiel¡ Fall 1: nur Haupteffekt Geschlecht (kein Effekt VB, kein Effekt Interaktion)
Mittelwert
nein
ja
Mittelwertmännlichweiblich
403050
403050
403050Vorlesungs-besuch
Geschlecht
Faktor 2
Faktor 1
Mittelwert aller Frauen über alle Faktorstufen des Faktors 2
Mittelwert aller Vorlesungs-besucher über alle Stufen des Faktors 2
Gesamt-mittelwert
8
15
Verallgemeinerungen mehrfaktorielle Varianzanalyse III
n Veranschaulichung der Effekte am Beispiel¡ Fall 2: nur Interaktionseffekt (keine direkten Effekte Geschlecht, VB)
¡ Fall 3: Haupteffekt VB und Interaktionseffekt (kein Effekt Geschlecht)
Mittelwert
nein
ja
Mittelwertmännlichweiblich
404040
404535
403545Vorlesungs-besuch
Geschlecht
Mittelwert
nein
ja
Mittelwertmännlichweiblich
404040
303723
504357Vorlesungs-besuch
Geschlecht
16
Annahmen und Voraussetzungen der univariaten Varianzanalyse I
n Grundprinzip: siehe einfache und multiple Regression
n zentrale Annahmen und Voraussetzungen¡ Annahmen über Fehlerterme/Residuen
n Normalverteilung der Residuen innerhalb jeder (Kombination) der Faktorstufen¡ Folgen der Nicht-Normalverteilung: potentiell unbekannte Verteilung der
Prüfgrößen Gleichheit der Varianz der Residuen in jeder (Kombination) der Faktorstufen
¡ Folgen der Heteroskedastizität: potentielle Fehlinterpretation der (nicht-)vorhandenen Effekte
n Unabhängige Fehlerkomponenten ¡ Unabhängigkeit der Beobachtungen/Personen innerhalb einer Gruppe¡ Unabhängigkeit der Teilstichproben/Gruppen
¡ Annahmen über das Stichprobenmodelln Folgen der Verletzung: keine Verallgemeinerung der Effekte auf Populations-
ebene; Verlust an Teststärke
9
17
Annahmen und Voraussetzungen der univariaten Varianzanalyse II
n Test der zentralen Annahmen und Voraussetzungen¡ Normalverteilung der Residuen
n Kolmogorov-Smirnov-Test für jede Faktorstufe/Gruppe n mehrfaktoriell: K-S-Test für jede Kombination der Faktorstufen/Gruppen
¡ Varianzhomogenität (Homoskedastizität)n Levene-Test auf Gleichheit der Varianzen in jeder (Kombination von)
Faktorstufenn in SPSS: im ANOVA-Menü Optionen > Homogenitätstest
¡ Unabhängige Fehlerkomponenten n kontrolliert über das Erhebungsdesign
¡ Annahmen über das Stichprobenmodelln kontrolliert über das Erhebungsdesign
18
Annahmen und Voraussetzungen der univariaten Varianzanalyse III
n Robustheit bei Verletzungen der Annahmen und Voraussetzungen¡ Beurteilung der Robustheit
n Frage, unter welchen Bedingungen Voraussetzungsverletzungen zu welchen Verzerrungen führen (ermittelbar über Datensimulationen)
¡ Nicht-Normalverteilung der Residuen n Schiefverteilung mit vernachlässigbarem Einfluss auf Verteilung der Prüfgrößen schmalgipflige Verteilungen (positive Kurtosis): eher konservative Testung
(Verlust an Teststärke)n breitgipflige Verteilungen (negative Kurtosis): eher progressive Testung (Alpha-
Fehler größer als 5%)¡ Varianzheterogenität
n gleiche Stichprobengröße in Gruppen à vernachlässigbarer Einflussn erhebliche Verzerrungen bei kleinen Stichproben und ungleicher Gruppengröße
¡ keine Unabhängigkeit der Beobachtungen innerhalb der Gruppenn Unterschätzung der Innergruppenvarianz à zu progressive Testung
10
19
Annahmen und Voraussetzungen der univariaten Varianzanalyse IV
n Fixierte vs. stochastische Faktoren¡ Frage nach Verallgemeinerung der Effekte der Faktoren
¡ fixierte Faktorenn "vollständige" Faktoren à keine Verallgemeinerung der Effekte der Faktorstufen
auf andere Faktorstufen (nur auf die Population innerhalb der Faktorstufen)n Beispiel
¡ Vergleich der Abiturnoten der Schüler von 10 verschiedenen Schulen¡ Verallgemeinerung der Ergebnisse auf die Population innerhalb dieser 10
Schulen¡ stochastische Faktoren
n Faktorstufen als (zufällige) Stichprobe aus einer größeren Population von Faktor-stufenà Verallgemeinerung der Ergebnisse auf Population aller Faktorstufen
n Berücksichtigung des Stichprobenfehlersn Beispiel (siehe oben)
¡ Verallgemeinerung der Ergebnisse der 10 Schulen auf mehr Schulen
20
Univariate Varianzanalyse
n FRAGEN ?
11
21
Exkurs: MatrizenrechnungDefinition und Typ einer Matrix
n Definition einer Matrix¡ Matrix ist geordnete Menge von Komponenten
mit und , die in n Zeilen und m Spalten angeordnet sind
¡ Indizierung: zuerst Zeile, dann Spalte
n Beispiel einer Matrix¡ (2 x 3)-Matrix, d.h. n=2 Zeilen und m=3 Spalten
n Typ einer Matrix¡ definiert durch Anzahl der Zeilen und Spalten: (n x m)-Matrix
¡ Datenmatrizen beschreiben Daten mehrerer Personen auf mehreren Variablenn Zeilen = n Personen; m Spalten = m Variablen
A
11 12 13
21 22 23
a a aa a a
=
A ( )ija=A
i 1, ,n= … j 1, ,m= … ija
22
Exkurs: MatrizenrechnungSpezielle Matrizen I
n Vektoren¡ Matrix mit nur einer Zeile oder Matrix mit nur einer Spalte
¡ Zeilenvektor: Variablen in einer Zeile
¡ Spaltenvektor: Variablen in einer Spalte
n Einsen Vektor¡ Vektor, dessen Elemente alle gleich Eins
¡ Beispiel: Einsen-Zeilenvektor
Einsen-Spaltenvektor
( )11 12 13a a a
11
21
31
aa
a
( )1 1 1
111
12
23
Exkurs: MatrizenrechnungSpezielle Matrizen II
n Quadratische Matrizen¡ Matrix mit gleicher Anzahl Zeilen und Spalten: Typ (n x n)
¡ Beispiel: quadratische (3 x 3)-Matrix
¡ Hauptdiagonale der quadratischen Matrixn Elemente der Diagonale von links oben nach rechts unten ( )
n Symmetrische Matrizen¡ quadratische Matrix, bei der alle Elemente
¡ Beispiel: symmetrische (3 x 3)-Matrix
3 5 92 7 65 3 8
=
A
3 5 95 7 69 6 8
=
A
11 22 33, ,a a a
ij jia a=
24
Exkurs: MatrizenrechnungSpezielle Matrizen III
n Diagonalmatrizen¡ quadratische Matrix, bei der alle Elemente außerhalb der Hauptdiagonalen
gleich Null
¡ Beispiel: (4 x 4)-Diagonalmatrix
n Skalarmatrizen¡ Diagonalmatrix, bei der alle Diagonalelemente gleich sind
¡ Beispiel: (4 x 4)-Skalarmatrix
2 0 0 00 8 0 00 0 4 0
0 0 0 2
=
A
6 0 0 00 6 0 00 0 6 0
0 0 0 6
=
A
13
25
Exkurs: MatrizenrechnungSpezielle Matrizen IV
n Einheitsmatrizen¡ Skalarmatrix mit allen Elementen der Hauptdiagonale gleich Eins
¡ Beispiel: (4 x 4)-Einheitsmatrix 1 0 0 00 1 0 00 0 1 0
0 0 0 1
=
A
26
Exkurs: MatrizenrechnungRechenoperationen mit Matrizen I
n Grundrechenoperationen¡ Addition, Subtraktion, Multiplikation und Division von Matrizen
¡ Anwendung spezieller Rechenregeln, die verschieden von Zahlenoperationen
n Transposition einer Matrix¡ Berechnung der transponierte Matrix aus Ursprungsmatrix , indem
Zeilen als Spalten und Spalten als Zeilen geschrieben werden
¡ aus (n x m)-Matrix wird (m x n)-Matrix
¡ Beispiel: Transponieren einer (2 x 3)-Matrix in eine (3 x 2)-Matrix
5 8 93 0 2
=
A
5 38 09 2
′ =
A
′A A
14
27
Exkurs: MatrizenrechnungRechenoperationen mit Matrizen II
n Addition/Subtraktion vom Matrizen¡ Berechnung über Addition/Subtraktion der Elemente der Matrizen
¡ nur anwendbar auf Matrizen desselben Typs (n x m)
¡ Rechenregel:
¡ Beispiel Addition:
¡ Beispiel Subtraktion:
( ) ( ) ( )ij ij ij ija b a b± = ± = +A B
5 8 9 6 12 0 5 6 8 12 9 0
3 0 2 0 3 8 3 0 0 3 2 8
− − + + + = + + +
1 20 9
3 3 10
− =
5 8 9 6 12 0 5 6 8 12 9 0
3 0 2 0 3 8 3 0 0 3 2 8
− + − − − = − − −
11 4 9
3 3 6
− = − −
28
Exkurs: MatrizenrechnungRechenoperationen mit Matrizen III
n Multiplikation/Division einer Matrize mit einem Skalar¡ Skalar als (1 x 1)-Matrix
¡ Berechnung des Produkts als Multiplikation aller Elemente einer (n x m)-Matrixmit dem Skalar:
n Beispiel Multiplikation:
¡ Berechnung des Quotienten einer Matrix mit einem Skalar als Produkt dieser Matrix mit dem Reziprok des Skalars:
n Beispiel Division:
5 8 9 3 5 3 8 3 9 15 24 273
3 0 2 3 3 3 0 3 2 9 0 6
⋅ ⋅ ⋅ ⋅ = = ⋅ ⋅ ⋅
( ) ( )ij ija c a⋅ = ⋅ = ⋅c A c
1 1 1/ = ( )ij ija a
c = ⋅ ⋅ = ⋅
A c Ac c
5 8 9 5 8 9 5 /3 8/3 31/3
3 0 2 3 0 2 1 0 2 / 33
= ⋅ =
15
29
Exkurs: MatrizenrechnungRechenoperationen mit Matrizen IV
n Multiplikation zweier Matrizen¡ Bedingung: Spaltenanzahl der Matrix (n x m) entspricht der Zeilenanzahl der
Matrix (m x p)
¡ Ergebnis: Matrix vom Typ (n x p)
¡ Berechnung: jedes Element der i-ten Zeile der Matrix wird mit jedem Element der j-ten Spalte der Matrix multipliziert und aufaddiert
¡ Beispiel:
AB
AB
5 2 8 4 9 1 5 1 8 3 9 2 51 47
3 2 0 4 2 1 3 1 0 3 2 2 8 7
⋅ + ⋅ + ⋅ ⋅ + ⋅ + ⋅ = = ⋅ + ⋅ + ⋅ ⋅ + ⋅ + ⋅
AB
5 8 9
3 0 2
=
A2 14 31 2
=
B
30
Exkurs: MatrizenrechnungRechenoperationen mit Matrizen V
n Rechenregeln¡ für die Addition
n es gelten Assoziativ- und Kommutativgesetz
¡ für die Multiplikation mit einem Skalarn es gelten Assoziativ- und Kommutativgesetz
¡ für die Multiplikation zweier Matrizenn es gilt das Assoziativgesetz, aber nicht das Kommutativgesetz
( ) ( )+ + = + ++ = +
A B C A B CA B B A
( ) ( )⋅ ⋅ = ⋅ ⋅
⋅ = ⋅1 2 1 2c c A c c A
c A A c
( ) ( )⋅ ⋅ = ⋅ ⋅
⋅ ≠ ⋅
A B C A B C
A B B A
16
31
Exkurs: MatrizenrechnungRechenoperationen mit Matrizen VI
n Rechenregeln (Fortsetzung)¡ für die Multiplikation zweier Matrizen (Fortsetzung)
n es gilt das Distributivgesetz
¡ für die Transpositionn
( )( )+ ⋅ = ⋅ + ⋅
⋅ + = ⋅ + ⋅
A B C A C B C
C A B C A C B
( )
( )
′ ′ ′+ = +
′ ′ ′⋅ =
A B A B
A B B A
32
Ausblick
n Multivariate Varianzanalyse (MANOVA)¡ Grundidee und Ziele der MANOVA
¡ Uni- vs. multivariate Varianzanalyse
¡ Statistisches Modelln Datensituationn Fragestellung der MANOVAn Effekte einzelner abhängiger Variablen vs. Effekte der Linearkombinationen
¡ Varianzzerlegung
¡ Multivariate Prüfgrößen und Hypothesentestung