t utorat d eskriptive s tatistik und w ahrscheinlichkeitstheorie kai vogt vogtkai@gmx.net termin 1

TUTORATDESKRIPTIVE STATISTIK UND WAHRSCHEINLICHKEITSTHEORIE

Kai Vogt

vogtkai@gmx.net

Termin 1

HALLO ERST MAL !

Fragen entweder direkt an mich oder an vogtkai@gmx.net

Aufgabenblätter gibt es im Buch, im Tutorat oder im Ordner in der Psycho-Bib

• Habt ihr im voraus Wünsche und Ideen zum Ablauf?

• Was unterscheidet Statistik I und II voneinander?

ZIELE DES TUTORATS!

Überblick über den Stoff verschaffen!!! Vertiefung von Themen aus der Vorlesung Offene Fragen in der Gruppe klären Verstehen von grundlegenden Ideen Rechnen trainieren Sp(a)ss …

GLIEDERUNG

Wiederholung: (lineare) Korrelation (Produkt-Moment-Korrelation) rxy

Multiple Korrelationen Ry.x1x2

Partialkorrelation rxy.z

Semipartialkorrelation rx(y.z)

• Inkrementelle Validität Suppressor-Effekt Multikollinearität

Wiederholung: Lineare Regression Multiple Regression

Biased Estimate & Capitalization of Chance Kreuzvalidierung Signifikanzprüfung Strategien bei der multiplen Regression

Aufgaben

Die Produkt-Moment-Korrelation, die Kovarianz und die sonstigen Korrelationskoeffizienten aus dem ersten Semester sind Maße für den (linearen) Zusammenhang zwischen zwei Variablen.

Positver Zusammenhang

Positive Korrelation bzw. positiver Zusammenhang

Negative Korrelation bzw. negativer Zusammenhang

Keine Korrelation bzw. kein Zusammenhang

WIEDERHOLUNG: KORRELATION (SEMESTER 1)

I. MULTIPLE KORRELATION

MULTIPLE KORRELATION

Erstes Semester: Zusammenhänge zwischen 2 Variablen!

Psychologische „Phänomene“ sind aber selten nur mit einer Variable korreliert

Bsp: Welche Variablen stehen im Zusammenhang mit Aggressivität?

Genetische Einflüsse, Hormone, Erziehung, Umwelt usw…

Deswegen…

Multiple Korrelation = Korrelationen zwischen mehr als zwei Variablen!

ryx = rxy

(einfache Korrelation)

Ry.xz (multiple Korrelation)

y

x

z2

xyr

y

x

z2.xzyR

Multiple Korrelation

Z.B.: Zusammenhang zwischen genetischem Einfluss und Aggressivität

Z.B.: Zusammenhang zwischen Erziehung, genetischem Einfluss und Aggressivität

Partialkorrelation

Partialkorrelation rxy.z

Herauspartialisieren eines dritten Merkmals aus beiden Variablen

Warum?Störvariablen „rausrechnen“

Beispiel: Der Einfluss der Erziehung in der Kindheit (Variable y) und die Aggressivität (Variable x) korrelieren hoch miteinander. Durch die Partialkorrelation kann der Einfluss der Gene (Variable z) „rausgerechnet“ werden.

Anzahl der Ertrinkenden und die Menge von konsumiertem Eis korrelieren hoch. Man kann mit der Partialkorrelation den Einfluss des Wetters neutralisieren.

y.zx.z

SEMIPARTIALKORRELATION

x y.z

Semipartialkorrelation rx(y.z)

Herauspartialisieren eines dritten Merkmals aus nur einer Variable

Warum?Berechnung des zusätzlichen (inkrementellen) Erklärungswerts(Varianzaufklärung) der verbleibenden Variable

Beispiel:

Wie groß ist der Anteil an der Gesamtvarianz (erklärbarer Anteil) der VariableAggressivität (x) der nur durch die Variable Erziehung in derKindheit (y) erklärt werden kann? Berechnung der Semipartialkorrelation Die Schulnote korreliert hoch mit dem IQ-Wert. Hat die Motivation des Schülers auch noch einen eigenen Erklärungswert?

Zweck: Zum „rausrechnen“ von Störvariablen aus einem interessierenden Zusammenhang

PARTIALKORRELATION VS. SEMIPARTIALKORRELATION

y.z

x.z x y.z

rxy.z rx(y.z)

Zweck: Zur Ermittlung der inkrementellen Validität einer Variable an einem Kriterium

Inkrementelle Validität = Anteil an Varianz den ausschließlich eine gewählte Variable aufklären kann.

Der Varianzanteil des Kriteriums wird nicht verringert!

Inkrementelle Validität

Inkrementelle Validität

Definition:

Eine Variable besitzt inkrementelle Validität, wenn ihre Aufnahme als zusätzlicher Prädiktor den Anteil der aufgeklärten Varianz (R²) am Kriterium erhöht – also die Vorhersage verbessert.

y

x

z

Inkrementelle Validität („zusätzliche erklärte Varianz“) der Variable w am Kriterium y

w

SUPPRESSOR-EFFEKT

Ein Prädiktor verbessert die multiple Korrelation (erhöht den Wert) ohne dass er selbst mit dem Kriterium korreliert.

x1 x2y

Der Suppressor-Effekt kann über die Semipartialkorrelation belegt werden.

ryx1= .55 < ry(x1.x2)=

.66Die Semipartialkorrelation (x2 aus x1 herausgerechnet) ist größer als die Korrelation zwischen y und x1! Diese Tatsache belegt einen Suppressor-Effekt!

y

x

z

w

Multikollinearität

= Die Prädiktoren korrelieren miteinander, so dass manche Varianzanteile des Kriteriums von verschiedenen Prädiktoren erklärt werden können.

Die Summe der einzelnen Determinationskoeffizienten ist aufgrund dieser Überlappung größer als der multiple Determinationskoeffizient!

Seltene Ausnahme: Bei einem Suppressor- Effekt kann der multiple Determinationskoeffizient größer sein als die Summe der einzelnen Determinationskoeffizienten!

Beispiel:

Y= AggressivitätX= ErziehungZ=Genetischer Einfluss

Gemeinsamer Anteil von X & Z: Gene sind von den Eltern die möglicherweise auch auf Grund ihrer Veranlagung einen aggressiven Erziehungsstil pflegen.

WIEDERHOLUNG LINEARE REGRESSION

LINEARE REGRESSION Ziel: Vorhersage einer Variable y durch eine Variable x.

Wörtlich: Rückführung Eine solche Vorhersage ist nur möglich, wenn x und y

zusammenhängen, also miteinander korrelieren. Die vorherzusagende Variable (y) heißt Kriteriumsvariable Die zur Vorhersage verwendete Variable (x) heißt

Prädiktorvariable

Anwendungsbeispiele:

- Werte von X wurden bereits erhoben, Werte von Y sind nicht bekannt

- X kann zum jetzigen Zeitpunkt erfasst werden, Y erst viel später

- X ist leicht (einfach, preiswert, schnell) zu erfassen, Y nur durch teure, aufwändige Untersuchung zu erheben

Lineare Regression - grafisch

OPT

1801601401201008060

RIS

IKO

50

40

30

20

10

0

Prinzip: Es wird eine Gerade ermittelt, die den Zusammenhang zwischen x und y beschreibt.

Mit einer solchen Gerade kann zu jedem Wert von x ein Wert von y vorausgesagt werden.

z.B. x=120 y=30

x=80 y=13

Mathematisches Prinzip:Methode der kleinsten Quadrate

Für einen Datensatz (eine Punktewolke) werden a und b so gewählt, dass der quadrierte Vorhersagefehler über alle Probanden minimal ist:

Für die Ermittlung der Regressionsgleichung wird die Differenz der tatsächlichen von den vorhergesagten y-Werten also quadriert. Das hat 2 Vorteile…

(1) Abweichungswerte sind immer positiv.(2) Große Abweichungen werden stärker

berücksichtigt als kleine Abweichungen.

minyyN

i ii 1

2ˆ

Strukturformel der Linearen Regression

wobei b für die Steigung und a für den y-Achsen-Abschnitt steht.

axby Allgemeine Funktion einer Gerade:

xyixyi axby ..ˆ

Abschnitt)-Achsen-(y Konstante additive:

iPerson der Wert x:

(Steigung)nt skoeffizieRegression:

iPerson der Wert ygter vorhergesa:ˆ

.

.

xy

i

xy

i

a

x

b

y

mit

Bei der Regression schreibt man:

Voraussetzungen der linearen Regression

Folgende Voraussetzungen müssen erfüllt sein, damit eine lineare Regressionsanalyse berechnet werden darf:

(1) Die Variablen x und y müssen intervallskaliert sein

(2) Die Variablen x und y müssen normalverteilt sein.

(3) Die Homoskedastizität der Variablen muss gegeben sein.

(4) Die Residuen müssen unabhängig und normalverteilt sein.

Wichtig: Nur lineare Zusammenhänge dürfen berücksichtigt werden.

MULTIPLE REGRESSION

Problem:

• Komplexe Welt: Kriterium hängt meist nicht nur von einem Prädiktor ab.

• Zusammenhänge mit vielen Variablen. Und daher muss z.B. bei einer Vorhersage auch mehrere Variablen berücksichtigt werden.

Beispiel:

Sportliche Leistung kann nur präzise vorhergesagt werden

wenn viele wichtige Variablen miteinbezogen werden:

• Training, Talent, Umfeld, Psychologische Stabilität, Ehrgeiz usw…

Multiple Regression

Strukturgleichung: Multiple Regression

• Erweiterung der einfachen linearen Regression mehrere Prädiktorvariablen

• Bestimmung über die Methode der kleinsten Quadrate

ikikkiii

kikkiii

eaxbxbxby

axbxbxby

...23.12211

...23.12211

...

...ˆ

min)ˆ(1

2

1

2

N

ii

N

iii eyy

Regressionskoeffizienten (b)

• „b-Gewichte“ der einzelnen Prädiktorvariablen (auch Partialregressionskoeffizienten)

relatives Gewicht einer Prädiktorvariablen in der Vorhersage (Sprich: Wie wichtig ist eine Variable für die Vorhersage!

Z.B.: Trainingszeit hat einen großen Einfluss auf die Vorhersage einer Sportlichen Leistung (großes „b-Gewicht“). Die Anzahl der Topfpflanzen in der Wohnung dagegen nicht (sehr kleines „b-Gewicht“)!

221

2112

222

21

2121

11 11 xx

xxyxyx

x

yx

xx

xxyxyx

x

yx r

rrr

s

sb

r

rrr

s

sb

Die Regressionsgewichte können mit einem t-Test auf Signifikanz geprüft werden.

Konstante (a)

kxkxx xbxbxbya ...2211

Auch die Regressionskonstante wird mit einem t-Test auf Signifikanz geprüft!

Standardisierte Regressionsgewichte (β – Gewichte)

Die Regressionsgerade kann auch in einer standardisierten Form beschrieben werden:

kikkiii axbxbxby ...23.12211 ...ˆ

ikkiiyi zzzz ...ˆ 2211

unstandardisiert:

standardisiert:

Vorteil: Die Beta-Gewichte nehmen nur Werte zwischen -1 und +1 an. Sie können wie Korrelationskoeffizienten interpretiert werden.

Die additive Konstante (a) entfällt, da die zy einen Mittelwert von Null hat.

Biased Estimate & Capitalization of Chance

Bei einer Multiplen Regression werden eine Vielzahl von Korrelationskoeffizienten zwischen den einzelnen Prädiktoren und dem Kriterium berücksichtigt!

Diese Koeffizienten korrelieren aber möglicherweise auch miteinander (= Multikollinearität)!

Resultierendes Problem: R² überschätzt den Populationszusammenhang = „biased estimate“

Je mehr Prädiktoren in der Regression berücksichtigt werden, desto größer wird der „biased estimate“ (exponentieller Anstieg) = „Capitalization of Chance“

Biased Estimate & Capitalization of Chance

Bei einer Multiplen Regression werden eine Vielzahl von Korrelationskoeffizienten zwischen den einzelnen Prädiktoren und dem Kriterium berücksichtigt!

Diese Koeffizienten korrelieren aber möglicherweise auch miteinander (= Multikollinearität)!

Resultierendes Problem: R² überschätzt den Populationszusammenhang = „biased estimate“

Je mehr Prädiktoren in der Regression berücksichtigt werden, desto größer wird der „biased estimate“ (exponentieller Anstieg) = „Capitalization of Chance“

Faktoren die den biased estimate (Überschätzung der Multiplen Korrelation in anderen Stichproben bzw. der Population) beeinflussen:

1)Anzahl Prädiktoren • Je mehr Prädiktoren desto größer Verzerrung

= Cap. of .Chance

2)Höhe der Korrelationen zwischen den Prädiktoren • Je höher (=Multikollinearität) desto größer

Verzerrung

3)Stichprobengröße • Je größer desto kleiner die Verzerrung

Lösungen: korrigiertes R², Kreuzvalidierung, N↑, nur relevante und möglichst unkorrelierte Prädiktoren aufnehmen.

Biased Estimate & Capitalization of Chance

Kreuzvalidierung einer Multiplen Regression

Korrigiertes R²

Schrumpfungskorrektur nach Olkin & Pratt:

22 ²)1(2

²)1(2

31ˆ R

KNR

KN

NR

40.)50(.17

2)50(.

15

171ˆ 22

R

Beispiel: k=3; N=20; R² = .50

SIGNIFIKANZPRÜFUNG

Signifikanztest der multiplen Regression

Die multiple Regression wird mit einem F-Test auf Signifikanz getestet. Der F-Test beruht auf einer Zerlegung der Varianz des Kriteriums in einen erklärten und einen nicht erklärten Teil.

resregtotal SSSSSS

Die Quadratsumme (SS = „sum of squares“) ist einunstandardisiertes Maß für die Variabilität.

2)( yySS i

n

iiires

n

iireg

n

iitotal

yySS

yySS

yySS

1

1

1

)²ˆ(

)²ˆ(

)²(

res

reg

resres

regreg

MS

MSF

KN

SSMS

K

SSMS

1

Quadratsummen

unstandardisiert:„Sums of Squares“

standardisiert:„Mean Sums of

Squares“

K: Anzahl der PrädiktorenN:Anzahl der Probanden

1df

n)Prädiktoreder (Anzahl df

:mit

,/1

/

/

/

2

1

22

12

2

1

kN

k

dfR

dfR

dfSS

dfSSF

res

regemp

Wenn Femp > Fkrit ist das Testergebnis signifikant

Die Prädiktoren weisen dann insgesamt einen bedeutsamen Zusammenhang mit dem Kriterium auf.

Signifikanztest der mult. Regression

1) Häufig in SPSS ausgegeben

2) Häufig in Studien / Texten angegeben

1) 2)

Signifikanztest - Beispiel

Y X1 X2

Y 1.0 .45 .60

X1 1.0 .30

X2 1.050

44.

66.2

21.

21.

N

R

R

xxy

xxy

/1

/

22

12

dfR

dfRFemp

46.18.012

.22

47/56.

2/44.empF

18.347;2 NdfZdfkritF

Es besteht ein bedeutsamer Zusammenhang zwischen dem Kriterium und den Prädiktoren! Die Prädiktoren können das Kriterium zuverlässig vorhersagen

STRATEGIEN BEI DER MULTIPLEN REGRESSION

STRATEGIEN

Inhaltliche Auswahl Alle möglichen Untermengen Vorwärtsselektion Rückwärtselimination Schrittweise Regression

AUFGABEN

AUFGABE 1

Eine Regressionsanalyse ergab folgende Zusammenhänge:

Koeffizientena

1,065 ,607 1,755 ,085

,033 ,011 ,314 3,065 ,004

,067 ,012 ,564 5,504 ,000

(Konstante)

Computerken.

Umgangsformen

Modell1

BStandardf

ehler

Nicht standardisierteKoeffizienten

Beta

Standardisierte

Koeffizienten

T Signifikanz

Abhängige Variable: zeugnisa.

AUFGABE 1Berechnen sie für die drei Personen mit folgenden Prädiktorwerten den vorhergesagten Kriteriumswert:- Computerk. 4, Umgangsformen 9- Computerk. 6, Umgansformen 6- Computerk. 8, Umgangsformen 3Nehmt an, dies sei das statistisch aggregierte Ergebnis eines Assessment-Centers und hohe Werte weisen auf hohe Eignung hin. Welchen der drei Bewerber stellt ihr aufgrund der vorliegenden Vorhersage seiner Passung zum Unternehmen ein? axbxbxby ikkiii ...ˆ 2211

LÖSUNG AUFGABE 1a) 4 x 0,033 + 9 x 0,067 + 1,065 = 1,8b) 6 x 0,033 + 6 x 0,067 + 1,065 = 1,67c) 8 x 0,033 + 3 x 0,067 + 1,065 = 1,53

Bewerber a), da er die höchsten Werte und damit voraussichtlich die beste Eignung aufweist.

AUFGABE 2Nennen sie die Vorteile der Standardisierung der Koeffizienten bei der multiplen Regression.

Die Beta-Gewichte nehmen nur Werte zwischen -1 und +1 an und können damit wie Korrelationskoeffizienten interpretiert werden – d.h. ihr relativer Einfluss auf die Vorhersage wird direkt und zwischen verschiedenen Vorhersagen vergleichbar deutlich.

AUFGABE 3Welche Vor- und Nachteile hat die Verwendung der Inhaltlichen Auswahl bei der Bestimmung der Anzahl der Prädiktoren für eine multiple Regression?

LÖSUNG AUFGABE 3

Vorteile:Hypothesengeleitetes VorgehenKeine Capitalization on Chance

Nachteile:Möglicherweise Aufnahme von mehr

Prädiktoren als unbedingt erforderlich (Prädiktoren, die keinen signifikanten Beitrag leisten)

Möglicherweise werden wichtige Prädiktoren „übersehen“ bzw. „vergessen“

ARBEITSBLATT AUFGABE 4

Eine Regressionsanalyse ergab folgende Zusammenhänge:

Berechnen Sie den vorhergesagten Wert für „Note“ für (a)eine Person mit rating02=3 und rating13=6, und (b) für eine Person mit rating02=8 und rating13=8.

axbxbxby ikkiii ...ˆ 2211

ERGEBNIS AUFGABE 4

ARBEITSBLATT AUFGABE 5

Eine Multiple Korrelation mit 3 Prädiktoren klärt 60% der Varianz des Kriteriums auf. Die Stichprobe besteht aus 40 Probanden. Ist dieser Zusammenhang signifikant?

1df

n)Prädiktoreder (Anzahl df

:mit

,/1

/

/

/

2

1

22

12

2

1

kN

k

dfR

dfR

dfSS

dfSSF

res

regemp

Fkrit = 2,92

ERGEBNIS AUFGABE 5

Der Zusammenhang des Kriteriums mit den Prädiktoren ist statistisch bedeutsam.

ARBEITSBLATT AUFGABE 6

Beschreiben Sie kurz das Vorgehen der „Rückwärts-Eliminierung“

ERGEBNIS AUFGABE 6

Zunächst werden alle Prädiktoren in die Regression eingeschlossen. In jedem Schritt wird jeweils der Prädiktor, der am wenigsten zur Vorhersage beiträgt, weggelassen. Diese Schritte werden wiederholt, bis es zu einer signifikanten Verschlechterung der Vorhersage kommt.

WICHTIGES AUS TERMIN 1

Multiple Korrelationen Ry.x1x2

Partialkorrelation rxy.z

Semipartialkorrelation rx(y.z)

• Inkrementelle Validität Suppressor-Effekt Multikollinearität

Multiple Regression Biased Estimate & Capitalization of Chance Kreuzvalidierung Signifikanzprüfung Strategien der Prädiktorauswahl

VIELEN DANK FÜR EURE AUFMERKSAMKEIT!

Bis nächste Woche… Schreibt euch Fragen auf wenn ihr welche habt…

Fragen an vogtkai@gmx.net

Psychoparteeey

Wann: Heute!!! Ab 22:00 UhrWo: RuefettoDJs: Kegelfreunde Oberschwieberdingen

Eintritt: 3 Euro