theorie psychometrischer tests, ii u. mortensen mainz 2009

Theorie psychometrischer Tests, II

U. Mortensen

Mainz 2009

Latente Variable und Antwortwahrscheinlichkeiten

1, Frage beantwortetgX

0, Frage nicht beantwortetgX

( ) ( 1| )g gF P X Item Characteristic FunctionItem Response FunctionItemfunktion

Skala für latente Variable

Notation: Lord & Novick (1968)

(Indikatorvariable)

Monotone Itemfunktionen

Spezialfall: deterministisches Antwortverhalten (Guttman-Skalen)

Je steiler die Itemfunktion, desto größer die Trennschärfe des Items!

probabilistisches Anwortverhalten


Sich schneidende Itemfunktionen:

I3 für kleinere Merkmalsausprägungen schwieriger als I2, für größere ist I3 leichter als I2.


Wichtige Merkmale von Itemfunktionen:

Je steiler die Itemfunktion, desto besser werden Probanden mit verschiedenen Merkmalsausprägungen relativ zu einer bestimmten Ausprägung M getrennt; die Itemfunktion definiert die Trennschärfe des Items.

Steile Itemfunktionen trennen kaum zwischen Probanden mit einer Merkmalsausprägung kleiner als M und größer als M.

Flache Itemfunktionen trennen im gesamten Wertebereich des gemessenen Merkmals.

Je weiter „rechts“ die Itemfunktion auf der Merkmalsskala ist, desto schwieriger ist das Item.


Modelle für Itemfunktionen: das Ogive- und das logistische Modell

1. Das Ogive-Modell

2

( )

/2

( ) [ ( )]

( )

1( ) , 0.

2

g g

g g g

b

zg

F b

z dz

z e

Das Modell ist definiert durch die Verteilungsfunktion der Gauß-bzw. der logistischen Dichte, wird aber als Funktion des Parameters theta aufgefaßt!

2.Das logistische Modell:

( )

( )( )1

g g

g g

b

g b

eF

e


Die logistische Funktion als Approximation an die Gauß-Funktion


Interpretation der Parameter:

( )

( )( )1

g g

g g

b

g b

eF

e

( ) [ ( )]g g gF b

, ,

, ,

J e größer desto steiler ist dh ist Trennschärfeparameter

J e größer desto weiter rechts liegt dh ist Schwierigkeitsparameterg g g

g g g

F

b F b

Ogive-Modell Logistisches Modell

Generell gilt


Zur Deutung der Itemfunktion:

unterliegende Variablen (underlying variables – Bartholomew 1987)

Ansatz: das Merkmal/die Fähigkeit fluktuiert zufällig, ist es zum Zeitpunkt der Messung größer als ein kritischer Wert, wird das Item beantwortet bzw. die Aufgabe gelöst.

zufällige Variable, die die Ausprägung des Merkmals repräsentiert.

Für wird die Frage beantwortet/Aufgabe gelöst.a

a g

( 1| ) ( | ) ( )a a g gP X P F

( | ) ( ) ( ( ))ga g g gP b

Analog für die logistische Verteilung

( | ) ( ) ( ( ))ga g g gP b

1/ , dh Trennschärfe ist reziprok zur Streuung des Merkmals

bg g

g g

Monotone Itemfunktionen Interpretation durch unterliegende Variablen

Bei geringer Streuung ist die Trennschärfe groß, bei großer Streuung ist sie klein.

' .307gg

Aber: man hat in der Tabelle weibliche und männliche Probanden zusammengefasst!

Monotone ItemfunktionenLokale stochastische Unabhängigkeit

'

Vierfeldertafel für den Zusammenhang zwischen Items und g gI I


Auszählung für weibliche und männliche Items getrennt:

Die Korrelationen zwischen Ig und Ig‘ sind nun jeweils gleich Null, d.h. für „konstantes Geschlecht“ hat man lokale stochastische Unabhängigkeit!

Monotone ItemfunktionenLokale stochastische Unabhängigkeit

, xz xz x yz yz yX b Z a e Y b Z a e

( , | ) 0Kov X Y Z z

( , ) 0x yKov e e

Für Z = z sind X und Y „lokal stochastisch unabhängig“.


Lokale stochastische Unabhängigkeit

Definition: Die Beantwortungen der Items eines Tests sind lokal stochastisch unabhängig voneinander, wenn die Verteilungen der Punktwerte für alle Items für alle Personen mit gleicher Merkmalsausprägung stochastisch unabhängig sind.

Klassische Testtheorie

Ansatz: Einer Antwort wird ein numerischer Wert X – der Score - zugeordnet. Der Testwert ist die möglicherweise gewogene Summe der Scores für die einzelnen Items

( ) ,

ist "wahrer Wert", ist "Fehler"

X

E X

Grundannahme:

Klassische Testtheorie

Implikationen der Grundannahme:

(1) ( ) 0

(2) ( , ) 0

(3) ( , ) 0

(4) ( , ) 0

x y

x y

E

Kov

Kov

Kov

Diese Aussagen werden seit Gulliksen (1950) als „Axiome“ der Klassischen Testtheorie (KTT) bezeichnet.Es sind aber keine Axiome, sondern Folgerungen aus der Grundannahme.

Klassische TesttheorieReliabilität

Reliabilität und ihre Abschätzung:

Reliabilität: der Test misst das Merkmal, das er misst, genau.

Operationalisierung: Der Test misst genau, wenn die Korrelation zwischen den Messwerten und den wahren Werten hoch ist.

( 1, 0) X

2 heißt Reliabilitätskoeffizientx

2 22

2 2, 1 d.h. x x

x x x x

2 22

2 21 x

x x

Reliabilität:


Zur Berechnung muß oder bekannt sein!

Intuitive Betrachtung:

Gegeben seien zwei Tests mit Messwerten X und X‘, die beide das gleiche Merkmal messen – daraus müßte sich eine Abschätzung der Varianz der tau-Werte ergeben!


' '

( , ') [( )( ' ')]( , ')

x x x

Kov X X EX X

'( ) , ( ') sind die Populationserwartungswerte

für die beiden Tests.x xE X E X

'

(1) '

(2)

Es gelte:

Dann heißen die Tests X und X‘ parallel.


22

2( , ') ( )

Für parallele Tests gilt:

= Relxx

X X X

'

.

Die Korrelation zwischen und ist gleich

dem Quadrat der Korrelation zwischen und

X X

X

Klassische TesttheorieKongenerische, äquivalente und parallele Tests

Die Abschätzung der Reliabilität eines Tests setzt die Konstruktion eines parallelen Tests voraus!Also eines Test mit gleichem Erwartungswert und gleicher Varianz.

1, ,

( ) , ( , ) ( , ) 0.

.

Es seien Tests gegeben, mit

X ,

Weiter

gelte

j j j

j j j j j k

j j j

n

j n

E X Kov Kov

Dann heißen die Tests kongenerisch.

Klassische TesttheorieKongenerische, äquivalente und parallele Tests

( ) ( ) 0

( , ) 0,

Gilt darüber hinaus noch , und

so heißen die beiden Tests parallel.j k j

j k

Var X Var X

Kov

1, 0 ( , ) 0,Gilt und so heißen die

beiden Tests essentiell -äquivalent.j j j kK

Für irgend zwei Tests Tj und Tk gelte

theorie psychometrischer tests, ii u. mortensen mainz 2009

Documents