albert-ludwigs-universität freiburg seminar testkonstruktion dozent: leonhart referentinnen:...
Post on 05-Apr-2015
105 Views
Preview:
TRANSCRIPT
Albert-Ludwigs-Universität FreiburgSeminar TestkonstruktionDozent: LeonhartReferentinnen: Daniela Wahl, Sabine Hehn
Ermittlung von ItemrohwertenTrennschärfeanalyse
(Bühner Kap. 3.4, 3.5)
Ermittlung von Itemrohwerten
● 1. Definitionen● 2. Ermittlung des Itemrohwerts● 3. Verteilungsmaße● 4. SPSS● 5. Schwierigkeitsindex ● 6. Schwierigkeitskorrektur
1. Definitionen
Probandenrohwert● Wert einer Person über alle Items gemittelt● Einfache oder korrigierte Probandenrohwerte
Itemrohwert: ● gemittelter Wert aller Probanden bei der Beantwortung eines Items
●Skalenwert / Untertestkennwert:● Wie Itemrohwert, jedoch können die einzelnen Items unterschiedlich gewichtet sein
2. Ermittlung des Itemrohwerts mit Zufallskorrektur
Zufallskorrektur berücksichtigt die Anzahl der Antwortkategorien
Wird meist bei Leistungstests durchgeführt
Je größer die Anzahl der vorgegebenen Antwortkategorien, desto geringer die Wahrscheinlichkeit, hohe Itemrohwerte durch Raten zu erzielen
Ermittlung des zufallskorrigierten Personenrohwerts bei Mehrfachwahlaufgaben:
Xi = Ri – Fi / (m – 1), wobei m = Anzahl der Wahlmöglichkeiten Ri = Anzahl der Richtigen Fi = Anzahl der Falschen
3. Verteilungen: Maße der zentralen Tendenz und Dispersion
Normalverteilung: glockenförmiger Verlauf, symmetrisch. Zwischen einer Standardabweichung links und rechts vom Mittelwert liegen 68 % der Probanden, zwischen zwei 95 %.
Verteilungen werden durch Histogramme dargestellt. X-Achse: Item-, Skalen oder Testwert Y-Achse: Häufigkeit der Probanden (N oder N %)
Wichtigste Kennwerte: Maße der zentralen Tendenz: Mittelwert, Median, Modus/ModalwertMaße der Dispersion: Standardabweichung, Quartilsabstand, RangeZusätzlich: Schiefe, Exzess
Je nach Skalenart und Verteilungsform: unterschiedliche Maße zur Beschreibung der Skalen
3. Verteilungen: Maße der zentralen Tendenz und Dispersion
1) nominale / kategoriale Items: Modus2) ordinale Items: Median und Interquartilsabstand3) intervallskalierte Items: Mittelwert, Standardabweichung
Für den Median und den Interquartilsabstand können die Perzentile aus der Häufigkeitsverteilung abgelesen werden (SPSS: Analysieren, Deskriptive Statistiken, Häufigkeiten).
Perzentil: Punkt einer Verteilung, unter dem sich ein bestimmter Prozentsatz der Verteilung befindet
4. Prüfung auf Normalverteilung mit SPSS
Kolmogorov-Smirnov-Test + Inspektion (Histogramm) der Itemverteilungen
SPSS: Analysieren, Nichtparametrische Tests, K-S-Test bei einer Stichprobe. Haken bei Testverteilung Normal setzen. Variablen markieren, in das Testvariablen-Fenster einfügen, die zu prüfende Testverteilung angeben, auf OK klicken.
Weitere Auswertungsoptionen im Menü-Fenster K-S bei einer Stichprobe
Interpretation: Asymptotische Signifikanz (2-seitig) < .05 bzw. z > 1.96: signifikante Abweichung von einer Normalverteilung
Mögliches Problem: Stichprobengröße
5. Schwierigkeitsanalyse
Die Schwierigkeit eines Items hängt ab:
1) von der Anzahl der Probanden, die das Item falsch beantwortet haben2) von der Anzahl der Antwortalternativen.
Mehr Antwortalternativen: Ratewahrscheinlichkeit sinkt
Möglichkeit, den Effekt des Ratens zum Teil zu kontrollieren: Probanden darauf hinweisen, ein Item auch dann zu beantworten, wenn sie die Lösung nicht wissen
5. Schwierigkeitsindex ohne Korrektur (Persönlichkeitstests)
P = NR * 100 / N
wobei
NR
= Anzahl der Probanden, die die Aufgabe richtig gelöst habenN = Anzahl aller Probanden
Je höher der Prozentwert, desto leichter die Aufgabe
Beispiel:
P = 240 * 100 / 360 = 66.6
6. Schwierigkeitsindex mit Zufallskorrektur (Leistungstests)
PZK
= ((NR – N
F / (m-1)) / N) * 100
NF = Anzahl der Probanden, die die Aufgabe falsch gelöst haben
NR
= Anzahl der Probanden, die die Aufgabe richtig gelöst habenN = Anzahl aller Probandenm = Anzahl der Wahlmöglichkeiten
Bei Leistungstests wird eher geraten als bei Persönlichkeitstests.Problem: dichotome Items
Beispiel: PZK =
((240 – 120 / (5-1) ) / 360 ) * 100 = 58.3
6. Schwierigkeitsindex mit Inangriffnahmekorrektur
Ratekorrektur.Beispielsweise bei Intelligenztests oder bei zeitbegrenzten Niveautests, bei denen nicht alle Aufgaben von allen Probanden gelöst werden
PIK = N
R * 100 / N
B
NB = Probanden, die die Aufgabe bearbeitet haben
6. Schwierigkeitsindex mit Zufallskorrektur und Inangriffnahmekorrektur
Raten oder Zeitmangel werden berücksichtigt
PZK-IK
= (NR – (N
F / (m – 1)) / N
B) * 100
Beispiel:
PZK-IK =
(240 – (40 / 5-1)) / 280) * 100 = .82
6. Beziehung des Schwierigkeitsindex zu anderen Werten
Mittlere Schwierigkeiten begünstigen die Itemhomogenität (Interkorrelation der Items) und ermöglichen eine hohe Differenzierung zwischen den Probanden.
Extreme Schwierigkeiten ermöglichen eine Differenzierung in Randbereichen, führen aber meist zu reduzierter Homogenität und reduzierten Trennschärfen.
Darum wird eine breite Streuung der Schwierigkeitskoeffizienten angestrebt.
Ermitteln von deskriptiven Statistiken mit SPSS
SPSS: Statistiken, Zusammenfassen, Deskriptive Statistiken. Gewünschte Variablen markieren und übertragen. Optionen, gewünschte Statistik markieren.Bei deskriptiven Statistiken: Minimum und Maximum eignen sich, um Eingabefehler bei Fragebogendaten zu kontrollieren. Bei dichotomen Daten drücken Mittelwerte den relativen Anteil an Probanden aus, die das Item richtig beantwortet haben. Anteil mit 100 multipliziert: Schwierigkeitsindex. Schwierigkeitsindex mit Inangriffnahmekorrektur: für jedes nicht gelöste Item das entsprechende Feld im SPSS-Datenfenster leer belassen und für eine falsche Antwort „0“, für eine richtige „1“ eingeben. Schiefe und Exzess ermöglichen einen schnellen Check der Verteilungsform.
Trennschärfenanalyse
● 1. Begriffserklärung● 2. Berechnung von Trennschärfen● 3. Schwierigkeit und Streuung● 4. Fremdtrennschärfen● 5. Berechnung von Trennschärfen (SPSS)● 6.Trennschärfenanalyse (SPSS)● Beispiel: Freizeit
1.Begriffserklärung
● Trennschärfe: korrigierte Korrelation einer Aufgabe mit einer Skala (Prototyp)
● Eigentrennschärfe: Skala, die aus aufsummierten/gemittelten Items besteht (inhaltlich gleich)
● Fremdtrennschärfe: Korrelation mit anderen Kriterien
● Zwischen -1 und 1
1.Begriffserklärung● Part-whole-Korrektur: Eigentliches Item aus
Berechnung rausnehmen
● Auswirkung: bei vielen Items sinkt Einfluss der
Korrektur auf Trennschärfe, auch bei zunehmender
Homogenität (Redundanz)
● Negative Trennschärfen: wollen wir nicht, umpolen mit
SPSS
● Verzerrte Trennschärfen: durch extreme Streuungen
oder Ausreißer
1.Begriffserklärung
● Reliabilität: je ungenauer Erfassung desto unwahrscheinlicher hohe Trennschärfen
● Keine Transformationen nach „unten“, da wichtige Infos verloren gehen
2.Berechnung von Trennschärfen● Produkt-Moment-Korrelation
Intervallskalierte Items und Skala Gefahr bei Ausreißern und Extremwerten (artifiziell erhöhte
bzw. erniedrigte Korrelation (Streudiagramm)
r j(t-j) = rjt * St – Sj / (√ (S t² + Sj ² - 2*rjt * St * Sj))
mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t,
bei der Aufgabe j nicht berücksichtigt istrjt = Korrelation des Items j mit der Skala t Sj = Standardabweichung des Items jSt = Standardabweichung der Skala t
2.Berechnung von Trennschärfen
● Punktbiserale Korrelation Dichotome Items mit Intervallskala
r j(t-j) = rjt * St - √(pj * qj) / (√ (S t² + pj * qj - 2*rjt * St * √(pj * qj) )
mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t,
bei der Aufgabe j nicht berücksichtigt istrjt = Korrelation des Items j mit der Skala t pj = Schwierigkeitsindex des Items jqj = 1 - pj
St = Standardabweichung der Skala t
3.Schwierigkeit und Streuung
● Mittlere Schwierigkeiten am besten (beste Differenzierung)
● Bei Intervallskalenniveau Decken-, Bodeneffekte bei Ausnutzen der Streuung bis an den Rand
● Hohe Streuungen können hohe Trennschärfen begünstigen
3.Schwierigkeit und Streuung● Es können auch bei gleicher Schwierigkeit
unterschiedliche Trennschärfen auftreten
● ICC`s (Item Characteristic Curves) Je steiler Anstieg, desto größer Trennschärfe
● Homogen mittelschwere Items differenzieren am besten bei mittelschwerer Mermalsausprägung
● Bei mittelschweren Items größte Streuungen
ICC`s
4.Fremdtrennschärfen
● Fremdtrennschärfen maximieren Kriteriums-Validität eines Tests
● Eigentrennschärfen maximieren Homogenität eines Tests
● Unterschied zur Validität: Es werden nur einzelne Items mit Kriterium korreliert
5.Berechnung von Trennschärfen (SPSS)
● Analysieren/Skalieren/Reliabilitätsanalyse
● Entsprechende Items einfügen
● Itemlabels anzeigen, wenn nur Reliabilität ohne Trennschärfe berechnet werden soll
● Statistik: Haken bei: Deskriptive Statistiken/Skala, wenn Item gelöscht und Item (für Schwierigkeit)
6.Trennschärfenanalyse (SPSS)
● Mittelwerte (Schwierigkeit) und Streuungen betrachten
● Items mit geringen Trennschärfen senken Cronbach-Alpha (Reliabilität)
6.Trennschärfenanalyse (SPSS)
● Neue Datendatei öffnen: Itemnummer, Trennschärfe, Itemschwierigkeit, Itemstreuung
● Dann Streudiagramme: Grafiken/Streudiagramme/Einfach
1. Schwierigkeit und Trennschärfe 2. Schwierigkeit und Streuung 3. Streuung und Trennschärfe
6.Trennschärfenanalye (SPSS)● Zu 1.
Niedrige Trennschärfe kann auch mit der Verteilung des Items oder einer niedrigen Schwierigkeit zusammenhängen
● Zu 2. Hier kann man Decken- oder Bodeneffekt erkennen Es können auch extreme (hohe/niedrige) Schwierigkeiten
entdeckt werden ( bei niedrigeren Streuungen)● Zu 3.
Bei hoher Streuung und niedriger Trennschärfe weitere Analyse notwendig( z.B: Antwortstrategien mitHistogrammen aufdecken)
6.Trennschärfenanalyse (SPSS)
● Boxplot
● Zuerst: Summenwert einer Skala ohne Item berechnen: Transformieren/Berechnen/ Zielvariable benennen/alle Items außer betreffendes addieren
● Boxplot: Grafiken/Boxplot/Definieren/Variable: Summenwert/Kategorienachse: Item/Fallbeschriftung: Variable Vpn
● Median sollte ansteigen
Beispiel: Freizeit
Itemschwierigkeit Freizeit
5,0
4,8
4,6
4,4
4,2
4,0
3,8
3,6
3,4
3,2
3,0
2,8
2,6
2,4
2,2
2,0
1,8
1,6
1,4
1,2
1,0
,8
,6
,4
,2
0,0
Tre
nn
sch
ärf
e F
reiz
eit
1,0
,9
,8
,7
,6
,5
,4
,3
,2
,1
0,0
47
42
41
27
16
Beispiel: Freizeit
Itemschwierigkeit Freizeit
5,0
4,8
4,6
4,4
4,2
4,0
3,8
3,6
3,4
3,2
3,0
2,8
2,6
2,4
2,2
2,0
1,8
1,6
1,4
1,2
1,0
,8
,6
,4
,2
0,0
Ite
mst
reu
un
g F
reiz
eit
2,01,91,81,71,61,51,41,31,21,11,0,9,8,7,6,5,4,3,2,1
0,0
4742
41
27
16
Beispiel: Freizeit
Itemstreuung Freizeit
1,5
1,4
1,3
1,2
1,1
1,0
,9
,8
,7
,6
,5
,4
,3
,2
,1
0,0
Tre
nn
sch
ärf
e F
reiz
eit
1,0
,9
,8
,7
,6
,5
,4
,3
,2
,1
0,0
47
42
41
27
16
Beispiel: Freizeit
69601682N =
In meiner Umgebung habe ich ausreichende Möglichkeiten für die Freizeitg
54321
OH
NE
41
30
20
10
0
156102
134
Beispiel: Freizeit
14438312814N =
Neben meinem Beruf/Studium bleibt genug Zeit für Freizeitaktivitäten.
99954321
OH
NE
47
30
20
10
0
1412714747892
517594
8253
12065
23
top related