ww
w.g
oeth
e-univ
ersitaet.d
e
Kriteriumsorientiertes adaptives Testen an der Hochschule (KAT-HS)Andreas Frey, Aron Fink & Christian Spoden
Konzept zur Optimierung von Hochschulklausuren
1Operationalisierung
kompetenzorientierter Lernziele
2Kriteriumsorientierte Testwertinterpretation
3Verlinkung zwischen
Messzeitpunkten
4 Erhöhung und
Angleichung der Messpräzision
Ansatzpunkt: Substantielle Verbesserung aktueller Hochschulklausuren durch zielorientierte Verknüpfung des wissenschaftlichen Forschungsstandes aus den Bereichen Psychometrie, Educational Measurement und Pädagogische Psychologie.
Methodenforschung
Kontinuierliche Kalibrierungsstrategie (KKS) zur Kalibrierung von Itempools adaptiver Hochschulklausuren
im laufenden Lehrbetrieb
Materialien zur Dissemination der Projektergebnisse
1. Select link items for test cycle t
3. IRT-scaling using the responses of test cycle t
2. Administer test cycle t
4. Scale transformation of link item estimates of test cycle t
5. Check link items used in test cycle tfor IPD
Link itemswith
significantIPD?
Exclude drifted link items andestimate their parameters freely in
step 6a/6b.
6b. Fixed item parameter calibrationof test cycles 1,…,t
yes
no
7. Ability estimation for test takersfrom test cycle t
Less than twolink itemswithout
significantIPD?
Final item parameterestimates for test
cycle t
Final abilityestimates for test
cycle t
Undrifted link item parameter estimates
from test cycle t-1
6a. Concurrent calibration of testcycles 1,…,t
yes no Link item parameterestimates from test
cycle t
Transformed link Item parameter
estimates from testcycle t
Link item parameter
estimates fromtest cycle t-1
Zugehörige Publikationen:• Kontinuierliche Kalibrierungsstrategie (Fink, Born, Spoden & Frey, 2018)• Simulation zu Equating in der KKS (Born, Fink, Spoden & Frey, 2019)• Kontrolle von Itempositionseffekten in ILSAs (Frey & Fink, in Vorb.)
Abbildung 2: Flussdiagramm der KKS. Aus: Fink, Born, Spoden & Frey (2018, S. 332).
Abbildung 1: Stichproben- und Itempoolentwicklung in konventionellen Testprogrammen und unter Nutzung der KKS.
020406080
100120140160180
Neu
e Ite
ms
Testzyklus
Konventionell KKS
0
500
1000
1500
2000
2500
Stic
hpro
beng
röße
Testzyklus
Konventionell KKS
Implementationsforschung
Studierende- Studie 1: Online-Studie zum emotionalen Erleben vor der
Klausurbearbeitung in Abhängigkeit verschiedener Möglichkeiten zur Revision von Antworten (N = 1279)
Abbildung 2: Ergebnisse für die acht Versuchsbedingungen PBT = papierbasierter Test, CBT_FullReview = computerbasierterTest mit kompletter Item-Revision, CBT_ForcedCh = CBT ohne Item-Revision, CAT_FullReview = computerbasierter adaptiverTest mit kompletter Item-Revision, CAT_Salt = CAT mit Salt-Methode (Cui, Liu, He, & Chen, 2018), CAT_ForcedCh. = CATohne Item-Revision, CAT_ItemPocket = CAT mit Item Pocket-Methode (Han, 2013), CAT_BlockReview = CAT mit Block-Methode (Vispoel, Hendrickson, & Bleiler, 2000). Nutzung eines Vignettenansatzes. Within-Design mit je zwei Messungen undCounterbalancierung. Aus: Frey (2019).
- Studie 2: Studie zu Kontrollerleben & emotionalem Erleben während einer teiladaptiven Klausur (N = 82)
- Grundlage: Kontroll-Wert-Theorie der Leistungsemotionen (Pekrun, Frenzel, Götz & Perry, 2007)
Lehrende- Studie 3: Bundesweite Online-Studie zu Einflussfaktoren auf die
Intention zur Nutzung adaptiver E-Klausuren (N = 993)- Grundlage: Technologieakzeptanzmodell (TAM; Davis 1989)
Modellfit:χ² (df)= 5122.318 (3324),CFI = .947TLI = .948, SRMR = .095RSMEA = .033 (90%KI .031/.35)
Computerbez.Selbstw.
Computer-ängstl.
Medien-nutzung in
Lehrveranst.
GünstigeRahmenbed.
Wahrg. Nützlichkeit
Subjektive Norm
Intention zur Nutzung
-.501*/ -.482*
.453*/
.428*
.241*/ .259* .782*/.879*
.521*/
.238*
Abbildung 3: Multigruppen-Strukturmodell zur Vorhersage der Intention zur Nutzung von E-Klausuren (Nekl = 494)/adaptiven E-Klausuren (Nad = 498). *p < .01. Aus: Fink, Spoden, Born, & Frey (2019).
Studiendekane und IT-Verantwortliche- Studie 4: Interviewstudie zu Hinderungsgründen
Buchpublikation Konzept Onlineportal Klausursoftware Workshop (Präsenz + VoD)