e-assessments und online prüfungen
Post on 06-May-2015
1.220 Views
Preview:
DESCRIPTION
TRANSCRIPT
© Karsten D. Wolf 2007
E-Assessments und Online-Prüfungen: Quantitative Bewältigungsstrategie oder qualitatives Entwicklungspotenzial der Hochschullehre?
Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer Lernumgebungen
© Karsten D. Wolf 2007by: CarbonNYC
UmstellungBachelor-/Master-Struktur
verstärkter MassenbetriebBildungskanon ➙ Kompetenzen
© Karsten D. Wolf
Schätzung für Universität Bremen
• 12 Fachbereiche mit ca. 20.000 Studenten
• Mindestens 70K - 115K Prüfungen / Semester
• Tendenz steigend durch Umstieg auf BA/MA
• MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis)
• BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck)
• Eigene Auswahlverfahren für Studienanfänger
• Reduktion von 280 auf 230 Professor(inn)en
• ca. 500 Prüfungsleistungen pro Semester pro Professor
© Karsten D. Wolf
E-Selection, E-Recruitment & Self-Assessment
• Elektronisch unterstützte Auswahlverfahren für BA und MA
• Uni Bremen WiSe 2006: 2355 Studienanfänger
❖ wachsende Anzahl von Master-Studiengänge
Quelle: Bücking 2008 (ZMML Uni Bremen)
© Karsten D. Wolf
Der Weg zum Testcenter an der Uni Bremen
Quelle: Schwedes 2008 (ZMML Uni Bremen)
Quelle: Schwedes 2008 (ZMML Uni Bremen)
Quelle: Schwedes 2008 (ZMML Uni Bremen)
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
© Karsten D. Wolf 2007
Quelle: Schwedes 2008 (ZMML Uni Bremen)
Quelle: Schwedes 2008 (ZMML Uni Bremen)
Quelle: Schwedes 2008 (ZMML Uni Bremen)
Quelle: Schwedes 2008 (ZMML Uni Bremen)
Quelle: Bücking 2008 (ZMML Uni Bremen)
© Karsten D. Wolf
Zusammenfassung: Wann ist das sinnvoll?
• Mehr als 300 Kandidaten pro Prüfung
• Mehr als 50 Rechner pro Raum
• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen
• Alternative offene Formate: Lesbarkeit + Vorkorrekturen
• Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung
• Alternativen: Kooperation von Autorinnen und Autoren
• Alternativen: (Vor-)Erstellung von Items durch Studierende
Quelle: Bücking 2008 (ZMML Uni Bremen)
Quelle: Bücking 2008 (ZMML Uni Bremen)
Quelle: Bücking 2008 (ZMML Uni Bremen)
© Karsten D. Wolf
Pro und contra: Studenten
• Sofortige Bereitstellung des Prüfungsergebnisses
• Objektive, transparente und fehlerfreie Klausurbewertung
• differenziertes Feedback
• vereinfachte Vorbereitung durch online-Training unter Verwendung der gleichen Fragenkataloge
• Benachteiligung von Personen mit geringerer Computerkompetenz (digital literacy, 10-Finger-Schreiben)
• Benachteiligung von Personen mit negativer Einstellung zu Computern
• Probleme bei der Konzentration (Computermonitor, Lüfterlärm, Tastaturgeklapper…) ➙ Stress?
• Datenschutz?
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
Pro und contra: Lehrende / Prüfungsautor(inn)en
• Enorme Arbeitsentlastung durch automatische Auswertungsverfahren & Verwaltung
• Effiziente Unterstützung bei Freitextfragen-Korrektur
• Wiederverwendbare und „kollaborative“ Fragenkataloge
• Qualitätssicherung und -verbesserung
• Hoher Initialaufwand zur Digitalisierung vorhandener Fragen und Aufbau eines hinreichend großen Fragenkataloges
• Prüfungsdesign wird durch Technik beschränkt
• technische Manipulationsmöglichkeiten (während und vor der Prüfung)
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf
Pro und contra: Allgemein
• Kosteneinsparung
• Mögliche Erstellung komplexer und interaktiver Fragen durch Multimediaelemente
• Stabilität & Zuverlässigkeit
• Qualitätsverlust des Studiums durch reine Wissenstests
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf 2007by: CarbonNYC
UmstellungBachelor-/Master-Struktur
Input ➙ OutputBildungskanon ➙ Kompetenzen
© Karsten D. Wolf 2008
Definition Kompetenzen (Weinert)
“Die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können” (Weinert 2002, S.27f)
© Karsten D. Wolf 2008
Prinzipielles Problem
• Operationalisierung
• Messung
• Bewertung
Je komplexer eine Kompetenz ist,
desto weniger validierte Instrumente
sind vorhanden!
© Karsten D. Wolf 2008
Gütekriterien für Tests: Heins Helmtest
Objektivität
Reliabilität
Validität
✔
✔
✘
© Karsten D. Wolf 2008
Gütekriterien für universitäre Prüfungen?
Objektivität
Reliabilität
Validität
?
??
???
100kg80kg60kg40kg
Wie „schwer“ ist eine Aufgabe?
100kg
80kg
60kg
40kg
Maximalkraft?
100kg
80kg
60kg
40kg
Maximalkraft?
Θ=40 Θ=60 Θ=80 Θ=100
© Karsten D. Wolf
Kurve der Itemcharakteristik (ICC)
Θ 40 60 80 100
0%
50%
100%60kg Gewicht
p(x)
© Karsten D. Wolf
Kurve der Itemcharakteristik (ICC)
Θ 40 60 80 100
0%
50%
100%60kg Gewicht
80kg Gewicht
p(x)
© Karsten D. Wolf
Kurve der Itemcharakteristik (ICC)
Θ 40 60 80 100
0%
50%
100%60kg Gewicht
80kg Gewicht
Aufgabe (Item)ist schwerer
p(x)
© Karsten D. Wolf
Kurve der Itemcharakteristik (ICC)
Θ 40 60 80 100
0%
50%
100%60kg Gewicht
80kg Gewicht
Aufgabe (Item)ist schwerer
p(x)
© Karsten D. Wolf
Raschmodell: „Kompetenzstufen“
Θ
0%
50%
100%
-2 -1 0 1 2
I II III IV
cc by Karsten D. Wolf 2008
Frage: Auf welchen Taxonomiestufen können E-Assessments messen?
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwenden
Analysieren
Evaluieren
Erzeugen
© re
vcru
z @
flic
kr
© Karsten D. Wolf 2007
We want credit points!
© Karsten D. Wolf
Test Wiseness Test
In which pifflerock did zorkrans inkle?
(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
Test Wiseness Test: Wiederholung aus Wortstamm
In which pifflerock did zorkrans inkle?
(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
Test Wiseness Test
Wenn hier eine Frage stände,was wäre die richtige Antwort?
(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
Test Wiseness Test: odd one out
Wenn hier eine Frage stände,was wäre die richtige Antwort?
(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
Test Wiseness Test
Hixek norfolken piffle?
(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan
hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
Test Wiseness Test: Längste Alternative
Hixek norfolken piffle?
(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf 2007by: CarbonNYC
Umstellung KompetenzenBachelor-/Master-Struktur
Wissenverstärkter MassenbetriebBildungskanon ➙ Kompetenze
schlechtes Assessment n
© Karsten D. Wolf
Gegenmaßnahmen
• Schulung der Autoren / Autorinnen
• Bessere Distraktoren
• Höhere Taxonomiestufen
• Confidence-Based Marking (Gardner-Medwin 2006)
• Übersaturierte Antwortauswahl per Drop-Down
• Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten
© Karsten D. Wolf
Testformen (angelsächsisch)
Perceptions of Assessment (MacLellan 2002)
© Karsten D. Wolf
Testformen (angelsächsisch)
Perceptions of Assessment (MacLellan 2002)
AufsatzLernjournaleKlausuren mit kurzen FragenSeminarbeiträgePräsentationen
Testverfahren
standardisiert nicht-standardisiert
Psychometrisch(z.B. PISA)
Holistisch(z.B. CLA)
Traditionell(z.B. Klausuren)
Alternative Assessment
(z.B. Portfolio)
formativ
© Karsten D. Wolf 2008
Quelle: Johannes Hartig & Nina Jude 2007, S.30
© Karsten D. Wolf
Collegiate Learning Assessment(Klein / Benjamin / Shavelson / Bolus 2007)
http://www.cae.org/content/pro_collegiate.htm
© Karsten D. Wolf
Diagnostische Fragen: Eignungsdiagnostik
Eigenschaften
Verhalten Ergebnisse
Test
Simulation Biographie
Schuler & Höft 2001
Simulation
Simulation
© Karsten D. Wolf 2007
Simulation
Authentic Assessment
Präsenz
PräsenzELearning Word
Blackboard
Online
PS 2
PS 3
Blended Assessments
Formative Assessment
© Karsten D. Wolf 2008
„Neue“ Methoden / alternative assessment
• Portfolio
• Lernkontrakte
• Beobachtungen im Prozess
• Selbstbewertung, wechselseitige Bewertung & beauftragte Bewertung
© Prof. Dr. Karsten D. Wolf
T
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
2 2 2 2 2
2 2 2 2 2
2 2 2 2 2
2 2 2 2 2
1 1 1 1 1
2 2 2 2 2
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
ST ST
T
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
2 2 2 2 2
2 2 2 2 2
2 2 2 2 2
2 2 2 2 2
1 1 1 1 1
2 2 2 2 2
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
ST ST
T
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
2 2 2 2 2
2 2 2 2 2
2 2 2 2 2
2 2 2 2 2
1 1 1 1 1
2 2 2 2 2
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
3 3 3 3 3
ST ST
Phase 1 Phase 2 Phase 3
© Karsten D. Wolf 2008
„Neue“ Methoden / alternative assessment
• Lerntagebücher
• Leistungspräsentation
• Rückmeldebögen (Rubrics)
• Bewertungskonferenzen
• Zertifikate
Formative Assessment
© Karsten D. Wolf 2008
Portfolio
• Leistungen sowie Lern- und Arbeitsprozesse von Schülern / Studenten werden dokumentiert (inkl. Beschreibung und Reflexion der Schüler)
• Betrifft alle Dimensionen
• Auch “Leistungsmappe” (Vierlinger) in den 70ern
• USA: hohe Verbreitung, die Alternative
© Karsten D. Wolf 2008
Kurs-Portfolio
• Sammlung aller möglichen Kurzprodukte reicht nicht
Kurshefter, Arbeitsjournal, Arbeitsheft
• Es bedarf zusätzlich
• reflexiver Praxis
• Auswahl zur Dokumentation der Leistung bzw. Leistungsentwicklung
• Unterschiedliche Auswahl (Beste + schlechteste, besten, unterschiedlichsten etc.)
© Karsten D. Wolf 2008
Auswirkung auf Didaktik und Methodik
• Umgestaltung des Unterrichts
• offene, aktive Formen
• Lehrende als Lernbegleitende und Lernberatende
• differenzierte und individualisierte Arbeit
• Interessen der Schüler_innen können besser entsprochen werden
• angepasstes Arbeitstempo
© Karsten D. Wolf 2008
ePortfolio
• webbasiertes Portfolio
• Sammlung von Einlagen in digitalisierter Form
• Unterstützung bei Verwaltung der Einlagen
• Unterstützung bei der Reflektion (Vorlagen für Deckblätter etc.) und ggf. auch bei der Bewertung (Bewertungsbögen)
• Unterschiedliche Zugangsrechte
• Pädagogische Ziele entsprechen den klassischen Portfolios
© Karsten D. Wolf
Innovationsbereiche beim E-Assessment
• Simulation
• Realitätsnähe
• Feedbackkomponenten
• Explorationsmöglichkeiten
• Automatisierte Bewertung von Essays
• Verbesserung der Messmodelle (Rasch Skalierung)
• Verkürzte Prüfungen (adaptives Testen)
• Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen.
• Autorenwerkzeuge für fachspezifische Tests/Sims
© Karsten D. Wolf
Innovationsbereiche beim E-Assessment
• Summative Tests werden in den Lehr-Lern-Prozess integriert
• Einbindung in E-Portfolios
• Kompetenzmessung in Gruppen
• Transfer wird durch authentische Aufgaben erleichtert
• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden
• Keine speziellen Prüfungen mehr notwendig
• Durch Testbänke keine festen Prüfungstermine mehr
• Kombination in Form von Blended Assessment
cc by Karsten D. Wolf 2008
Ausgangsfrage: E-Assessments können auf allen Taxonomiestufen eingesetzt werden
Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy
Erinnern
Verstehen
Anwenden
Analysieren
Evaluieren
Erzeugen
• Formative Bewertungsverfahren
• Alternative Verfahren werden praktikabel
• Unterstützung auch bei offenen Formate
• Dialog über Prüfungsqualität
© Karsten D. Wolf 2007
FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung
multimedialer Lernumgebungen
http://www.ifeb.uni-bremen.de/wolf
wolf@uni-bremen.de
http://www.ifeb.uni-bremen.de/assessment/
top related