dr. andreas müller lmu münchen, institut für pädagogik, bildungs- und sozialisationsforschung

Prof. Dr. Hartmut Ditton

Dr. Andreas MüllerLMU München,Institut für Pädagogik, Bildungs- und Sozialisationsforschung

Prüfungen als Lerngelegenheit für Studierende und Lehreinheiten

Vortragstag „Lehre im Fokus: Prüfungen“ an der Universität Erlangen am 22. Juli 2011

# 222. Juli 2011Dr. Andreas Müller

Allgemeiner Einstieg:

1. Prüfungen im Anschluss an Bologna

2. Funktionen von Prüfungen

3. Prüfungen als Lerngelegenheit

Praxisbeispiel:

4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare

5. Praktische Erfahrungen und Überprüfung des Modells

6. Künftige Herausforderungen

Gliederung



Veränderung der Prüfungslandschaft in Folge der Bolognareform,- ein Beispiel:

Zunahme der Prüfungsdichte• Ø-Semester: 5,4 bis 5,9 (Witte et al, 2010)• z.B. BA Studiengang Pädagogik/ Bildungswissenschaften (LMU München):

drei- bis viermal so viele Prüfungen wie im Hauptfach Magisterstudiengang Pädagogik

Gesteigertes Publikationsinteresse zum Themenfeld „Prüfen“


Prüfungs-VOR-bereitung

Güte schriftlicher (Dubs 2006) &mündlicher Prüfungen (Stary 2006)

Vergleichbarkeit von Prüfungen & Noten (Kurz 2010)

Standardisierung &Automatisierung von Prüfungen

(Hees et al. 2008; Reepmeyer 2008)

Prüfungs-Durchführung

Innovative Prüfungsformen (Brinker 2007)

Kompetenzorientierung &Prüfungsmethodik

(vgl. Dany et al. 2008)

Stressbewältigung der Studierenden (Knigge-Illner 2007;

Köster et al. 2005)

Prüfungs-NACH-Bereitung

?

Fokus auf Prüfungs-VOR-bereitung und -durchführungGesamter Prüfungszyklus inkl. NACH-bereitung bislang nicht betrachtet



2. Funktionen von Prüfungen

# 5Dr. Andreas Müller

Lernen & Entwicklung

(„Assessment FOR Learning)

Selektion

(„Assessment OF Learning“)

Her

rsch

aft &

So

zial

isat

ion

Studierende Lehreinheiten

(Ainsworth & Viegut 2006; Flechsig 1976)

# 622. Juli 2011Dr. Andreas Müller # 6

Prüfungs-VOR-bereitung

FeedforwardLernziele (=Standards)

setzen und kommunizieren

Ad hoc Lernstandserhebungen

(Inhaltliche Homogenisierung)

Prüfungs-NACH-Bereitung

FeedbackRückmeldungen an Studierende

(schriftlich, mündlich)

Rückmeldung an Lehreinheit:• Lerndefizite;

• Wiederholungseffekte;• Wirkungen von

Unterstützungssystemen;• „Dozenteneffekte“

Prüfungs-Durchführung

Fragen strukturieren

( Lernzieltaxonomie z.B. nach Anderson & Krathwohl 2001)


Kritisches Beispiel:3 versus 4 Erziehungsstile bei Baumrind

# 701.02.2010Dr. Andreas Müller


„Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung?

Vorlesung (Professorin)

Professorin

Mitarbeiter A

Mitarbeiter B

Mitarbeiter C

Mitarbeiter D

Beg

leit-

übun

gen

Professorin Mitarbeiter A Mitarbeiter B Mitarbeiter C Mitarbeiter D1.0

1.5

2.0

2.5

3.0

3.5

4.0



Dozenten der Begleitseminare zur Vorlesung

Not

en in

der

MC

-Kla

usur

Keine besseren Ergebnisse bei Professorin

Bessere Ergebnisse bei „Wiederholern“

„Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung?



Praxisbeispiel:Erweiterter Prüfungs- und Feedbackzyklus für Seminare



2. Nach einer Veranstaltungssitzung1. In der Veranstaltung0. Vor oder in der Veranstaltung

3. Nach der Veranstaltung

1.3Prüfungs-situation:

Beobachtung & Bewertung

1.1Beobachtungs-

kriterien & Standards

kommunizieren

(Feedforward)

1.2Zielklärung & Verständnis-

sicherung

0.1Beobachtungs-

kriterien identifizieren

0.2Bewertungs-

standards festlegen

2.1Rückmeldung

der Beobachtung &

Bewertung

(qualitatives Feedback)

3.Feedback zum

Feedback durch die

Studierenden(Metafeedback)

Doz

ent

(qua

l. Fe

edba

ck)

Sem

inar

teiln

ehm

er(q

uant

. Eva

luat

ion)

2.2Rückmeldung

der Beobachtung (quantitatives

Feedback)

1.3Seminar-situation:

Beobachtung

1.3Referent/Prüfling:

Selbst-beobachtung

0.1Beobachtungs-

kriterien identifizieren

2.3Auswertungs-

gespräch

(Tutor)


Beispiel für Beobachtungs- und Bewertungsstandards


Personale Ebene Beobachtungskriterium Bewertungsstandard

Körpersprache Unterstützende Gestik Moderationsfähigkeit Aktives Eingehen auf Fragen

Inhaltsdarstellung Wichtige Inhalte identifiziert und korrekt dargestellt

Zielgruppenorientierung Vorwissen der Tn. berücksichtigt

VOR IN NACH NACH


Schritt 2.1. qualitatives Dozentenfeedback:

Zahlreiche Reviews zur lernförderlichen Gestaltung von mündlichen Rückmeldesituationen

(z.B Hattie & Timperley 2007; Kluger & DeNisi 1996; Mory 2003; Müller, 2010, Nicol & Macfarlane-Dick 2006; Sippel 2009)

• Zeitliche Trennung von Note und Feedback• Direkte soziale Vergleiche vermeiden

VOR IN NACH NACH



Schritt 2.2. quantitatives Peer-Feedback (allg. Teil) & Selbstbeobachtung:1. Teil: Allgemeine Einschätzung zur Referentengruppe

5

5

4

3,64

4,11

4,28

4,35

4,55

3,8

1 2 3 4 5

Einleitung hat Interessegeweckt

Medieneinsatz Themagut veranschaulicht

Nach Referat Gefühletwas gelernt zu haben

stimme überhaupt nicht zu stimme voll zuMuster; N = 20Kurs; N = 43-44

Selbsteinschätzung

Signifikanzniveau: * = p < 0,1; ** = p < 0,05; *** = p < 0,01

** ** ***

3

4

5

3

5

5

4,05

4,25

4,3

3,33

4,25

4,21

1 2 3 4 5

Zusammenhänge wurden gut erklärt

Referat war gut strukturiert

Inhalt hat ans Vorwissen angeknüpft

Wesentliches wurde am Ende nochmalzusammengefasst

Durch Aufbereitung des Themas wurde Motivationzur Mitarbeit geweckt

Eingesetzte Methoden Lernprozess unterstützt

stimme überhaupt nicht zu stimme voll zu

Muster; N = 18-20

Selbsteinschätzung



40

26

2

2

26

16

8

4

8

5

23

23

4

0

38

35

3

1

9

14

0% 20% 40% 60% 80% 100%

Bewertung durchKommilitonen unangenehm

Bewertung durch Dozentenunangenehm

Signifikanzprüfungnachvollziehbar

Sozialer Vergleich sinnvoll

stimme gar nicht zustimme eher nicht zuteils/ teilsstimme eher zustimme voll und ganz zu


Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer:

(Angaben aus 3 Kursen Tn-Ninsg. = 45-81)




(Angaben aus drei Kursen, Tn-Ninsg. = 45-48)

Skalierung:1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu

3,023,11

2,722,87 2,83 2,89

2,35

4

4,46

3,42 3,333,54

4,63

1,34

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

GESAMT Hilfreiche Hinweise für künftige

Referate

Motivation andereMethode zuverwenden

MotivationPräsentation zu

verändern

Motivation Aufbauzu veränden

Verständlich Überflüssig

schriftliche Rückmeldungmündliche Rückmeldung


Schriftliche Rückmeldung - Kursvergleich

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

SCHRIFTLICHGESAMT

Hilfreiche Hinweise für künftige

Referate

Motivationandere Methode

zu verwenden


verändern

MotivationAufbau zuveränden


Kurs AM 5. Semester (N = 15)Kurs AM 3. Semester (N = 8-11)Kurs XY 1. Semester (N = 22)





Schriftliche Rückmeldung - Kursvergleich

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

SCHRIFTLICHGESAMT

Hilfreiche Hinweise für künftige

Referate

Motivationandere Methode

zu verwenden


verändern

MotivationAufbau zuveränden


Kurs AM 5. Semester (N = 15)Kurs AM 3. Semester (N = 8-11)Kurs XY 1. Semester (N = 22)Kurs AM 1. Semester (N= 32)






"Wie schätzen Sie die folgenden Fragen ein"(1=gar nicht sinnvoll; 5 = sehr sinnvoll)

3,18 3,15

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

"Inhalt hat an Vorwissen angeknüpft"

Kurs XY 1. Semester (N = 22)Kurs AM 1. Semester (N= 34)

Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer:Eingesetzte Items werden von den Teilnehmern fast durchgehend als sinnvoll bewertet

"Wie schätzen Sie die folgenden Fragen ein"(1=gar nicht sinnvoll; 5 = sehr sinnvoll)

3,18 3,15

3,82 3,8

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

"Inhalt hat an Vorwissen angeknüpft"

Kurs XY 1. Semester (N = 22)Kurs AM 1. Semester (N= 34)Kurs AM 3. Semester (N = 11)Kurs AM 5. Semester (N = 15)



(N = 12-22)

Selbsteinschätzung der Referenten

Einfaktorielle ANOVA:F (23,417) = 4.713 (p = .000)



Zeitaufwand in/nach jeder Seminarsitzung:• Ausfüllen der quantitativen Evaluationsbögen: ca. 5 Minuten• Qualitative Rückmeldung durch den Dozenten: ca. 15 Minuten

Zeitaufwand für die Erstellung der quantitativen Rückmeldungen:• Kurs mit 25 Tn, 2 Referenten, Fragebogen ca. 20 Items, inkl.

Selbstbeobachtung• Aufwand ca. 100 Minuten pro Woche

Zeitaufwand für das Auswertungsgespräch:

Pro Woche und Referenten ca. 20 Minuten

StudentischeTutorin



Fazit:

Ressourcenperspektive: geringer zeitlicher & monetärer Aufwand

Forschungstheoretische Perspektive: • Studierende bewerten Stundengestaltungen ihrer Kommilitonen

differenziert (Hoffmann 2009)• Bedeutung von Instruktion bei Einsatz des Instruments

Adressatenperspektive: • Differenzen zwischen Fremd- und Selbsteinschätzung• Beide Rückmeldeformen werden bei zielgruppenorientierten Einsatz als

verständlich eingeschätzt, positiv bewertet und liefern Anregungen für den weiteren Studienverlauf


6. Künftige Herausforderungen

• Breite Anwendung von Bewertungskriterien und Standards in möglichst vielen Veranstaltungen eines Studiengangs Adaption in Abhängigkeit von Modulen & Semester !!!

• Längsschnittliche Verwendung von Prüfungsrückmeldungen im Studienverlauf Studienverlaufsportfolios

• zeitnahe Anwendungsmöglichkeit von Entwicklungshinweisen Mehrere Prüfungs- (Referats-) Situationen in einer Veranstaltung!?

Prüfung 1 Prüfung 2Vor-

bereitungDurch-führung

Nach-bereitung

Vor-bereitung

Durch-führung

Nach-bereitung


Vielen Dank für Ihre Aufmerksamkeit


Literaturangaben

• Brinker, T (2007). Verschiedene Prüfungsformen zur Beurteilung studentischer Kompetenzen. Abgerufen von Fachhochschule Bielefeld http://www.lehridee.de/data/doc/id_264/Pruefungsformen.pdf am 04.01.2011.

• Dany, S, Szczyrba, B & Wildt, J (Hrsg.). (2008). Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Düsseldorf: Ulrich Welbers.

• Dubs, R. (2006). Besser schriftlich prüfen. Prüfungen valide und zuverlässig durchführen. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H 5.1). Berlin: Raabe, S. 1-26.

• Flechsig, K-H (1976). Prüfungen und Evaluation. In: Blickpunkt Hochschuldidaktik, 40, S. 303-336.• Hees, F., Hermanns, A. & Huson, A. (2008). Prüfungserstellung mit Total Quality Management (TQM). In: Dany, S., Szczyrba, B. & Wildt, J. (Hg.), Prüfungen auf

die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Bielefeld: Bertelsmann Verlag, S. 129 - 141.• Hoffmann, A (2009). Studentische Lehrveranstaltungsevaluation. Ein Zerrbild der Qualität akademischer Lehre? . In: Empirische Pädagogik, 23(1), S. 19-49.• Knigge-Illner, H (2007). Prüfungsangst überwinden – Workshops der Psychologischen Studienberatung – Teil 2. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues

Handbuch Hochschullehre (H 2.4). Berlin: Raabe, S. 1–26.• Köster, S., Rupp-Freidinge, C. & Dieker-Müting, J. (2005). Angst vor der Prüfung. Wie Dozenten Prüfungsängste von Studierenden auffangen und mildern

können. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H. 2.2). Berlin: Raabe, S. 1-36.• Kurz, G. (2010). Qualitätssicherung in der Lehre durch angemessene Bewertung von Studienleistungen. In: Berendt, B., Voss, H.-P., Wildt, J. & Tremp, P. (Hg.),

Neues Handbuch Hochschullehre. Berlin: Raabe, S. 1-31.• Müller, A (2008). Feedback: Wirkmechanismen und Einsatz in der Personalentwicklung. Saarbrücken: VDM Verlag.• Müller, A (2010). Rückmeldungen nach Vergleichsarbeiten im Kontext des schulischen Qualitätsmanagements. Drei explorative Studien zu Gestaltung und

Rezeption im Anschluss an KOALA-S. Berlin: Mensch und Buch Verlag.• Müller, A. (2010). Prüfungen als Lernchance-Rückmeldungen in Hochschulseminaren. In, Neues Handbuch Hochschullehre. H 3.3. Berlin: Raabe Verlag, S. 1-26.• Rachow, A (2000). Spielbar. Bonn: Manager-Seminare May.• Reepmeyer, J.-A. (2008). Was kosten Prüfungen? Vereinfachung durch den Einsatz computergestützter Prüfungssysteme. In: Brocke, J. V. & Becker, J. (Hg.),

Einfachheit in Wirtschaftsinformatik und Controlling. München: Verlag Franz Vahlen S. 521-535.• Schulz von Thun, F (2004). Miteinander reden. 1. Störungen und Klärungen. Allgemeine Psychologie der Kommunikation. Hamburg: Rowohlt Verlag.• Sedlmeier, P (1996). Jenseits des Sigifikanztest-Rituals: Ergänzungen und Alternativen. In: Methods of Psychological Research Online, 1(4), S. 41-63.• Stary, J. (2006). "Doch nicht durch Worte allein..." Die mündliche Prüfung. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschulforschung (H

2.1). Berlin: Raabe, S. 1-17.• Thömmes , A (2006). Unterrichtseinheiten erfolgreich abschließen. Mülheim an der Ruhr: Verlag an der Ruhr.• Wissenschaftsrat (2008). Empfehlungen zur Qualitätsverbesserung von Lehre und Studium. Abgerufen von

http://www.wissenschaftsrat.de/download/archiv/8639-08.pdf am 04.01.2011.• Witte, J., Sandfuchs, G., Lenz, T., Brummerloh, S. & Hartwig, L. (2010). Stand und Perspektiven bayerischer Bachelorstudiengänge - Zwischenbericht an das

Bayerische Staatsministerium für Wissenschaft, Forschung und Kunst. München: Bayerische Staatsinstitut für Hochschulforschung und Hochschulplanung.

http://www.wissenschaftsrat.de/download/archiv/8639-08.pdf%20am%2004.01.2011

dr. andreas müller lmu münchen, institut für pädagogik, bildungs- und sozialisationsforschung

Documents