Evaluation an Hochschulen

Elisa Knödler

Evaluation an HochschulenEntwicklung und Validierung eines verhaltensbasierten Messinventars zur studentischen Lehrveranstaltungsevaluation

Elisa KnödlerFakultät für Pädagogik und PsychologieLudwig-Maximilians-Universität MünchenMünchen, Deutschland

ISBN 978-3-658-25552-7 ISBN 978-3-658-25553-4 (eBook)https://doi.org/10.1007/978-3-658-25553-4

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen National-bibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

Springer VS © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen.Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften.Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informa-tionen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag, noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutionsadressen neutral.

Zgl. Dissertation an der Ludwig-Maximilians-Universität München, 2018

Springer VS ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden GmbH und ist ein Teil von Springer NatureDie Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, 65189 Wiesbaden, Germany

Inhaltsübersicht

1 Einleitung 1

TEIL 1 – THEORIE UND FORSCHUNGSSTAND 9

2 Die Hochschule – eine Organisation im Wandel 11

3 Evaluation im Überblick 59

4 Evaluation an Hochschulen 101

5 Studentische Lehrveranstaltungsevaluation im Fokus 113

Teil 2 – EMPIRIE 131

6 Ausgangslage und Forschungsdefizit 133

7 Methodisches Vorgehen 145

8 Analyse existierender Messinstrumente studentischer LVE 165

I Entwicklung der Fragebögen 183

9 Vorstudien 185

10 Konstruktion der Fragebögen 211

11 Die Pilotierung 215

II Validierung der Fragebögen 255

12 Testung der Gütekriterien des MILVE 257

13 MILVE in der Praxis 273

14 Diskussion und Ausblick 297

Literaturverzeichnis 311

Anhang 351

Inhaltsverzeichnis

1 Einleitung 1

1.1 Organisation Hochschule und Evaluation 1

1.2 Aufbau und Intention der Arbeit 4

1.2.1 Theorie und Forschungsstand 5

1.2.2 Empirieteil 6

TEIL 1 – THEORIE UND FORSCHUNGSSTAND 9

2 Die Hochschule – eine Organisation im Wandel 11

2.1 Begriffsklärung 11

2.1.1 Definitorische Einordnung 12

2.1.2 Merkmale der Organisation Hochschule 13

2.2 Organisationstheorien – vom Einfachen zum Komplexen 15

2.2.1 Bürokratietheorie von Max Weber 16

2.2.2 Arbeitsteilung: Taylorismus und Fordismus 16

2.2.3 Human-Relation-Ansatz 18

2.2.4 Situativer Ansatz 18

2.2.5 Neoinstitutionalistische Organisationstheorie 19

2.2.6 Systemtheorien 20

2.2.7 Dezentralisierung als aktueller Trend? 21

2.3 Hochschulspezifische Organisationstheorien 26

2.3.1 Hochschule als Profibürokratie 26

2.3.2 Hochschule als organisierte Anarchie 27

2.3.3 Hochschule als lose gekoppelte Systeme 27

2.4 Outputsteuerung als eine Folge von Dezentralisierung 27

2.4.1 Neues Steuerungsmodell 28

2.4.2 Hochschulgovernance 29

2.4.3 Zusammenfassung 32

2.5 Qualitätssicherung im Hochschulbereich 34

VIII Inhaltsverzeichnis

2.5.1 Qualität, Qualitätssicherung und Qualitätsmanagement 35

2.5.2 Qualitätssicherungsmodelle 38

2.5.3 Hochschulspezifische Qualitätssicherungsmodelle 49

3 Evaluation im Überblick 59

3.1 Begriffliche Einordnung 59

3.1.1 Definition 59

3.1.2 Zwecke der Evaluation 62

3.1.3 Formen der Evaluation 64

3.2 Historische Entwicklung 65

3.2.1 International 65

3.2.2 National 72

3.2.3 Entwicklungstrends und Perspektiven 77

3.3 Evaluationstheorien – eine Systematisierung 79

3.3.1 Methodenast 81

3.3.2 Nutzungsast 86

3.3.3 Wertungsast 92

3.3.4 Zusammenfassung 97

4 Evaluation an Hochschulen 101

4.1 Entstehungsgeschichte der Evaluation an Hochschulen 101

4.2 Qualitätssicherung durch Evaluationen an Hochschulen 103

4.3 Zwecke der Evaluation an Hochschulen 105

4.3.1 Forschungsparadigma 105

4.3.2 Kontrollparadigma 106

4.3.3 Entwicklungsparadigma 106

4.4 Formen der Evaluation von Lehre und Studium 107

4.4.1 Lehrberichte 108

4.4.2 Interne und externe Evaluation 109

5 Studentische Lehrveranstaltungsevaluation im Fokus 113

5.1 Aktuelle Praxis der LVE 113

Inhaltsverzeichnis IX

5.1.1 Entwicklung und Verbreitung der LVE 113

5.1.2 Evaluationsinstrumente 114

5.1.3 Durchführung und Datenerhebung 115

5.1.4 Auswertung und Interpretation 116

5.2 Zur Aussagekraft studentischer LVE 117

5.2.1 Studentisches Urteilsverhalten 118

5.2.2 Einfluss lernangebotsunabhängiger Aspekte 121

Teil 2 – EMPIRIE 131

6 Ausgangslage und Forschungsdefizit 133

6.1 Empirische Sozialforschung und ihr Erkenntnisgewinn 136

6.1.1 Besonderheiten der empirischen Sozialforschung 137

6.1.2 Methoden der empirischen Sozialforschung 138

6.1.3 Die Einzelfallstudie in der quantitativen Forschungslogik 141

6.2 Fragestellungen 142

7 Methodisches Vorgehen 145

7.1 Konstruktion des Messinventars 146

7.1.1 Zweck der Lehrveranstaltungsevaluation 147

7.1.2 Struktur und Aufbau 147

7.1.3 Itempool 149

7.1.4 Implementationen für die Entwicklung des Messinventars 151

7.2 Zur Güte eines Messinventars 152

7.2.1 Objektivität 152

7.2.2 Reliabilität 153

7.2.3 Validität 157

7.2.4 Nebenkriterien 162

7.2.5 Implementationen für die Testung des Messinventars 162

8 Analyse existierender Messinstrumente

studentischer LVE 165

8.1 Fragebögen der Fakultät 11 der LMU München 166

X Inhaltsverzeichnis

8.2 Heidelberger Inventar zur Lehrveranstaltungsevaluation 169

8.3 Trierer Inventar zur Lehrveranstaltungsevaluation 173

8.4 Modifizierte Version des TRIL der Universität Landau 176

8.5 Inventar „Student Evaluation of Educational Quality“ 177

8.6 Implikationen für die Neukonstruktion 180

I Entwicklung der Fragebögen 183

9 Vorstudien 185

9.1 Vorstudie 1 – Subjektive Vorstellungen guter Lehre 185

9.1.1 Theorie 185

9.1.2 Methodik 189

9.1.3 Ergebnis: „Modell guter Lehre“ 191

9.2 Vorstudie 2 – Critical Incident Technique-Workshops 193

9.2.1 Theorie 193

9.2.2 Methodik 194

9.2.3 Ergebnisse der CIT-Workshops an der Fakultät 11 195

10 Konstruktion der Fragebögen 211

10.1 Zweck der Lehrveranstaltungsevaluation 211

10.2 Itempool 212

11 Die Pilotierung 215

11.1 Stichprobe 216

11.2 Modellannahmen 217

11.2.1 Modellannahme I: Das kongenerische Modell 217

11.2.2 Modellannahme II: Das Parsimonieprinzip 218

11.3 Allgemeiner Ablauf einer Testphase 218

11.3.1 Datenaufbereitung 219

11.3.2 Prüfung der Modellvoraussetzungen 220

Inhaltsverzeichnis XI

11.3.3 Datenanalysen 222

11.3.4 Modellprüfung 226

11.4 Vorlesungsbogen 227

11.4.1 Wintersemester 2014/15 227

11.4.2 Sommersemester 2015 233

11.4.3 Ergebnis der Analysen des Vorlesungsbogens 240

11.5 Seminarbogen 242

11.5.1 Sommersemester 2015 242

11.5.2 Wintersemester 2015/16 248

11.5.3 Ergebnisanalyse des MILVE Seminarbogens 253

II Validierung der Fragebögen 255

12 Testung der Gütekriterien des MILVE 257

12.1 Objektivität im MILVE 258

12.2 Reliabilität im MILVE 258

12.2.1 Trennschärfe 260

12.2.2 Intraklassenkorrelation 260

12.3 Validität im MILVE 261

12.3.1 Inhalts- und Augenscheinvalidität 261

12.3.2 Konstruktvalididtät 262

12.3.3 Kriteriumsvalidität 263

12.4 Nebenkriterien 266

12.5 Zusammenfassung 266

12.5.1 Implikationen für weitere Berechnungen 267

12.5.2 Methodische Restriktionen 270

13 MILVE in der Praxis 273

13.1 Fakultätsübergreifende Anwendung des Messinventars 274

13.2 Auswertung der Daten 276

13.2.1 Deskriptive Statistik 277

XII Inhaltsverzeichnis

13.2.2 Weiterführende Auswertungen 289

13.3 Zusammenfassung der Ergebnisse 295

14 Diskussion und Ausblick 297

14.1 Aspekte der Bewertung 298

14.1.1 Probleme bei der Bewertung durch Mittelwerte 298

14.1.2 Über die Notwendigkeit von Qualitätskriterien und -standards 299

14.1.3 Zur Bewertung der Ergebnisse studentischer LVE 301

14.2 Formen der Nutzung 301

14.2.1 Transparenz- und Forschungsmodell 302

14.2.2 Qualifikationsmodell 303

14.2.3 Kommunikationsmodell 304

14.2.4 Steuerungsmodell 305

14.3 Ein Fazit vor dem hochschulpolitischen Gesamtkontext 307

14.3.1 Fakultätsebene 307

14.3.2 Fakultätsübergreifende Ebene 308

14.3.3 Hochschulische und hochschulpolitische Ebene 309

Literaturverzeichnis 311

Anhang 351

Abbildungsverzeichnis

Abbildung 1. Das Baummodell nach Alkin und Christie (2004). 80

Abbildung 2. Multifaktorielles Modell der Lehrveranstaltungsqualität

nach Rindermann (2009). 169

Abbildung 3. Kategorisierung der Nennungen

aus den CIT-Workshops für Vorlesungen. 199

Abbildung 4. Kategorisierung der Nennungen

aus den CIT-Workshops für Seminare. 200

Abbildung 5. Erwartungen an Studierende

aus den CIT-Workshops der Lehrenden. 205

Abbildung 6. Erwartungen an Lehrende

aus den CIT-Workshops der Lehrenden. 206

Abbildung 7. Mögliche Rückmeldeformate. 208

Abbildung 8. Übersicht der Pilotierungsphasen. 216

Abbildung 9. Übersicht über die Stichproben der Pilotierungsphasen. 216

Abbildung 10. Der allgemeine Ablauf einer Testphase. 218

Abbildung 11. Interessenzuwachs in Vorlesungen. 279

Abbildung 12. Zusammenfassende Globalwerte

in Vorlesungen. 282

Abbildung 13. Interessenzuwachs in Seminaren. 285

Abbildung 14. Zusammenfassende Globalwerte

des Seminarbogens. 288

Tabellenverzeichnis

Tabelle 1 Unterschiede zwischen „Monitoring“ und „Controlling“ 45

Tabelle 2 Dimensionen des HILVE-I und HILVE-II 172

Tabelle 3 Allgemeines Ablaufschema 196

Tabelle 4 Beispiel 1: Didaktik – Vortragsstil 197

Tabelle 5 Beispiel 2: Interaktion – Umgang mit Fragen 197

Tabelle 6 Beispiel 3: Didaktik – Förderung der aktiven Mitarbeit 198

Tabelle 7 Beispiel 4: Unterstützung – Referatsvorbereitung 198

Tabelle 8 Übersicht der CIT-Items 201

Tabelle 9 Beispiel 5: Arbeitshaltung – Engagierte Vorbereitung 204

Tabelle 10 Beispiel 6: Arbeitsatmosphäre –

Regeln des guten Miteinanders einhalten 204

Tabelle 11 Interpretationsrichtlinien für die Eignung der Daten

durch den KMO-Koeffizienten 221

Tabelle 12 Interpretationsrichtlinien des RMSR-Werts 226

Tabelle 13 Itemanalyse des „VL_neu_1“ im WiSe2014/15 229

Tabelle 14 RMSR-Werte für verschiedene Faktoren

des „VL_neu1“ im WiSe1415 230

Tabelle 15 Itemladung bei 7 Faktoren des „VL_neu_1“ im WiSe1415 231

Tabelle 16 Itemanalyse des „VL_neu2“ im SoSe 2015 235

XVI Tabellenverzeichnis

Tabelle 17 RMSR-Werte für verschiedene Faktoren

des „VL_neu2“ im SoSe15 237

Tabelle 18 RMSR-Werte für verschiedene Faktoren

des „VL_neu2“ im SoSe15 nach Ausschluss zweier Variablen 238

Tabelle 19 Itemladung bei 3 Faktoren des „VL_neu2“ im SoSe15 238

Tabelle 20 Itemanalyse des „S_neu_1“ im SoSe 2015 243

Tabelle 21 RMSR-Werte für verschiedene Faktoren

des „S_neu_1“ im SoSe15 245

Tabelle 22 Itemladung bei 4 Faktoren des „S_neu_1“ im SoSe15 245

Tabelle 23 Itemanalyse des „S_neu_2“ im WiSe 2015/16 249

Tabelle 24 RMSR-Werte für verschiedene Faktoren

des „S_neu_2“ im WiSe1516 251

Tabelle 25 Itemladung bei 4 Faktoren des „S_neu_2“ im WiSe1516 251

Tabelle 26 Korrelationen der Kontrollvariablen mit den Faktoren

und der Gesamtbewertung für Vorlesungen 264

Tabelle 27 Korrelationen der Kontrollvariablen

mit den Faktoren und der Gesamtbewertung für Seminare 265

Tabelle 28 Kombinationsmöglichkeiten zur Analyse

von Rahmenbedingungen auf das Lehrverhalten 269

Tabelle 29 Aufbau des Vorlesungsbogens 275

Tabelle 30 Aufbau des Seminarbogens 276

Tabelle 31 Bewertungsrichtlinien 277

Tabellenverzeichnis XVII

Tabelle 32 Faktorwerte Vorlesungen 277

Tabelle 33 Allgemeines in Vorlesungen 278

Tabelle 34 Didaktischer Aufbau in Vorlesungen 279

Tabelle 35 Lernendenzentrierung in Vorlesungen 280

Tabelle 36 Nachvollziehbarkeit in Vorlesungen 281

Tabelle 37 Faktorwerte in Seminaren 283

Tabelle 38 Allgemeines in Seminaren 284

Tabelle 39 Didaktik und Engagement in Seminaren 285

Tabelle 40 Lernendenzentrierung in Seminaren 286

Tabelle 41 Nachvollziehbarkeit in Seminaren 287

Tabelle 42 Feedback auf Referate in Seminaren 287

Tabelle 43 Feste Effekte - Koeffizienten und ANOVA in Vorlesungen 292

Tabelle 44 Test auf zufällige Effekte in Vorlesungen 292

Tabelle 45 Feste Effekte - Koeffizienten und ANOVA in Seminaren 294

Tabelle 46 Test auf zufällige Effekte in Seminaren 294