von der kursevaluation zur...

Von der Kursevaluation zur Unterrichtsforschung

Konzeption und Ergebnisse der

Begleitforschung in einem Deutsch-

Intensivkurs für japanische Studierende

Michael Schartm.schart@z8.keio.jp

Inhalt

Forschungsfeld

Konzeption der Evaluation

Evaluationsergebnisse 2003-2007

Beispiel für die Verbindung von Evaluation und empirischer Unterrichtsforschung

Forschungsfeld

”Intensivkurs Deutsch für Studierende der Sozialwissenschaften” (German Area Studies) an der Juristischen Fakultät der Keio-Universität Tokio

Zielgruppe: Studierende der Fachrichtungen Jura und Politikwissenschaft

grundlegende Idee: Fachstudium und Fremdsprachenlernen verbinden

2 Phasen: I. 1993-2002 II. seit 2003

Ziele des Kurses

Sprach- und Sachkompetenz entwickeln

umfassende Kommunikationsfähigkeit auf Deutsch

„intelligentes Grammatikwissen” aufbauen

Diskussionsfertigkeit und –festigkeit

gesellschaftliche Probleme fachspezifisch auf Deutsch erörtern können

die eigene Kultur vermitteln und gegebenenfalls auch verteidigen können

Selbständigkeit und Motivation zum Lernen unterstützen

Sambe (1996, 2000); Richter (1999)

Mittelstufe 1

Mittelstufe 2

Oberstufe

Grundstufe A

Grundstufe B

1. Studienjahr 2. Studienjahr 3. & 4. Studienjahr

Kursstruktur

Mittelstufe 1

Mittelstufe 2

Oberstufe

Grundstufe A

Grundstufe B

AufnahmetestEinstufungstest

1. Studienjahr 2. Studienjahr 3. & 4. Studienjahr

Wege durch den Kurs

Forschungsmotivation

Legitimierung Vergewisserung Qualitätsverbesserung Erkenntnisgewinnung

Forschungsebenen

interneForschende

externeForschende

Forschungsinstrumente

interneForschende

externeForschende

● Fragebögen● ”Blitzlichter”● Tagebücher● Videoaufnahmen ● Dokumentenanalyse

● Fragebögen

● Dokumentenanalyse

● Einzel- und Gruppeninterviews

● Unterrichtsbeobachung

Forschungsinstrumente

interneForschende

● Fragebögen (Sphinx, MaxQDA)

● Dokumentenanalyse

Für & Wider von Lehrveranstaltungs-bewertungen mit Fragebögen

Studierende als wichtige Zielgruppe Studierende als ”Experten” ab n>10 relativ stabile, objektive und valide

Ergebnissen Mittelwerte spiegeln repräsentatives Meinungsbild

Für & Wider von Lehrveranstaltungs-bewertungen mit Fragebögen

Studierende als ”Alltags-Evaluatoren” Erhebungsartefakte Auswertungsartefakte Reduzierung der Evaluation auf Urteile der

Studierenden

( Helmke 2003, Kromrey 2001, Rindermann 1997, Schnell & Kopp 2001)

Konsequenzen

Fragebögen langfristig entwickeln Itemsammlungen nutzen Likert-skalierte Items und offene Fragestellungen

kombinieren Streuung berücksichtigen Balance zwischen Meinungen der Studierenden

und Kurskonzeption anstreben

→ komplexe Sachverhalte erfordern komplexe Methoden

→ Fragebögen ein wichtiges Instrument summativer Evaluation/ Unterrichtsentwicklung

Studierende 2003 - 2007

Personen im Intensivkurs 169 Teilnehmende in den Gruppen 326 potentielle Fragebögen 581 erhaltene Fragebögen 409 Rücklaufquote 70,4 %

Studierende 2003 - 2007

2003 2004 2005 2006 20070

2

4

6

8

10

12

14

16

18

20

Studierende im Intensivkurs 2003-2007

Grundstufen Mittelstufe 1 Mittelstufe 2 Oberstufe

TN

pro

Kur

s

Wege durch den Kurs: Gruppe 1

19

16

3

5

Gesamtzahl der TN 169

Wege durch den Kurs: Gruppe 2

52

25

19

Gesamtzahl der TN 169

Wege durch den Kurs: Gruppe 3

9

2

7

7

3

Gesamtzahl der TN 169

2

9

3

Items des Fragebogens

Zufriedenheit mit Studium, Intensivkurs & Unterricht

Selbsteinschätzung (Aktivität, Motivation)

Ziele und Struktur des Unterrichts

Lehrende (Einstellung, Kompetenz)

Unterrichtsatmosphäre

Unterrichtsmaterial und Lernplattform

Ergebnisse

I. verallgemeinerbare Aussagen

Gesamtbewertung des Unterrichts

03 04 05 06 073

3,5

4

4,5

5

Mittelstufe 1

03 04 05 06 073

3,5

4

4,5

5

JD

Oberstufe

Lernenzeit außerhalb des Unterrichts

03 04 05 06 070%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

von 5.00 bis 6.00von 4.00 bis 5.00von 3.00 bis 4.00von 2.00 bis 3.00von 1.00 bis 2.00weniger als 1.00

Mittelstufe 1

Ergebnisse

I. verallgemeinerbare Aussagen

II.Intensivkurs und Studium

Zufriedenheit mit Studium und Intensivkurs

03 04 05 06 073

3,5

4

4,5

5

SIK

03 04 05 06 073

3,5

4

4,5

5

SIK

Grundstufe Oberstufe

Zufriedenheit mit Studium und Intensivkurs

03 04 05 06 073

3,5

4

4,5

5

SIK

03 04 05 06 073

3,5

4

4,5

5

SIK

Mittelstufe 1 Mittelstufe 2

Wichtigkeit des Deutschlernens

GS M 1 M 2 OS0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

nicht wichtigeher unwichtigweder nocheher wichtigsehr wichtig

Ergebnisse

I. verallgemeinerbare Aussagen

II.Intensivkurs und Studium

III. Unterrichte einer Niveaustufe

Ergänzen sich die Unterrichte?

03 04 05 06 072,5

3

3,5

4

4,5

5GSM 1M 2OS

Ergebnisse

I. verallgemeinerbare Aussagen

II.Intensivkurs und Studium

III. Unterrichte einer Niveaustufe

IV.Lehrende

Bewertung der Lehrenden

Engagement JEngagement D

3

3,5

4

4,5

5

GSM 1M 2OS

Freundlichkeit JFreundlichkeit D

3

3,5

4

4,5

5

GSM 1M 2OS

Bewertung der Lehrenden

Kompetenz JKompetenz D

3

3,5

4

4,5

5

GSM 1M 2OS

Ergebnisse

I. verallgemeinerbare Aussagen

II.Intensivkurs und Studium

III. Unterrichte einer Niveaustufe

IV.Lehrende

V.formorientiertes und inhaltsorientiertes Material

Unterrichtsmaterial

03 04 05 06 073

3,5

4

4,5

5

Int JEff JInt DEff D

Grundstufe

03 04 05 06 073

3,5

4

4,5

5

Int JEff JInt DEff D

Mittelstufe 1

Ergebnisse

I. verallgemeinerbare Aussagen

II. Intensivkurs und Studium

III. Unterrichte einer Niveaustufe

IV.Lehrende

V.formorientiertes und inhaltsorientiertes Material

VI.zentrale Kursziele und Unterrichtsdesign

zentrale Kursziele

Aut J Aut D Kul J Kul D3

3,5

4

4,5

5

GSM 1M 2OS

zentrale Kursziele

Oberstufe: 28% ”zu viel Inhaltsorientierung”

Mittelstufe 1: 35% ”zu viel Inhaltsorientierung”

Mittelstufe 2: 65% ”zu viele Alltagsthemen, zu wenig fachliche Inhalte”, 26% ”zu viel Formorientierung”

Anknüpfungspunkte für die Unterrichtsforschung

Übergang Grundstufe – Mittelstufe 1

interessantes Material für Grundstufe

fachliche Inhalte für Grundstufe

Kompetenz der deutschen Lehrenden

Erfahrungen der deutschen Lehrenden

Forschungsfragen

Bereitet ein größerer Anteil aufgabenorientierten und inhaltsorientierten Unterrichts besser auf die Anforderungen der Mittelstufe vor?

Gibt es beim Verhalten und bei den Lernprozessen der Studierenden in beiden Klassen unterschiedliche Muster?

Wie entwickeln sich die Studierenden beider Klassen über 3 Jahre hinweg?

Wie nehmen die Studierenden selbst die beiden Konzeptionen wahr? Welche positiven und negativen Aspekte werden betont?

Grundstufe B

Grundstufe A

Forschungskonzeption

interne Forschende

externe Forschende

●Fragebögen

●Lerntagebuch

●Video-aufzeichnungen des Unterrichts

● Produkte der Lernenden

●Interviews

●Videos des Unterrichts, einzelner Aufgaben & Prüfungen

● Produkte der Lernenden

→ kognitive & soziokulturelle Perspektive