Nationale und internationale Schulleistungsstudien: Auswertung und Nutzung09.12.2013Institut für ErziehungswissenschaftSeminar: Unterrichtsanalyse: Fragestellungen, Methoden, Ergebnisse und praxisbezogene Nutzung

Referentinnen: Mujda Ghafouri und Natalie Uhlenbrock

2

Gliederung

1. PISA: Eine Einführung2. Wer macht mit?3. Testentwicklung4. Der Feldtest5. Testdesign und Aufgabenformate6. Durchführung und Auswertung 7. Schüler- und Schulfragebögen8. Wichtige Ergebnisse9. Kritik (Gruppenarbeit)

3

Programme for International Student Assessment

• Entwickelt von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung)

• Steuerung vom PISA Governing Board (PGB)

• Beobachtung der Bildungssysteme im internationalen Vergleich

• Beurteilung von 3 Kompetenzbereichen - Lesekompetenz - mathematische Kompetenz - naturwissenschaftliche Kompetenz

Warum beschränkt man sich auf diese drei Gebiete?

LITERACY

4

• Erhebungsrunden regelmäßig im Abstand von 3 Jahren (Jahr der Datenerhebung bestimmt die Bezeichnung PISA 2000, PISA 2003 etc.)

• in jeder Erhebungsrunde wird ein Teilgebiet besonders genau untersucht (3-Jahreszyklus)

• neben den Kompetenztests werden umfangreiche Daten zum sozialen Hintergrund und Lernverhalten der Schüler gesammelt ( was beeinflusst die Schüler/innen in welcher Weise)

https://www.bifie.at/pisa

5

Wer macht bei PISA mit?

OECD-Länder: Australien, Belgien, Chile, Dänemark, Deutschland, Estland, Finnland, Frankreich, Griechenland, Irland, Island, Israel, Italien, Japan, Korea, Kanada, Luxemburg, Mexiko, Neuseeland, Niederlande, Norwegen, Österreich, Polen, Portugal, Schweden, Schweiz, Slowak. Republik, Slowenien, Spanien, Tschech. Republik, Türkei, Ungarn, Verein. Königreich, USA

Außerdem: Albanien, Argentinien, Brasilien, Bulgarien, Chinesisch Taipeh, Costa Rica, Hongkong (China), Indonesien, Jordanien, Kasachstan, Katar, Kolumbien, Kroatien, Lettland, Liechtenstein, Litaun, Macau (China), Malaysia, Montenegro, Peru, Rumänien, Russ. Föderation, Serbien, Shanghai (China), Thailand, Tunesien, Uruguay, Ver. Arab. Emirate, Vietnam, Zypern

6

Testentwicklung bei PISA

• Inhaltlich-theoretische Grundlagen für PISA werden in Rahmenkonzeptionen festgehalten

Hier werden bereits wichtige Entscheidungen über die Ziele der Studie getroffen

• In Zusammenarbeit entwickeln Test- und Forschungsinstitute aus mehreren Ländern Aufgabenmaterial / teilnehmende Staaten können außerdem Aufgaben (Items) einreichen

7

Testentwicklung bei PISA

8

Der Feldtest

• Wird ein Jahr vor der Studie durchgeführt

• Dazu dient der Feldtest? - Prüfung der Aufgabenqualität (meist wird die Hälfte der Aufgaben wieder gestrichen) - Prozesse der gesamten Erhebung proben (Schulkoordinatoren, Testleiter, Projektzentren)

9

Testdesign

Multi-Matrix-Design

10

Aufgabenformate

• Multiple Choice (geschlossenes Format)

• Kurzantworten (halb-offenes Format)

• Antworten in ganzen Sätzen (offenes Format)

11

Durchführung/ Auswertung der Studie

• Zielpopulation: Jugendliche im Alter von 15 Jahren (unabhängig von der Klassenstufe)

• Stichprobenziehung (ca. 5000 Schüler werden in Deutschland ausgewählt; davon müssen 80 % tatsächlich am Test teilnehmen)

• Auswertung (ca. 1 Jahr):1. Kodieren

2. Skalierung 3. Einteilung in Kompetenzstufen (Mittelwert bei 500 Punkten)

12

PISA-E ?

Ergänzung der Stichproben, die einen Vergleich der deutschen Bundesländer erlaubt

13

Internationaler Schülerfragebogen PISA 2012

14

15

16

17

18

TEIL E: MEHR FRAGEN UBER MATHEMATIK TEIL G: DEINE COMPUTERNUTZUNG TEIL H: DEINE COMPUTERNUTZUNG AUSSERHALB DER SCHULE

TEIL I: DEINE COMPUTERNUTZUNG IN DER SCHULE TEIL J: EINSTELLUNGEN ZU COMPUTERN TEIL K: BERUFSORIENTIERUNG TEIL L: UNTERSTUTZUNG BEIM LERNEN DER SPRACHE

TEIL M: DEINE SCHULLAUFBAHN

Weitere Fragefelder

19

20

Teil B: Deine Klasse, deine Mitschüler/innen

Teil C: Deine Schule, das Leben an dieser Schule

Teil D: Schüler-Feedback an Lehrer/innen und Schule

Weitere Fragefelder

21

Internationaler Schulfragebogen PISA 2012

22

Teil A: STRUKTUR UND ORGANISATION DER SCHULE

23

TEIL B: SCHULER/INNEN UND LEHRER/INNEN AN IHRER SCHULE

24

Teil C: SCHULRESSOURCEN

25

Teil D: UNTERRICHTSANGEBOT UND PRUFUNGSKULTUR Teil E: SCHULKLIMA

Teil F: RICHTLINIEN UND PRAKTIKEN

Teil G: SCHULFRAGEBOGEN

Teil H: INDIVIDUALISIERUNG UND DIFFERENZIERUNG

Teil I: DIE NUTZUNG VON INFORMATIONSTECHNOLOGIEN

Teil J: QUALITATSENTWICKLUNG – QUALITATSSICHERUNG

Weitere Fragekriterien

26

Wichtigste Ergebnisse

27

Schülerleistungen in Mathematik

• Durchschnittsergebnisse

• Anteil der besonders leistungsstarken und der besonders leistungs- schwachen SuS

• Geschlechtsspezifische Leistungsunterschiede

28

Schülerleistungen in Lesekompetenz

• Durchschnittsergebnisse

• Anteil der besonders leistungsstarken und der besonders leistungs- schwachen SuS

• Geschlechtsspezifische Leistungsunterschiede

29

Schülerleistungen in Naturwissenschaften

• Durchschnittsergebnisse

• Anteil der besonders leistungsstarken und der besonders leistungs- schwachen SuS

• Geschlechtsspezifische Leistungsunterschiede

30

Allen SuS die Voraussetzungen zum Erfolg sichern

• Chancengerechtigkeit

• Resiliente SuS

• SuS mit Migrationshintergrund

31

Engagement, Motivation und Selbsteinschätzung von SuS

• Schulisches Engagement

• Zugehörigkeit zur Schule

• Die Bedeutung der Leistungen der Klassenkameraden

32

Lernumfeld und schulische Organisation

• Lernumfeld

• Aufteilung und Selektion der SuS

• Beurteilungsmethoden

• Zeitaufwand für das Lernen

• Qualität der Lehrkräfte

• Vorschulbildung

33

Gruppenarbeit zur Kritik an PISA

1. Sucht eure Gruppenmitglieder und setzt euch in Gruppen zusammen2. Lest die herausgegeben Texte sorgfältig und fasst Kritikpunkte zusammen3. Erstellt ein Plakat um eure Kritikpunkte vorzustellen4. Stellt eure Ausarbeitung im Kurs vor

34

Literatur

• Drechsel, Barbara/ Prenzel, Manfred (2008): Aus Vergleichsstudien lernen. Aufbau, Durchführung und Interpretation internationaler Vergleichsstudien. In: Schulmanagement-Handbuch. Band 126. München: Oldenbourg Schulbuchverlag.

• Kraus, Josef (2005): Der PISA-Schwindel. Unsere Kinder sind besser als ihr Ruf. Wien: Signum Verlag.

• Rolff, H.-G. (2007): Studien zu einer Theorie der Schulentwicklung. Weinheim und Basel: Beltz Verlag. S. 172-194.

• van Ackeren, Isabell: Von FIMS und FISS bis TIMSS und PISA. Schulleistungen in Deutschland im historischen und internationalen Vergleich. In: Die deutsche Schule, 94 (2002) 2, S. 157-175.

Internetquellen:

• HP der OECD Berlin: http://www.oecd.org/berlin/ (Zugriff: 01.12.2013)• Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens:

www.bifie.at/pisa (Zugriff: 04.12.2013)• PISA-Kritik: http://www.pisa-kritik.de/startseite (Zugriff: 04.12.2013)• Was halten Sie von der PISA-Studie?: http://

www.sueddeutsche.de/bildung/pisa-studie-was-halten-sie-von-der-pisa-studie-1.1834635 (Zugriff: 04.12.2013)