die konzeption der vergleichsarbeiten vera als standardisierte lernstandserhebung landesakademie...
TRANSCRIPT
Die Konzeption der Vergleichsarbeiten „VERA“als standardisierte Lernstandserhebung
Landesakademie Esslingen
VERA-Lehrgang vom 07.11. - 09.11.2011
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 2 31 - Müller-Rosigkeit
Die Konzeption der Diagnosearbeiten „VERA“ als standardisierte Lernstandserhebung
Umgang mit den Ergebnis-Rückmeldungen VERA 2011
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 3 31 - Müller-Rosigkeit
Informelle, frei wählbare Verfahren (Beobachtungsbogen,
Fragebogen, Interviews etc.)
EVALUATION
Selbstevaluation Fremdevaluation
Diagnosearbeiten VERA als Instrument der Evaluation
Standardisierte, verpflichtend einzusetzende
Lernstandserhebungen„VERA/DVA“
Gegenstand ist der Umgang mit den
Lernstandserhebungen „VERA/DVA“
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 4 31 - Müller-Rosigkeit
Bildungsplan 2004… empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort…. (Einführung in den Bildungsplan)
Selbstevaluation und Fremdevaluation im Schulgesetz verankert (1)Die Schulen führen zur Bewertung ihrer Schul- und Unterrichtsqualität regelmäßig Selbstevaluation durch…. Das LS führt in angemessenen zeitlichen Abständen Fremdevaluation durch…. (2) Das KM kann Schüler und Lehrer verpflichten, an Lernstandserhebungen von internationalen, nationalen und landesweiten Vergleichsuntersuchungen teilzunehmen….. (Gesetz zur Änderung des Schulgesetzes vom 18.12.2006)
EvaluationsVO § 5 Verfahren, MethodenDie Ergebnisse von zentralen Leistungsfeststellungsverfahren sind bei der Selbstevaluation einzubeziehen.(Verordnung des Kultusministeriums vom 01.08.2008)
Verwaltungsvorschrift des Kultusministeriums zu den VergleichsarbeitenDie VwV schreibt in der Klasse 3 der Grundschule zentrale schriftliche Arbeiten in den Fächern Deutsch und Mathematik vor, die nicht benotet werden. Die Grundschulen beteiligen sich damit an dem Projekt VERA, an deren Aufgabenentwicklung alle Bundesländer beteiligt sind. … Die Ergebnisse der Vergleichsarbeiten werden mit den Schülern, Eltern und in Lehrerkonferenzen besprochen. Auf Wunsch werden die korrigierten Arbeiten den Schülern mit nach Hause gegeben.(Verwaltungsvorschrift vom 17. Mai 2009)
Vorgaben für zentrale Lernstandserhebungen im Kontext der Schulentwicklung in BW
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 5 31 - Müller-Rosigkeit
Vera 3 wird vom IQB in Berlin als standardisierte Lernstandserhebung (Test)
entwickelt und bundesweit eingesetzt.
An Verfahren dieser Art werden folgende Anforderungen gestellt:
zielgerichtete und systematische Konstruktion von Aufgaben
standardisierte Durchführung, Korrektur, Auswertung
Erprobung der Aufgaben an einer repräsentativen Stichprobe
Berechnung landesweiter/bundesweiter Vergleichswerte
Evaluation der Arbeiten und des Verfahrens
Die Universität Koblenz-Landau übernimmt die Durchführung:
Bereitstellung der Testmaterialien und Rückmeldeportal, teststatische Analysen,
Ergebnis-Rückmeldung an die Schulen. VERA 3 ist ein internetbasiertes Verfahren.
VERA 3 - Standardisiertes Testverfahren
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 6 31 - Müller-Rosigkeit
Vergleichsarbeiten „DVA“sind standardisierte Tests, die – unabhängig vom Unterricht und der Klassensituation – das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse.Die Bewertungsmaßstäbe werden empirisch ermittelt.
Klassenarbeitensind informelle Verfahren, die – abhängig vom Unterricht und der Klassensituation – den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs.Die Bewertung unterliegt dem pädagogisch-didaktischen Expertenurteil der Lehrkräfte
Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule!
Unterscheidung zentrale Lernstandserhebungen und Klassenarbeiten
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 7 31 - Müller-Rosigkeit
Weiterentwicklung von Unterricht, Fach und Schule
Ein Angebot von fachlichen, fachdidaktischen und pädagogisch-psychologischen Impulsen für die Schul- und Unterrichtsentwicklung bieten. Die aktive Beteiligung an der Durchführung und Auswertung soll zur schulinternen Kooperation und Diskussion, z.B. von Standards, Unterrichtsgestaltung oder Beurteilungspraxis, anregen.
Ziel 1 Schul – und Unterrichtsentwicklung (siehe Landau)
Grundlagenpapier Projekt VERA: Pädagogische Nutzung der Vergleichsarbeiten Vergleichsarbeiten – Chancen und Grenzen
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 8 31 - Müller-Rosigkeit
Ziel 2 Bestandsaufnahme: Standardsicherung/-entwicklung (siehe Landau)
Orientierung an den KMK-Bildungsstandards für den Primarbereich,unterschiedliche Vergleichsperspektiven werden ermöglicht.
Inhaltlicher Vergleich: Vergleich der Leistungen einzelner Schüler/innen auf der Grundlage von inhaltlich beschriebenen Fähigkeitsniveaus ermöglicht eine Orientierung an den Bildungsstandards….
Bezugsorientierter Vergleich: VERA ermöglicht eine Standortbestimmung durch den Vergleich der Ergebnisse der Klassen untereinander und durch den Vergleich mit den jeweiligen Landesergebnissen
Fairer Vergleich: Durch Berücksichtigung des schulischen Einzugsgebiets – das heißt des sozialen Kontextes – können sich Klassen auch mit einer Gruppe von Klassen vergleichen, deren Schülerschaft der eigenen Klasse ähnlich ist.
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 9 31 - Müller-Rosigkeit
Lehrkräfte schätzen vor der Vergleichsarbeit die Lösungshäufigkeiten der Aufgaben für ihre Klasse ein.
Der Vergleich dieser Voraussage mit den tatsächlichen Lösungshäufigkeiten ermöglicht jeder Lehrkraft eine Auseinandersetzung mit der eigenen Diagnosegenauigkeit
Ziel 3 Professionalisierung : Erfassung und Verbesserung der Diagnosegenauigkeit (siehe Landau)
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 10 31 - Müller-Rosigkeit
Orientierung an den KMK-Bildungsstandards für den Primarbereich
Grundlage für Baden-Württemberg: - BW-Bildungsplan
- Hinweise zur Umsetzung des Bildungsplans 2004 GS unter Beachtung der KMK-Standards (siehe DVA-Homepage)
Sonderfall: Der Unterbereich „Wahrscheinlichkeiten von Ereignissen in Zufallsexperimenten vergleichen“ aus den KMK-Standards wird in den
oben genannten Hinweisen unter „5. Leitidee: Daten und Sachsituationen“ erläutert.
Grundlage: KMK-Bildungsstandards
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 11 31 - Müller-Rosigkeit
Die Konzeption der Diagnosearbeiten „VERA“ als standardisierte Lernstandserhebung
Umgang mit den Ergebnis-Rückmeldungen VERA 2011
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 12 31 - Müller-Rosigkeit
SEV in BW: Qualitätshaus jeder einzelnen Schule
Prozesse
Voraussetzungen und Bedingungen
Ergebnisse und WirkungenI
Unterricht
IIProfessionalitätder Lehrkräfte
IIISchulführung und Schulmanagement
IVSchul- und
Klassenklima
VInner- und
außerschulische Partnerschaften
Rahmen-vorgabenSächliche und personelle RessourcenSchüler/-innen sowie deren Lebensumfeld
Fachliche und überfachliche LernergebnisseSchul-/LaufbahnerfolgBewertung schulischer Arbeit
Qualitätssicherung und Qualitätsentwicklung
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 13 31 - Müller-Rosigkeit
SEV in BW: Qualitätshaus jeder einzelnen Schule
Einordnung in den „Orientierungsrahmen zur Schulqualität“
„Prozesse“ – „Qualitätsbereich I, Unterricht“ Bei der „Gestaltung der Lehr- und Lernprozesse“ wird die Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten, in den Blick genommen.
„Ergebnisse und Wirkungen“ – „fachlichen Lernergebnissen“ aufgeführt. Die Rückmeldungen dienen dazu, dass die Schule ihre Arbeit an den von den Schülerinnen und Schülern erbrachten fachlichen Leistungen, zum Beispiel aus den Vergleichsarbeiten, reflektiert.
„Qualitätssicherung und Qualitätsentwicklung“ Der Blick wird auf die systematische Weiterentwicklung von Schule und Unterricht gerichtet. Dementsprechend wird gefragt, wie die Schule Selbstevaluation durchführt, ob sie sich beispielsweise an einer systematischen Abfolge von einzelnen Schritten orientiert
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 14 31 - Müller-Rosigkeit
Die Statistik ist ein Werkzeug, um größere Menge von Daten zu erfassen, zu strukturieren und aufzuarbeiten. Dies geschieht mit Hilfe von statistischen Kennwerten:
Häufigkeiten (Anzahl von Elementen, die ein bestimmtes Merkmal erfüllen, ausgedrückt in absoluten und relativen Zahlenwerten, z.B. Lösungshäufigkeiten)
Mittelwerte(Maßzahlen, die die verschiedenen Messwerte einer Gruppe zu einem zentralen Wert zusammenfassen, z.B. das arithmetische Mittel)
Verteilungen(Obwohl ähnliche Mittelwerte ausgewiesen werden, kann sich eine Verteilung der Messwerte bei Gruppen unterscheiden, z.B. Leistungsgruppen)
Abweichungen(Differenzen sind signifikant, wenn die Wahrscheinlichkeit gering ist, dass sie durch Zufall zustande gekommen sind, z.B. bedeutsame Differenzen)
Statistik: Kennwerte
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 15 31 - Müller-Rosigkeit
Es lassen sich vier Bezugsrahmen unterscheiden
Gruppenorientierter Bezugsrahmen(Vergleich mit einer Gruppe, Stellung in Relation zur Gruppe, Abweichungen zur Gruppe in Form von „bedeutsamen Differenzen“ )
Kriterienorientierter Bezugsrahmen(Vergleich mit einem inhaltlich definierten Kriterium wie Bildungsstandardsoder Erreichung eines Niveaus, Kompetenzstufenmodelle)
Intraindividueller Bezugsrahmen(Vergleich der Ergebnisse einer Person in verschiedenen Bereichen,ergibt ein Profil)
Temporaler Bezugsrahmen(Vergleich einer Gruppe zu verschiedenen Zeitpunkten, Längsschnitt, Entwicklungsverlauf)
Statistik: Bezugsrahmen
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 16 31 - Müller-Rosigkeit
Die statistischen Angaben lassen sich auf verschiedene Arten grafisch und tabellarisch darstellen und veranschaulichen
mit Hilfe von Säulendiagrammen, siehe geschätzte und tatsächliche LösungshäufigkeitBalkendiagrammen, siehe Lösungshäufigkeiten der einzelnen AufgabenStreifendiagrammen, siehe FähigkeitsniveausKreisdiagrammen , ---Liniendiagrammen, ---Streudiagramme, ---
mit Hilfe von Tabellen, siehe Fähigkeitsniveaus aller Schülerinnen und Schüler
Jede Darstellung hat bestimmte Vorteile und bestimmte Nachteile!
Statistik: Darstellungen
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 17 31 - Müller-Rosigkeit
Die Daten können von verschiedenen Personengruppen unterschiedlich genutzt werden:
in erster Linie von der einzelnen teilnehmenden Fachlehrkraft hinsichtlich des eigenen Unterrichts
von Lehrerteams - einer Klasse, hinsichtlich der Förderung von Einzelschüler/innen oder Schülergruppen - eines Faches, hinsichtlich der fachdidaktischen Weiterentwicklung- der Jahrgangsstufe, hinsichtlich der Förderung ganzer Klassen oder klassenübergreifender Schülergruppen
von benannten und befugten Schulteams hinsichtlich der schulischen Grundsätze, des Leitbilds, der Rahmenbedingungen, ….
Wer kann die Daten aus VERA nutzen ?
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 18 31 - Müller-Rosigkeit
Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen.
Ergebnisse werden analysiert
Ergebnisse werden interpretiert
Konsequenzen werden gezogen (Ziele werden formuliert, Maßnahmen geplant und umgesetzt)
Die Auswertungsergebnisse werden in eigener Verantwortung für die internen Schulentwicklung genutzt
Umgang mit den Ergebnissen
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 19 31 - Müller-Rosigkeit
Ergebnisse analysieren heißt, die in der Ergebnisrückmeldung ausgewiesenen Zahlenwerte systematisch zu betrachten und gegebenenfalls Auffälligkeiten festzustellen:
Bedeutung von Zahlenwerten und Darstellungen klären Extrem hohe und extrem niedrige Werte ermitteln Vergleiche mit Bezugsgruppen ziehen
(Parallelklassen, Schule, Land, Gesamtheit) Bedeutsame Unterschiede feststellen Inhaltliche Zuordnungen zum Bildungsplan
vornehmen Vergleich mit eigenen Erwartungen herstellen
Dies geschieht jeweils auf der Ebene einzelner Schüler/innen, der Klasse, der Parallelklassen, der Schule und der Diagnosefähigkeit der Lehrkraft.
Ergebnisse analysieren
Analyse schriftlich dokumentieren!
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 20 31 - Müller-Rosigkeit
Ergebnisrückmeldung: Seitenstruktur im geschützten VERA-Internetbereich
1. Rückmelde-Welle
2. Rückmelde-Welle
Unter Ergebnisse/Allgemein
„Ergebnisse zu VERA als Gesamtdokument „
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 21 31 - Müller-Rosigkeit
Kompetenzstufen: Schülerinnen und Schüler
Besetzung der Kompetenzstufen durch einzelne Schüler/-innen:
Welche Kompetenzstufen wurden von einzelnen Schüler/-innen erreicht? Wie unterscheiden sich die Bereiche? Welche inhaltlichen Bezüge lassen sich herstellen? Welche Leistungen haben auffällige Schüler/-innen bisher gezeigt?
5-stufiges Modell: Je höher die Kompetenzstufe, desto besser die Leistung.
Schülerin Nr. 1 hat in allen Bereichen nur die Kompetenzstufe 1 erreicht.
Schülerin Nr. 6 weist große Unterschiede in den Bereichen auf.
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 22 31 - Müller-Rosigkeit
Kompetenzstufen: Vergleich Klasse-Schule-Land
5-stufiges Modell : Je höher die Kompetenzstufe, desto besser die Leistung.
Verteilung der Schüler/-innen der Klasse auf die Kompetenzstufen:
Wie verteilt sich die Klasse im Vergleich zur Schule und zum Land und zu anderen Bereichen? Wo treten bedeutsame Unterschiede * auf ? Welche inhaltlichen Bezüge lassen sich herstellen?
Auf den unteren Kompetenzstufen 1 und 2 :
37% der Schüler/-innen im Land gegenüber
31% der Schüler/-innen der Schule gegenüber
29% der Schüler/-innen derKlasse
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 23 31 - Müller-Rosigkeit
Kompetenzstufen: Innerschulischer Vergleich
Verteilung der Parallelklassen auf die Leistungsgruppen:
Wie sieht die Verteilung der Parallelklassen aus, auch hinsichtlich der Verteilung von Schule und Land?
In Kl. 3b sind viele Schüler/-innen auf den unteren Kompetenzstufen 1 und 2 (63%) im Vergleich zu Kl. 3a (45%) und zu Kl. 3c (38%)
In Kl. 3c sind viele Schüler/- innen auf den oberen Kompetenzstufen 4 und 5 (54%) im Vergleich zu Kl. 3b (25%)und Kl. 3a (20%).
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 24 31 - Müller-Rosigkeit
Lösungshäufigkeiten (Anzahl richtiger Lösungen)
Anzahl der Schüler/-innen in dieser Klasse (absolut und in Prozent), die ...
… Aufgabe 1.1 im Inhaltsbereich Lesen (absolut und in Prozent)in der Klasse und in der Vergleichsgruppe Land richtig gelöst haben.
Lösungshäufigkeiten von Klasse und Land einschließlich Differenzen:
Bei welchen Aufgaben werden besonders hohe/niedrige Lösungshäufigkeiten festgestellt? Bei welchen Aufgaben und in welche Richtung werden besonders große Unterschiede ermittelt?Welche inhaltlichen Bezüge lassen sich bei auffälligen Aufgaben herstellen?
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 25 31 - Müller-Rosigkeit
Diagnosegenauigkeit: Vergleich Aufgabenebene
Mittelwert der Lehrerschätzung wird dem tatsächlich erreichten Mittelwert gegenübergestellt.
Geschätzte und tatsächliche Lösungshäufigkeiten:
Welche Aufgaben wurden deutlich unterschätzt, welche deutlich überschätzt? Weist der Mittelwert tendenziell eher auf Über- oder Unterschätzung hin?
Unterschätzung der Klassenleistung Überschätzung der Klassenleistung
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 26 31 - Müller-Rosigkeit
Diagnosegenauigkeit: Vergleich Lehrkräfte
Genauigkeitsindex:
Index = -1,0genau gegenläufige Schätzung
Index ~0gar kein Zusammenhang zwischen Schätzung und Ergebnis, die Schätzung erscheint zufällig
Index ab 0,5mittlerer Zusammenhang
Index ab 0,8starker Zusammenhang
Index =1,0 perfekter Zusammenhang
Je näher der Index bei 1,0 liegt, desto besser passt die eigene Einschätzung zu der tatsächlich erreichten Klassenleistung
Der Diagnosegenauigkeitsindex gibt die Genauigkeit an, mit der die Aufgabenschwierigkeiten vorab eingeschätzt wurden.
Wie liegt die Fachlehrkraft, wie liegen die anderen Fachlehrkräfte einer Schule mit ihrer Einschätzung?
Vergleich mit allen Lehrkräften (Deutsch Lesen)
VERA –Lehrgang Akademie Esslingen 07.11.-09.11.2011 - 27 31 - Müller-Rosigkeit
Vielen Dank für Ihre Aufmerksamkeit!
www.dva-bw.dePPT unter „Wir über uns/Veranstaltungen“
www.projekt-vera.de