potenziale und grenzen wirkungsorientierter steuerung im ... · konzeption von dkbm zunächst eine...
TRANSCRIPT
Potenziale und Grenzen wirkungsorientierter
Steuerung im datenbasierten kommunalen
Bildungsmanagement
Großstadtnetzwerktreffen der Transferagentur für Großstädte
München, 09. Mai 2019
Sebastian Niedlich
2
1. Begriffsklärungen
2. Wirkungsorientierung im DKBM
3. „Programmtheorie“ als konzeptionelle Basis für wirkungsorientierte Steuerung
4. Programmtheorie & Evaluation
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Gliederung
3
1. Begriffsklärungen
2. Wirkungsorientierung im DKBM
3. „Programmtheorie“ als konzeptionelle Basis für wirkungsorientierte Steuerung
4. Programmtheorie & Evaluation
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Gliederung
4
Wirkungsorientierte Steuerung
• „Triumph der Hoffnung über die Erfahrung“
immer wieder gefordert
Erfahrungen in der Praxis ernüchternd
• Teils harsche Kritik
Fehlanreize: „What gets measured gets done.“
Unrealistische Ziele
Informationen über Wirkungen werden nicht genutzt
für den Bildungsbereich ungeeignet
→ Wie kann wirkungsorientierte Steuerung im Kontext datenbasierten kommunalen
Bildungsmanagements sinnvoll ausgestaltet werden?
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
5
Begriffsverständnis
Wirkungsorientierte Steuerung bedeutet, dass eine Organisation
• Daten und Analysen über Umsetzung und Wirkung ihrer Aktivitäten nutzt,
• um aus der eigenen Arbeit zu lernen und
• kurz- und längerfristige Anpassungen vorzunehmen,
• um ihre Ziele zuverlässig und nachhaltig zu verwirklichen.
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
6
Output, Outcome, Impact
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Aktivitäten
Zielgruppenerreichung
Veränderung von Handlungsfähigkeit,
Gelegenheiten & Anreizen
Verhaltensänderungen
Lebenslage verändert sich
Verbesserte Lebensbedingungen
Output
Outcome
Gesellschaftliche Veränderungen
Impact
Han
deln
Bew
irken
Andere
Einflussfaktoren
kommen hinzu
Ab hier lässt sich von Wirkung sprechen
Inanspruchnahme, Reaktion der Zielgruppe
Aktivitäten finden wie geplant statt
7
Erweiterte Perspektive
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Ziele Outcomes ImpactsBedarf Aktivitäten Output
Wirkungsziele
Leistungsziele
8
1. Begriffsklärungen
2. Wirkungsorientierung im DKBM
3. „Programmtheorie“ als konzeptionelle Basis für wirkungsorientierte Steuerung
4. Programmtheorie & Evaluation
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Gliederung
9
These
Die Frage nach den Wirkungen kommunaler Bildungssteuerung bildete in der
Konzeption von DKBM zunächst eine Leerstelle, weil der Schwerpunkt auf einer
Systemperspektive lag und konkrete Maßnahmen und deren Umsetzung
vernachlässigt wurden.
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
10
Datenbasierte Steuerung im DKBM
• Neue Qualität der Steuerung aufgrund strategischer, integrierter Ausrichtung
erwartet
• Bildungsmonitoring soll „Steuerungswissen“ liefern – drei Funktionen:
1. Sensibilisierungsfunktion
Identifizierung von Handlungsbedarf
2. Informations- und Steuerungsfunktion
Steuerungsrelevante Informationen für Entscheidungsträger
3. Controlling- und Evaluationsfunktion
Kontrolle der Zielerreichung, „rückwirkende“ Wirkungskontrolle
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
11
Steuerungswissen im DKBM
• Generierung und Nutzung von Steuerungswissen
Klarheit über „eigentliche Probleme“, Verständnis von Faktoren, die die Qualität von
Bildung beeinflussen
Aufschluss über Verbesserungsmöglichkeiten
Eröffnung von Handlungsalternativen
Basis für Leitbilder, strategische Ziele integrierte Planungen
Umsetzung „in der täglichen Beschäftigung mit Bildungsfragen“ durch pädagogische
Fachkräfte und -verbände
• Aussagen zu Wirkungen? Widersprüchliche Vorstellungen…
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
12
Wirkungsorientierung im DKBM – Pro und Contra
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Pro
• „systematische Information über das Erreichen
und Verfehlen politisch gesetzter und
gesellschaftlich getragener Ziele von Bildung“1
• „Aufschluss über Veränderungen (…), die nach
bestimmten bildungspolitischen Entscheidungen
und Maßnahmen (…) eintreten“2
• Möglichkeit, intendierte und nicht-intendierte
Folgen von ergriffenen und unterlassenen
Steuerungsmaßnahmen darzustellen3
• „Bewertung effizienter Steuerungsstrategien“4
Contra
• Nicht möglich, Veränderungen auf bestimmte
Ursachen zurückzuführen5 bzw. kausale
Zusammenhänge abzubilden6
• Auch bei vertiefenden Analysen keine
umfassenden Aufschlüsse über Zusammenhänge,
insbesondere nicht auf der Ebene des
Kompetenzerwerbs zu erwarten7
• Zweifel an der Qualität eigener Erhebungen der
Kommunen (ohne externe Qualitätsprüfung)8
• Kommunale Ziele erscheinen für die Ausrichtung
des Monitorings nachrangig
Quellen: 1 Siepke 2014; 2 Döbert/Weishaupt 2015, 3 Projektteam Kommunales Bildungsmanagement 2011; Döbert/Weißhaupt 2015; John 2015; Tegge
2015b; Weishaupt/Wagner 2015; 4 Siepke 2014; 5 Döbert/Weishaupt 2015; 6 Döbert 2010; Siepke/Pohl 2012; Tegge 2015a; 7 Siepke 2015; 8
John/Büchner 2015
13
Ansatzpunkte im DKBM
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Ziele Outcomes ImpactsBedarf Aktivitäten Output
Monitoring
• System
• Sozialraum
Monitoring
• System
• Sozialraum
Strategische,
Leistungsziele
Sprachstands-
erhebungStandards, Leitfäden
Input-Steuerung Maßnahmen-
bezogene
Kennzahlen
Maßnahmenbezogene (externe) Evaluation u.ä.
Nutzung evaluierter Programme
KennzahlenKennzahlen
Wirkungs-
bezogene
Kennzahlen
Zielverein-barungen
14
Zwischenfazit (I)
Wirkungsorientiertes DKBM sollte
• nicht auf der Systemebene verharren,
• konkreten Problemen und ihren Ursachen nachgehen, um Handlungswissen zu
generieren,
• sich auch auf konkrete Steuerungs-/Fördermaßnahmen richten,
• sich bemühen, die zugrundeliegenden Wirkungszusammenhänge zu klären und
empirisch zu überprüfen.
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
15
Die Frage nach dem Kausalzusammenhang
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Maßnahme Wirkungen???
Falsches Konzept?
Schlecht umgesetzt?
Externe
Einflussfaktoren?
→ Umsetzungs- und Entwicklungsschritte möglichst präzise definieren und
empirisch überprüfen!
16
Ansatzpunkte im DKBM
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Ziele Outcomes ImpactsBedarf Aktivitäten Output
Monitoring
• System
• Sozialraum
Monitoring
• System
• Sozialraum
Strategische,
Leistungsziele
Sprachstands-
erhebungStandards, Leitfäden
Input-Steuerung Maßnahmen-
bezogene
Kennzahlen
Maßnahmenbezogene (externe) Evaluation u.ä.
Nutzung evaluierter Programme
KennzahlenKennzahlen
themenspezifische ArbeitsgruppenLenkungskreis
Steuerungskreis wissenschaftliche BegleitungStrategiegespräche
Lenkungskreis
Strategiegespr.
Wirkungs-
bezogene
Kennzahlen
Dialoge auf versch. Ebenen
Zielverein-barungen
Vorgespräche, Konzeptentwicklung, Reflexionsgespräche
17
Zwischenfazit (II)
Wirkungsorientiertes DKBM
• sollte sich nicht auf dekontextualisierte Indikatoren oder Kennzahlen beschränken.
• sollte das Bildungsmonitoring nicht als überlegene Form der Wissensproduktion begreifen,
aus der sich Schlussfolgerungen und Empfehlungen quasi automatisch ableiten.
• sollte die Perspektiven und Ressourcen unterschiedlicher kommunaler Akteure
einschließlich der Praktikerinnen und Praktiker anerkennen und nutzen.
• sollte von Beginn an – d.h. bereits bei der Planung – partizipativ gestaltet werden.
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
18
1. Begriffsklärungen
2. Wirkungsorientierung im DKBM
3. „Programmtheorie“ als konzeptionelle Basis für wirkungsorientierte Steuerung
4. Programmtheorie & Evaluation
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Gliederung
19
„Programmtheorie“ als Basis
• Annahmen
„Programme“ sollen gesellschaftliche
Probleme lösen.
Jedes Programm beruht auf Annahmen
über die zugrunde liegende
Wirkungszusammenhänge.
Aktivitäten des Programms sollen
bestimmte „Wirkungsketten“ in Gang
setzen.
• Eine Programmtheorie beschreibt und
erklärt – praxisbezogen! –, wie ein
Programm mittels einer Reihe
zwischengelagerter Ergebnisse zu
bestimmten Wirkungen beiträgt.
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Quelle: http://www.theoryofchange.org/what-is-theory-of-change/
20
Nichts ist so praktisch wie eine gute Theorie!
Eine Programmtheorie kann dabei unterstützen,
• realistische Ziele für ein Programm zu formulieren,
• ein gemeinsames Verständnis der Funktionsweise eines Programms zu schaffen,
• die Rollen der verschiedenen Beteiligten zu definieren,
• die Evaluation eines Programms zu planen und durchzuführen sowie
• Erfolge und Misserfolge eines Programms schrittweise nachzuvollziehen und zu
erklären.
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
21
Programmtheorie – Sechs Komponenten
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
SITUATIONSANALYSE
Auf welche Probleme mit welchen
Ursachen reagiert das Programm?
EIN- & ABGRENZUNG
Was kann das Programm
realistischer Weise erreichen?
WIRKUNGSKETTE
Welche Abfolge von Wirkungen soll das
Programm initiieren bzw. unterstützen?
PROGRAMMBESCHREIBUNG
Was beinhaltet das Programm?
GELINGENSBEDINGUNGEN
Welche internen und externen
Faktoren beeinflussen den
Programmerfolg?
ERFOLGSKRITERIEN
Woran lässt sich der Erfolg
des Programms festmachen?
Theory of Action Theory of Change
22
Beispiel Wirkungskette: Mentorenprogramm
Kinder
wissen von
dem Projekt
und sind an
Teilnahme
interessiert
Kinder
akzeptieren
ihren Mentor
und
verpflichten
sich zur
Mentorschaft
Kinder erhalten
Aufmerksamkeit
und Lernanregung
Kinder praktizieren
die deutsche
Sprache außerhalb
der Schule
Kinder sammeln
Erfahrungswissen
über die Stadt
Kinder gewinnen
Wissen und
Erfahrung bzgl. der
Mehrheits-
gesellschaft
Persönlichkeit
der Kinder
entwickelt sich
positiv
Bildungs-
interesse und -
leistungen der
Kinder steigen
Identifikation der
Kinder mit der
Stadt verstärkt
sich
Die Kinder
entwickeln bzw.
verbessern ihre
interkulturelle
Kompetenz
Bildungs- und
Berufsperspektiven
der Kinder
verbessern sich
Gesellschaftliche
Teilhabe der Kinder
verbessert sich
Austausch unter,
Zusammenleben der
Kulturen verbessert
sich
Geeignete
Kinder sind
ausgewählt
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
23
Aktivitäten + Wirkungen
Öffentlich-
keitsarbeit
Aktivitäten Wirkungen
Auswahl-
verfahren
Kinder wissen
vom Projekt und
sind an
Teilnahme
interessiert
Geeignete
Kinder sind
ausgewählt und
stimmen der
Teilnahme zu
Verknüpfung,
Schnupper-
phase
Kinder sind
geeigneten
Mentoren
zugeordnet
Mentor, Mentee
treffen sich,
akzeptieren
Mentorschaft
Kinder erhalten
Aufmerksamkeit
Lernanregung
Kinder sammeln
Erfahrungs-
wissen über die
Stadt
Persönlichkeit
der Kinder
entwickelt sich
positiv
Identifikation der
Kinder mit der
Stadt verstärkt
sich
Bildungs- und
Berufsperspektiven
der Kinder
verbessern sich
Gesellschaftliche
Teilhabe der
Kinder verbessert
sich
Mentor und
Mentee
spielen,
lesen, unter-
nehmen
kreative
Aktivitäten
Mentor,
Mentee
unternehmen
Ausflüge
Kinder gewinnen
Wissen und
Erfahrung bzgl.
der Mehrheits-
gesellschaft
Die Kinder
entwickeln bzw.
verbessern ihre
interkulturelle
Kompetenz
Austausch unter,
Zusammenleben
der Kulturen
verbessert sich
Mentor,
Mentee
verbringen
Zeit mit
Familie,
persönlichem
Umfeld des
Mentors
Kinder
praktizieren
Deutsch außer-
halb der Schule
Bildungs-
interesse und -
leistungen der
Kinder steigen
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
24
Komplexe Wirkungslogik: Bildungshaus
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Gemeinsames pädagogisches
Verständnis
• von Bildung, Entwicklung, Erziehung
• von LernenAngebots- und Qualitätsentwicklung
• Institutions- und jahrgangsübergreifende Spiel- und Lernangebote• Zusammenarbeit mit Jugendhilfe, Kultur, Sport u.a. • Rhythmisierung des Tagesablaufs (gesteuertes & ungesteuertes Lernen)
Gemeinsames Leitungs-
verständnis
Gemeinsame Prozesssteuerung
• Personaleinsatz, Raumnutzung (lang- und kurzfristig)
• Stadtteilkooperation• Überprüfung der Ergebnisse
(prozessimmanente Steuerungsdynamik)
Strukturierte und verbindliche Zusammenarbeit im Team
Gemeinsames Team-
verständnis
Gemeinschaftliche Praxis
• Orientierung an individuellen Lernprozessen und Bedürfnissen, insbesondere im Bereich der Sprachentwicklung
• Beobachtung, Begleitung und Beratung im Lernprozess• Ermutigende und realistische Rückmeldungen an Kinder und Eltern• Wertschätzende, anerkennende, ressourcenorientierte Haltung gegenüber allen
Akteuren des Bildungshauses• Einbeziehung der Eltern als Bildungspartner
Gemeinsame Strategieentwicklung
• Verständigung über Heraus-forderungen (Konsistenz, Kohärenz)
• Bestimmung gemeinsamer Themen-felder, Ziele, Inhalte und Methoden
Bessere kognitive, soziale, emotionale Entwicklung der Kinder
(Bildungsbiografie ohne Brüche)
Bessere Bildungs- und Teilhabegerechtigkeit
Bedarfsgerechte Beratung, Begegnung und Unterstützung vor Ort
1
2
3
5
6
4
1 Pädagogisches & organisationales (Selbst-)Verständnis
2 Strategie & Steuerung
3 Pädagogische & organisationale Praxis & Angebote
4 Bindung und Aktivierung der Familien 5 Nutzen der Angebote
(Bevorzugter) Übergang
von Kindern aus der Kita
des Bildungs-hauses in die Grundschule
Erziehungs-partnerschaft
enger Kontakt von
Eltern & Bildungshaus,
Nutzung elterlicher
Kompetenzen
6 Entwicklung der Kinder
25
1. Begriffsklärungen
2. Wirkungsorientierung im DKBM
3. „Programmtheorie“ als konzeptionelle Basis für wirkungsorientierte Steuerung
4. Programmtheorie & Evaluation
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Gliederung
26
Programmtheorie & Evaluation
• Programmtheorie zunächst Ansatz zur Maßnahmenplanung
• Zudem unbedingt mit Evaluation zu verknüpfen
Festlegung von Evaluationsschwerpunkten und -fragen
Bestimmung geeigneter Zeitpunkte für die Evaluation
Bestimmung von Indikatoren und Erfolgskriterien sowie geeigneten Datenquellen
Einschätzung der Wirkungsbeiträge
• Drei Ansatzpunkte/Fragen für die Wirkungsanalyse
1. Entspricht die Umsetzung und Entwicklung der Programmtheorie?
2. Was wäre ohne das Programm passiert?
3. Gibt es alternative Erklärungen?
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
27
Schrittweise Evaluation
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Wurde das Projekt
angemessen
umgesetzt?
Wurde das Projekt
von der
Zielgruppe
angenommen?
Wurden die
kurzfristigen
Wirkungen
erreicht?
Wurden die
längerfristigen
Wirkungen
erreicht? Interpretation
X X X X Mangelhafte Umsetzung
√ X X XMangelhafte Akzeptanz
und Bindung
√ √ X X
Fehlerhafte Programm-
theorie (vordere
Wirkungskette)
√ √ √ X
Fehlerhafte Programm-
theorie (hintere
Wirkungskette)
√ √ √ √Übereinstimmung mit
Programmtheorie
√ √ X √
Fehlerhafte Programm-
theorie (anderer Kausal-
zusammenhang)
28
Schrittweise Evaluation – Beispiel
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
Befund Beispiele Mögliche Schlussfolgerungen
Fehlerhafte
Umsetzung
Es konnten keine Mentoren oder
Mentees gewonnen werden.
Bestimmte Aktivitäten (z.B. Ausflüge
jenseits des Nahraums der
Mentees) werden nicht durchgeführt.
Das Projekt erreicht seine Wirkungen (bzw. einen Teil davon)
nicht, die Programmtheorie ist damit aber nicht widerlegt.
Mangelhafte
Akzeptanz und
Bindung
Hohe Zahl an vorzeitig beendeten
Mentorenschaften.
Es ist nach (neuen) Möglichkeiten zu suchen, geeignete
Tandems zu bilden und die Beteiligten dauerhaft zu motivieren.
Fehlerhafte
Programmtheorie
(vordere
Wirkungskette)
Mentees bauen kein zusätzliches
Wissen über die Stadt auf.
Die Bedarfsanalyse war möglicherweise unzulänglich (Wissen
besteht bereits) oder die gemeinsamen Aktivitäten von Mentoren
und Mentees sind nicht intensiv genug.
Fehlerhafte
Programmtheorie
(hintere
Wirkungskette)
Obwohl die Mentees neues Wissen
über die Stadt entwickeln, steigt die
Identifikation mit der Stadt nicht.
Der Projektansatz ist nicht geeignet, um die gewünschten
Wirkungen (Identifikation mit der Stadt) zu erzielen.
Fehlerhafte
Programmtheorie
(anderer Kausal-
zusammenhang)
Obwohl die Mentees kein neues
Wissen über die Stadt aufbauen,
steigt die Identifikation mit der Stadt.
Zwei Interpretationen:
A) Der Projektansatz ist geeignet, die angestrebten Wirkungen
werden aber durch andere Projektelemente (z.B. positive
Erfahrungen mit der Mehrheitsgesellschaft) ausgelöst.
B) Etwas außerhalb des Projekts ist verantwortlich für die
beobachteten Wirkungen (die Identifikation mit der Stadt).
29
Wirkungsorientierte Berichterstattung
• beschreibt Hintergrund und Kontext des Programms,
• orientiert sich an den mit der Programmtheorie formulierten Erwartungen,
• legt schrittweise dar, was auf welche Weise erreicht wurde und schätzt den
Beitrag des Programms (und ggf. verschiedener Akteure) ein,
• geht auch auf unerwartete Ergebnisse ein,
• zieht Lehren aus dem bisherigen Verlauf (als Teil des Geleisteten),
• gibt Hinweise zur Anpassung der Programmtheorie/Erwartungen,
• fasst diese Aspekte zur einer „Geschichte“ zusammen, die Erreichtes und das
weitere Vorgehen plausibel vermittelt.
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
30
Zurück zu einer Gesamtperspektive
• Abstimmung verschiedener Maßnahmen
• Fallmanagement
• Matchingdatenbanken (Individualdaten)
• Systemevaluation
• Wirkungsorientierung als Denkweise!
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM
31
Kontakt
Sebastian Niedlich
Freie Universität Berlin
Fachbereich Erziehungswissenschaften und Psychologie
AB Allgemeine Erziehungswissenschaft
E-Mail: [email protected]
Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM