nichts ist so praktisch wie eine gute theorie kritische ... · anne margarian kritische...
TRANSCRIPT
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Kritische Politikbewertung jenseits der EvidenzAnne MargarianAnne MargarianAnne MargarianAnne MargarianThünen-Institut für Ländliche Räume
Wien, den 2.7.2015Wien, den 2.7.2015Wien, den 2.7.2015Wien, den 2.7.2015
Nichts ist so praktisch wie eine gute TheorieNichts ist so praktisch wie eine gute TheorieNichts ist so praktisch wie eine gute TheorieNichts ist so praktisch wie eine gute Theorie
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Theorie der „zwei Welten“Theorie der „zwei Welten“Theorie der „zwei Welten“Theorie der „zwei Welten“
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 2222
Wissenschaftl.(middle range)
Theorie
Politik (des muddling
through?)
Forschung legitimiert sich
gegenüber Politik als Geldgeber
Politik legitimiert sich über Forschung
gegenüber Öffentlichkeit
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Kontrafaktische Analyse: Minimierung der Kontakte …Kontrafaktische Analyse: Minimierung der Kontakte …Kontrafaktische Analyse: Minimierung der Kontakte …Kontrafaktische Analyse: Minimierung der Kontakte …
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 3333
Intervention
Wissenschaftl.(middle range)
Theorie
Experimentelle/ kontrafaktische
Wirkungsanalyse
Politik (des muddling
through?)
ZieleZieleZieleZiele
ErgebnisseErgebnisseErgebnisseErgebnisse
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Minimaler Informationsbedarf im ExperimentMinimaler Informationsbedarf im ExperimentMinimaler Informationsbedarf im ExperimentMinimaler Informationsbedarf im Experiment
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 4444
Treatment-Variable
Effekt-Variable
Auch Experimente sind kein Wundermittel – s. Jere R. Behrman and Petra E. Todd, 1999,
Randomness in the experimental samples of PROGRESA, IFPRI; Washington, D.C.
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Bewertung ohne Experiment …Bewertung ohne Experiment …Bewertung ohne Experiment …Bewertung ohne Experiment …
… erfordert weitere Informationen:
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 5555
Selektierende Variable
Mechanismus-Variable (Mediator)
Treatment-Variable
Effekt-Variable
Einfluss-Variable
Nicht inten-dierter Effekt
Einfluss-Variable
Moderator-Variable
Inspiriert durch den Vortrag „Moderne Methoden der Kausalanalyse“
von Prof. Dr. Josef Brüderle, LMU München
Front-Door
Back-Door
ColliderJudea Pearl, 2008 (8. Auflage): Causality: Models, Reasoning, and Inference.
: Kontrolle
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Bewertung ohne Experiment … Bewertung ohne Experiment … Bewertung ohne Experiment … Bewertung ohne Experiment …
… erfordert weitere Informationen:
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 6666
Unternehmens-struktur
Wissens-austausch
Netzwerk-förderung
Arbeits-Plätze
Studienplatz-nachfrage
Hochschul-aktivität
Investitionen
Lokaler Wettbewerb
Innovation
: Kontrolle
Inspiriert durch den Vortrag „Moderne Methoden der Kausalanalyse“
von Prof. Dr. Josef Brüderle, LMU München
Moderator
Front-Door
Back-Door
Collider
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Woher kommen die Annahmen?Woher kommen die Annahmen?Woher kommen die Annahmen?Woher kommen die Annahmen?
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 7777
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
AlltagstheorienAlltagstheorienAlltagstheorienAlltagstheorien
Alltagstheorien enstammen der unmittelbaren Erfahrung.
Interventionslogiken oder Programmtheorien sind oft Alltagstheorien:
• plausibel und kommunizierbar aber
• unterkomplex und voller verdeckter Annahmen
• Ohne Berücksichtigung weiterer Effekte
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 8888
Wissens-austausch
Netzwerk-förderung
Arbeits-Plätze
Innovation
Front-Door
„Theory of action“ „Theory of change“
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Vereinheitlichte Theorie
Middle Range Theory
Arbeitshypothese
Wissenschaftliche TheorienWissenschaftliche TheorienWissenschaftliche TheorienWissenschaftliche Theorien
„The term [sociological] theory refers to logically interconnected sets of propositions from which empirical uniformities can be derived” (Merton, 1949)
Middel range theory „introduces a ground for prediction which is more secure than mere empirical extrapolation from previously observed trends” (Merton, 1967)
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 9999
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Exkurs Exkurs Exkurs Exkurs interne interne interne interne vs. externe Validitätvs. externe Validitätvs. externe Validitätvs. externe Validität
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 10101010
Korrekte Kausalerklärung für jeden Fall
Mißachtung der Rahmenbedingungen
InterneValidität
Möglich trotz fehlender interner
Validität
Aber dann Gefahr durch unbekannte kritische Faktoren
Externe Validität
InduktionDeduktion
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Multi-goal evaluation (Chen and Rossi, 1980)
• Nichts in der Black box
• Teilweise deduktiv
• Externe Validität über Link zu wiss. Theorie
• Basiert auf wiss. Theorie
(Program-)Theory based evaluation (Carol Weiss,
1987)
• Viele Hypothesen in der Black box
• Eher induktiv
• Externe Validität weniger wichtig
• Basiert auf Programm Theorie
Realist evaluation (Pawson and Tilley, 1997)
• Handelnde Akteure in der Black box
• Eher induktiv
• Externe Validität über Vergleich mit anderen Programmen
• Basiert auf Akteurs-Theorien
Unterschiedliche Erwartungen an ProgrammtheorieUnterschiedliche Erwartungen an ProgrammtheorieUnterschiedliche Erwartungen an ProgrammtheorieUnterschiedliche Erwartungen an Programmtheorie
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 11111111
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
„Komplexitäts„Komplexitäts„Komplexitäts„Komplexitäts----Erhaltungssatz“Erhaltungssatz“Erhaltungssatz“Erhaltungssatz“
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 12121212
Wissenschaftl.(middle range)
Theorie
Politik (des muddling
through?)
Begründete Differenziertheit von
Intervention und Programmtheorie
Reichweite der Theorie der Bewertung
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Nichts ist so praktisch wie eine überprüfte TheorieNichts ist so praktisch wie eine überprüfte TheorieNichts ist so praktisch wie eine überprüfte TheorieNichts ist so praktisch wie eine überprüfte Theorie
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 13131313
Unternehmens-struktur
Wissens-austausch
Arbeits-Plätze
Investitionen
Lokaler Wettbewerb
Innovation
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Überprüfung der theoretischen KonsistenzÜberprüfung der theoretischen KonsistenzÜberprüfung der theoretischen KonsistenzÜberprüfung der theoretischen Konsistenz
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 14141414
Unternehmens-struktur
Wissens-austausch
Arbeits-Plätze
Investitionen
Lokaler Wettbewerb
InnovationNetzwerk-förderung
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Erweiterung der Programmlogik entlang der TheorieErweiterung der Programmlogik entlang der TheorieErweiterung der Programmlogik entlang der TheorieErweiterung der Programmlogik entlang der Theorie
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 15151515
Unternehmens-struktur
Wissens-austausch
Arbeits-Plätze
Investitionen
Lokaler Wettbewerb
InnovationNetzwerk-bildung
Netzwerk-förderung
Koordination (-sprobleme?)
: Kontrolle
Jobless Growth?
Arbeitssparende Technologie?
Produktions-verlagerung?
Internatio-nalisierung?
Andere Maßnahme
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Theorie hilft gegen GespensterTheorie hilft gegen GespensterTheorie hilft gegen GespensterTheorie hilft gegen Gespenster
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 16161616
… und verlässt sich nicht auf statistische Effekte.
Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …
… sondern begründete und unbegründete Interventionen.
Es gibt keine „Mitnahmeeffekte“…Es gibt keine „Mitnahmeeffekte“…Es gibt keine „Mitnahmeeffekte“…Es gibt keine „Mitnahmeeffekte“…
… sondern kausale Beziehungen und unerklärte beobachtete Zusammenhänge.
Es gibt keine „BruttoEs gibt keine „BruttoEs gibt keine „BruttoEs gibt keine „Brutto---- und Nettoeffekte“ …und Nettoeffekte“ …und Nettoeffekte“ …und Nettoeffekte“ …
… sondern vielfältige Wirkungen in wechselseitigen kausalenBeziehungen.
Es gibt keine „Synergieeffekte“ …Es gibt keine „Synergieeffekte“ …Es gibt keine „Synergieeffekte“ …Es gibt keine „Synergieeffekte“ …
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Ist die Programmtheorie falsch oder die wiss. Theorie?Ist die Programmtheorie falsch oder die wiss. Theorie?Ist die Programmtheorie falsch oder die wiss. Theorie?Ist die Programmtheorie falsch oder die wiss. Theorie?
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 17171717
Wissens-austausch
Arbeits-Plätze
Investitionen
Innovation(Netzwerk-) Förderung
Kapitalmarkt: Kontrolle
Unternehmens-struktur
Transparenz über die getroffenen Annahmen!Transparenz über die getroffenen Annahmen!Transparenz über die getroffenen Annahmen!Transparenz über die getroffenen Annahmen!
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Ergebnis der Diskussion „in a nutshell“:Ergebnis der Diskussion „in a nutshell“:Ergebnis der Diskussion „in a nutshell“:Ergebnis der Diskussion „in a nutshell“:
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 18181818
Die Theorie
schneidet den Begründungsregress ab
schafft Transparenz über Paradigmen und Annahmen.
Die Theorie dient
der Begründung der Intervention
ihrer gezielten Ausrichtung auf die, die ihrer bedürfen
der Ermittlung und Erklärung von Wirkungen, bzw. ihrem Ausbleiben.
Die Theorie ermöglicht
eine fundierte Kritik der Forschung und
eine grundsätzliche Kritik der Politik.
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Offenlegung von Annahmen &
Paradigmen relativiert wiss. Antworten
Offenlegung von Zusammenhängen
hinterfragt politische Lösungen
Gefährdet die Relativierung die gegenseitige Gefährdet die Relativierung die gegenseitige Gefährdet die Relativierung die gegenseitige Gefährdet die Relativierung die gegenseitige Legitimierung?Legitimierung?Legitimierung?Legitimierung?
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 19191919
Wissenschaftl.(middle range)
Theorie
Politik (des muddling
through?)Forschung
legitimiert sich gegenüber Politik
als Geldgeber
Politik legitimiert sich über Forschung
gegenüber Öffentlichkeit
ABERABERABERABER
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Theoretische Fundierung …Theoretische Fundierung …Theoretische Fundierung …Theoretische Fundierung …
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 20202020
… fördert Transparenz
… ermöglicht den kontinuierlichen Aufbau von Wissen
… ermöglicht grundsätzliche Kritik
… verhindert die gegenseitige Vereinnahmung
… fördert und erfordert gelungene Kommunikation zwischen „zwei
Welten“!
Anne MargarianAnne MargarianAnne MargarianAnne Margarian
Hohe Transparenz erfordert mehr KommunikationHohe Transparenz erfordert mehr KommunikationHohe Transparenz erfordert mehr KommunikationHohe Transparenz erfordert mehr Kommunikation
02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 21212121
InterventionProgramm-
theorie/ Alltagstheorie
Wissenschaftl.(middle range)
Theorie
Experimentelle/ kontrafaktische
Wirkungsanalyse
Theoriebasierte Wirkungsanalyse
Politik (des muddling
through?)
Annahmen Annahmen Annahmen Annahmen und Zieleund Zieleund Zieleund Ziele
Annahmen Annahmen Annahmen Annahmen und Ergebnisseund Ergebnisseund Ergebnisseund Ergebnisse