Übung “evaluationstheorie”: 1. was ist evaluation? sandra bäthge, m.a. universität des...
TRANSCRIPT
Übung “Evaluationstheorie”:
1. Was ist Evaluation?
Sandra Bäthge, M.A. Universität des Saarlandes
&Stefanie Kihm, M.A.HTW des Saarlandes
November 2014
Der Begriff „Evaluation“ Der Begriff „Evaluation“ KROMREY (2001)KROMREY (2001)Der Begriff „Evaluation“ Der Begriff „Evaluation“ KROMREY (2001)KROMREY (2001)
Irgend etwas wird
von irgend jemandem
in irgendeiner Weise
nach irgendwelchen Kriterien bewertet.
Programme, Maßnahmen, Organisationen etc. werden
durch Personen, die zur Bewertung besonders befähigt sind
in einem objektivierten Verfahren
nach explizit auf den Sachverhalt bezogenen und begründeten Kriterien bewertet.
alltäglicher Sprachgebrauch
November 2014 Sandra Bäthge & Stefanie Kihm 2
wissenschaftlicher Sprachgebrauch
Kennzeichen wiss. EvaluationKennzeichen wiss. EvaluationKennzeichen wiss. EvaluationKennzeichen wiss. Evaluation
Evaluation dient als Planungs- und Entscheidungshilfe,
ist ziel- und zweckorientiert (primäres Ziel ist die Überprüfung, Verbesserung bzw. Entscheidung über Sachverhalte) und
sollte dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein.
vgl. WOTTAWA & THIERAU (2003)
3November 2014 Sandra Bäthge & Stefanie Kihm
Populäre DefinitionenPopuläre DefinitionenPopuläre DefinitionenPopuläre Definitionen
„Evaluation is the systematic investigation of the merit or worth of an object (program) for the purpose of reducing uncertainty in decision making.“
MERTENS (1998)
Evaluationsforschung … „als systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme. Evaluationsforschung bezeichnet den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von (...) sozialen Interventionsmaßnahmen.“
ROSSI/FREEMAN (1988)
4November 2014 Sandra Bäthge & Stefanie Kihm
5
Eine weitere ausführliche DefinitionEine weitere ausführliche DefinitionEine weitere ausführliche DefinitionEine weitere ausführliche Definition
„Wissenschaftliche Dienstleistung, die namentlich öffentlich verantwortete oder finanzierte ‚Gegenstände‘ (Politiken, Programme, Projekte, Massnahmen …) in verschiedensten Themenfeldern systematisch, transparent und datengestützt beschreibt und ausgewogen bewertet, so dass Beteiligte & Betroffene (Auftraggebende und andere Stakeholder) die erzeugten Evaluationsergebnisse für vorgesehene Zwecke wie Rechenschaftslegung, Entscheidungsfindung oder Optimierung nutzen.“
BEYWL/WIDMER (2009)
November 2014 Sandra Bäthge & Stefanie Kihm
Typen & Problemstellungen von Eval.Typen & Problemstellungen von Eval.Typen & Problemstellungen von Eval.Typen & Problemstellungen von Eval.
GegenstandGegenstand der Evaluation
ZieleZiele der Evaluation
ZeitpunktZeitpunkt, an dem eine Evaluation ansetzt
InstanzenInstanzen, die die Evaluation durchführen
EvaluationsmodellEvaluationsmodell
BewertungskriterienBewertungskriterien
Evaluationen lassen sich anhand verschiedener Gestaltungsdimensionen klassifizieren, u.a.:
6November 2014 Sandra Bäthge & Stefanie Kihm
Mögliche Teilaspekte eines Programms:
Art, Ausmaß und Verteilung des sozialen Problems auf das ein Programm abzielt
Programmziele und deren Angemessenheit
Programmimplementation
Programmwirkungen
Programmeffizienz
Evaluationsgegenstand:Evaluationsgegenstand:
Wer/was (genau) wird evaluiert? Wer/was (genau) wird evaluiert?
Evaluationsgegenstand:Evaluationsgegenstand:
Wer/was (genau) wird evaluiert? Wer/was (genau) wird evaluiert?
7November 2014 Sandra Bäthge & Stefanie Kihm
Evaluation dient zu / zur …
KontrollzweckenKontrollzwecken
(evaluation for accountability)
Verbreiterung der Wissensbasis Verbreiterung der Wissensbasis (evaluation for knowledge)
Entwicklungszwecken Entwicklungszwecken
(evaluation for development)
vgl. KROMREY (2001): 113f., CHELIMSKY (1997): 9ff.
Evaluationsziele:Evaluationsziele:
Warum wird evaluiert?Warum wird evaluiert?
Evaluationsziele:Evaluationsziele:
Warum wird evaluiert?Warum wird evaluiert?
8November 2014 Sandra Bäthge & Stefanie Kihm
Dimensionen der Evaluationsforschung
Quelle: In Anlehnung an STOCKMANN (2007): S. 34
Zeitpunkt der Evaluation: Zeitpunkt der Evaluation:
Wann wird evaluiert?Wann wird evaluiert?
Zeitpunkt der Evaluation: Zeitpunkt der Evaluation:
Wann wird evaluiert?Wann wird evaluiert?
9
PlanungPlanung DurchführungDurchführung WirkungsphaseWirkungsphase
preformativ/formativ
formativ/ summativ summativ
ex-ante on-going ex-post
zusammenfassend bilanzierend ergebnis- und
wirkungsorientiert “analysis of policy”
“science for knowledge”
aktiv gestaltend prozessorientiert zukunftsorientiert/ konstruktiv “analysis for policy” “science for action”
November 2014 Sandra Bäthge & Stefanie Kihm
Formative & summative EvaluationFormative & summative EvaluationFormative & summative EvaluationFormative & summative Evaluation
„When the cook tastes the soup, that‘s formative evaluation, when the guest tastes it, that‘s summative evaluation.“
(Robert E. Stake)
10November 2014 Sandra Bäthge & Stefanie Kihm
Dimension/Verortung
Ort der Steuerung
einer Evaluation
Ort der Durchführung
einer Evaluation
Ort der Nutzung
einer Evaluation
Innerhalb der Institution/
des Projektes
Selbst-evaluation
Interne Evaluation
Formative Evaluation
Außerhalb der Institution/
des Projektes
Fremd-evaluation
Externe Evaluation
Summative Evaluation
Quelle: WIDMER (2004): S. 85
Evaluationsinstanz: Evaluationsinstanz:
Wo ist die Evaluation angesiedelt? Wo ist die Evaluation angesiedelt?
Evaluationsinstanz: Evaluationsinstanz:
Wo ist die Evaluation angesiedelt? Wo ist die Evaluation angesiedelt?
11November 2014 Sandra Bäthge & Stefanie Kihm
Interne und externe EvaluationInterne und externe EvaluationInterne und externe EvaluationInterne und externe Evaluation
Quelle: STOCKMANN (2007): S. 61
12
Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durchführungsorganisation angehören, z.B. externe Gutachter
Vorteile: hohe Unabhängigkeit große Methodenkompetenz unterstützen Reformkräfte große Glaubwürdigkeit
Nachteile: geringe Sachkenntnis Abwehrreaktionen Umsetzungsprobleme
Von der gleichen Organisation vorgenommen, die auch das Programm durchführt; Sonderfall: Selbstevaluation
Vorteile: rasch, geringer Aufwand hohe Sachkenntnis unmittelbare Umsetzung
Nachteile: geringe Methodenkompetenzfehlende Unabhängigkeit und Distanz „Betriebsblindheit“
Intern Extern
November 2014 Sandra Bäthge & Stefanie Kihm
Evaluationsmodelle (oder Evaluationsansätze) stellen weitgehend ausformulierte Vorschläge zur praktischen Strukturierung von Evaluationsvorhaben dar.
Sie bieten einen Orientierungsrahmen für das Auffinden der Hauptfragestellungen einer Evaluation, beschreiben mögliche und notwendige Arbeitsschritte und deren Abfolge, die dabei zu verwendenden Instrumente, angestrebte Arten von Ergebnissen und deren Nutzung usw.
(vgl. BEYWL 1988)
Zu Evaluationsmodell:Zu Evaluationsmodell:
Wie wird evaluiert?Wie wird evaluiert?
Zu Evaluationsmodell:Zu Evaluationsmodell:
Wie wird evaluiert?Wie wird evaluiert?
Unterschiedliche Klassifikationsversuche:
z.B. SHADISH et al. (1991); STUFFLEBEAM et al. (2000); FITZPATRICK et al. (2004); ALKIN (2004); BEYWL et al. (2004)
13November 2014 Sandra Bäthge & Stefanie Kihm
BewertungskriterienBewertungskriterienBewertungskriterienBewertungskriterien
Richten sich nicht nach vorgegebenen Normen oder Parametern
Orientieren sich jedoch oft am Nutzen eines Gegenstands einer Handlung eines Entwicklungsprozesses für bestimmte Personen oder Gruppen
Können festgelegt werden durch Auftraggeber (direktiv) Evaluator (wissenschafts-/erfahrungsbasiert) Zielgruppe, Stakeholder (emanzipativ) alle gemeinsam (partizipativ)
14November 2014 Sandra Bäthge & Stefanie Kihm
Sandra Bäthge & Stefanie Kihm
Vielen Dank für Ihre Vielen Dank für Ihre Aufmerksamkeit!Aufmerksamkeit!
Vielen Dank für Ihre Vielen Dank für Ihre Aufmerksamkeit!Aufmerksamkeit!
Evaluation
Erkenntnis
Lernen
Kontrolle
Legitimität
Quelle: Stockmann (2006): S. 67
Ziele der EvaluationZiele der EvaluationZiele der EvaluationZiele der Evaluation
Modell der ProgrammforschungModell der ProgrammforschungModell der ProgrammforschungModell der Programmforschung
Helfer- und BeratermodellHelfer- und BeratermodellHelfer- und BeratermodellHelfer- und Beratermodell
Phasen des Programm- prozesses
Analyse- perspektive
Erkenntnis- interesse
Evaluations- konzepte
Programm-formulierung/ Planungsphase
ex-ante "analysis for policy" "science for action"
preformativ/ formativ: aktiv gestaltend, prozessorientiert, konstruktiv
Implementations-phase
on-going beides möglich formativ/summativ: beides möglich
Wirkungsphase ex-post "analysis of policy" "science for knowledge"
summativ: zusammenfassend, bilanzierend, ergebnisorientiert
Dimensionen der Evaluationsforschung
Quelle: STOCKMANN (2007): S. 34
Zeitpunkt der Evaluation: Zeitpunkt der Evaluation:
Wann wird evaluiert?Wann wird evaluiert?
Zeitpunkt der Evaluation: Zeitpunkt der Evaluation:
Wann wird evaluiert?Wann wird evaluiert?
19