In der Weiterbildung geht der Trend zur Evaluation Bildungsanbietersind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zupruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquodiesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evalua-tionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
KOS Weiterbildung Umschlaegeindd 1 091213 1515
weiter gelernt
Nr 5 ndash Dezember 2013
Selbstevaluation in der Weiterbildung
Beitraumlge zur Weiterbildungsdiskussion
weiter gelernt
KOS_Selbstevulation_Inhaltindd 1 091213 1524
Impressum
Entwicklung und Konzeption kos GmbH Rungestraszlige 18 10179 Berlin wwwkos-qualitaetde E-Mail infokos-qualitaetde
Redaktion Dr Anja Lietzmann
Auftraggeber Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung Oranienstraszlige 106 10969 Berlin
Das Projekt bdquoQualitaumlt Beruflicher und Betrieblicher Qualifizierung ndash Koordinierungsstelle Qualitaumltldquo wird im Rahmen des Programms BerlinArbeit gefoumlrdert mit Mitteln des Landes Berlin
Das Projekt Koordinierungsstelle Qualitaumlt hat im Rahmen der Beaufshytragung durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen Konzepte und Modelle als Unterstuumltzungspraxis fuumlr die Berliner Weitershybildungsanbieter entwickelt die mit der Heftenreihe bdquoweiter gelerntldquo verbreitet werden Bei einer Nutzung und Verwertung der Heftenreihe bdquoweiter gelerntldquo ist die urheberrechtliche Stelle zu nennen
kos GmbH Projekt Koordinierungsstelle Qualitaumlt beauftragt durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung
Alle veroumlffentlichten Informationen beruhen auf sorgfaumlltigen Rechershychen der verwendeten Quellen Fuumlr die Inhalte externer Internetseiten uumlbernimmt die Redaktion keine Haftung Fuumlr den Inhalt der verlinkshyten Seiten sind ausschlieszliglich deren Betreiberinnen verantwortlich Das Team der kos freut sich uumlber Ruumlckmeldungen Anregungen und Hinweise zur Heftenreihe
1
KOS_Selbstevulation_Inhaltindd 2-3 091213 1524
weiter gelernt
Inhaltsverzeichnis
Einleitung 3
Was ist Evaluation 5
Wozu evaluieren Nutzen von Selbstevaluation 7
Was wird evaluiert Gegenstaumlnde von Selbstevaluation 10
Wie evaluieren Umsetzung von Selbstevaluation 14
Staumlrken und Schwaumlchen von Selbstevaluation 21
Checkliste fuumlr eine erfolgreiche Selbstevaluation 22
Literatur und Quellen 25
weiter gelernt
Einleitung
Evaluation hat in den vergangenen Jahren zunehmend an Bedeutung gewonnen Nicht nur hat sie sich in immer weiteren Feldern und Bereishychen etabliert ndash auch die Intensitaumlt von Evaluationen innerhalb dieser Bereiche hat zugenommen
Das Bildungssystem ist einer der Bereiche in denen Evaluation stark an Relevanz gewonnen hat In Schulen und Hochschulen werden schon seit laumlngerer Zeit die vielfaumlltigsten Aspekte evaluiert Seit zwei Jahrzenten ist auch der Bereich der Weiterbildung von diesem Trend erfasst Didaktische Reflexion Lernerfolgskontrolle und andere Techshyniken der Selbstuumlberpruumlfung zaumlhlen hier klassischerweise zum Grundshybestand paumldagogischen Handelns Daneben treten nunmehr auch im Bereich der Weiterbildung Evaluationen auf die vorrangig einen Kontrollshycharakter besitzen und darauf gerichtet sind im Sinne eines Effizienz- und Kostendenkens Erfolge und Wirkungen von staatlich finanzierten Maszlignahmen zu bestimmen
Anbieter von Weiterbildung sehen sich daher immer haumlufiger in der Situation ihre Aktivitaumlten evaluieren zu wollen ndash oder zu muumlssen Doch gerade Evaluationen die auf externen Druck hin (etwa durch Mittelgeshyber) initiiert werden koumlnnen bei Bildungsanbietern Widerstaumlnde ausloumlshysen ndash insbesondere dann wenn diese im Kontext bildungspolitischer Sparanstrengungen stehen und negative Konsequenzen fuumlr Bildungsshyanbieter drohen
Hier gilt es den Nutzen von Evaluation neu zu erkennen und fuumlr die eigene Organisation zu generieren Die empirische Absicherung und die Dokumentation der eigenen Arbeit verleihen Bildungsanbietern ein Ruumlstzeug das sie im politischen Diskurs um knappe Foumlrdermittel gut wappnet Daruumlber hinaus kann Evaluation zu rein organisationsintershynen Zwecken genutzt werden wenn sie etwa gezielt als ein Element im Qualitaumltskreislauf eingesetzt wird Den Erfolg der eigenen Arbeit zu kontrollieren ist eine Hauptmotivation fuumlr Bildungsanbieter sich selbst zu evaluieren
3 2
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 4-5 091213 1524
Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen
In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation
Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)
Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind
Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen
Was ist Evaluation
Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden
Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen
bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet
bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale
bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien
(Vgl Wottawa 2003 S14)
4 5
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 6-7 091213 1524
Formen von Evaluation
Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden
Evaluationen werden dazu eingesetzt
a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)
b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder
c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)
Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen
a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder
b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren
Standards von Evaluation
Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen
bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten
bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden
bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden
bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln
(Vgl Deutsche Gesellschaft fuumlr Evaluation)
Wozu evaluieren Nutzen von Selbstevaluation
Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln
6 7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 8-9 091213 1524
Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen
Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen
Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen
Funktionen definieren
Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten
Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen
Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)
Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt
Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen
Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren
Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren
Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation
8 9
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 10-11 091213 1524
Was wird evaluiert Gegenstaumlnde von Selbstevaluation
Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick
Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen
Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen
Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann
Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen
Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten
Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten
Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert
Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals
Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation
Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale
10 11
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelernt
KOS_Selbstevulation_Inhaltindd 1 091213 1524
Impressum
Entwicklung und Konzeption kos GmbH Rungestraszlige 18 10179 Berlin wwwkos-qualitaetde E-Mail infokos-qualitaetde
Redaktion Dr Anja Lietzmann
Auftraggeber Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung Oranienstraszlige 106 10969 Berlin
Das Projekt bdquoQualitaumlt Beruflicher und Betrieblicher Qualifizierung ndash Koordinierungsstelle Qualitaumltldquo wird im Rahmen des Programms BerlinArbeit gefoumlrdert mit Mitteln des Landes Berlin
Das Projekt Koordinierungsstelle Qualitaumlt hat im Rahmen der Beaufshytragung durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen Konzepte und Modelle als Unterstuumltzungspraxis fuumlr die Berliner Weitershybildungsanbieter entwickelt die mit der Heftenreihe bdquoweiter gelerntldquo verbreitet werden Bei einer Nutzung und Verwertung der Heftenreihe bdquoweiter gelerntldquo ist die urheberrechtliche Stelle zu nennen
kos GmbH Projekt Koordinierungsstelle Qualitaumlt beauftragt durch die Senatsverwaltung fuumlr Arbeit Integration und Frauen des Landes Berlin Referat Berufliche Qualifizierung
Alle veroumlffentlichten Informationen beruhen auf sorgfaumlltigen Rechershychen der verwendeten Quellen Fuumlr die Inhalte externer Internetseiten uumlbernimmt die Redaktion keine Haftung Fuumlr den Inhalt der verlinkshyten Seiten sind ausschlieszliglich deren Betreiberinnen verantwortlich Das Team der kos freut sich uumlber Ruumlckmeldungen Anregungen und Hinweise zur Heftenreihe
1
KOS_Selbstevulation_Inhaltindd 2-3 091213 1524
weiter gelernt
Inhaltsverzeichnis
Einleitung 3
Was ist Evaluation 5
Wozu evaluieren Nutzen von Selbstevaluation 7
Was wird evaluiert Gegenstaumlnde von Selbstevaluation 10
Wie evaluieren Umsetzung von Selbstevaluation 14
Staumlrken und Schwaumlchen von Selbstevaluation 21
Checkliste fuumlr eine erfolgreiche Selbstevaluation 22
Literatur und Quellen 25
weiter gelernt
Einleitung
Evaluation hat in den vergangenen Jahren zunehmend an Bedeutung gewonnen Nicht nur hat sie sich in immer weiteren Feldern und Bereishychen etabliert ndash auch die Intensitaumlt von Evaluationen innerhalb dieser Bereiche hat zugenommen
Das Bildungssystem ist einer der Bereiche in denen Evaluation stark an Relevanz gewonnen hat In Schulen und Hochschulen werden schon seit laumlngerer Zeit die vielfaumlltigsten Aspekte evaluiert Seit zwei Jahrzenten ist auch der Bereich der Weiterbildung von diesem Trend erfasst Didaktische Reflexion Lernerfolgskontrolle und andere Techshyniken der Selbstuumlberpruumlfung zaumlhlen hier klassischerweise zum Grundshybestand paumldagogischen Handelns Daneben treten nunmehr auch im Bereich der Weiterbildung Evaluationen auf die vorrangig einen Kontrollshycharakter besitzen und darauf gerichtet sind im Sinne eines Effizienz- und Kostendenkens Erfolge und Wirkungen von staatlich finanzierten Maszlignahmen zu bestimmen
Anbieter von Weiterbildung sehen sich daher immer haumlufiger in der Situation ihre Aktivitaumlten evaluieren zu wollen ndash oder zu muumlssen Doch gerade Evaluationen die auf externen Druck hin (etwa durch Mittelgeshyber) initiiert werden koumlnnen bei Bildungsanbietern Widerstaumlnde ausloumlshysen ndash insbesondere dann wenn diese im Kontext bildungspolitischer Sparanstrengungen stehen und negative Konsequenzen fuumlr Bildungsshyanbieter drohen
Hier gilt es den Nutzen von Evaluation neu zu erkennen und fuumlr die eigene Organisation zu generieren Die empirische Absicherung und die Dokumentation der eigenen Arbeit verleihen Bildungsanbietern ein Ruumlstzeug das sie im politischen Diskurs um knappe Foumlrdermittel gut wappnet Daruumlber hinaus kann Evaluation zu rein organisationsintershynen Zwecken genutzt werden wenn sie etwa gezielt als ein Element im Qualitaumltskreislauf eingesetzt wird Den Erfolg der eigenen Arbeit zu kontrollieren ist eine Hauptmotivation fuumlr Bildungsanbieter sich selbst zu evaluieren
3 2
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 4-5 091213 1524
Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen
In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation
Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)
Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind
Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen
Was ist Evaluation
Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden
Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen
bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet
bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale
bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien
(Vgl Wottawa 2003 S14)
4 5
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 6-7 091213 1524
Formen von Evaluation
Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden
Evaluationen werden dazu eingesetzt
a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)
b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder
c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)
Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen
a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder
b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren
Standards von Evaluation
Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen
bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten
bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden
bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden
bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln
(Vgl Deutsche Gesellschaft fuumlr Evaluation)
Wozu evaluieren Nutzen von Selbstevaluation
Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln
6 7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 8-9 091213 1524
Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen
Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen
Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen
Funktionen definieren
Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten
Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen
Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)
Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt
Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen
Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren
Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren
Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation
8 9
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 10-11 091213 1524
Was wird evaluiert Gegenstaumlnde von Selbstevaluation
Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick
Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen
Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen
Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann
Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen
Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten
Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten
Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert
Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals
Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation
Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale
10 11
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
KOS_Selbstevulation_Inhaltindd 2-3 091213 1524
weiter gelernt
Inhaltsverzeichnis
Einleitung 3
Was ist Evaluation 5
Wozu evaluieren Nutzen von Selbstevaluation 7
Was wird evaluiert Gegenstaumlnde von Selbstevaluation 10
Wie evaluieren Umsetzung von Selbstevaluation 14
Staumlrken und Schwaumlchen von Selbstevaluation 21
Checkliste fuumlr eine erfolgreiche Selbstevaluation 22
Literatur und Quellen 25
weiter gelernt
Einleitung
Evaluation hat in den vergangenen Jahren zunehmend an Bedeutung gewonnen Nicht nur hat sie sich in immer weiteren Feldern und Bereishychen etabliert ndash auch die Intensitaumlt von Evaluationen innerhalb dieser Bereiche hat zugenommen
Das Bildungssystem ist einer der Bereiche in denen Evaluation stark an Relevanz gewonnen hat In Schulen und Hochschulen werden schon seit laumlngerer Zeit die vielfaumlltigsten Aspekte evaluiert Seit zwei Jahrzenten ist auch der Bereich der Weiterbildung von diesem Trend erfasst Didaktische Reflexion Lernerfolgskontrolle und andere Techshyniken der Selbstuumlberpruumlfung zaumlhlen hier klassischerweise zum Grundshybestand paumldagogischen Handelns Daneben treten nunmehr auch im Bereich der Weiterbildung Evaluationen auf die vorrangig einen Kontrollshycharakter besitzen und darauf gerichtet sind im Sinne eines Effizienz- und Kostendenkens Erfolge und Wirkungen von staatlich finanzierten Maszlignahmen zu bestimmen
Anbieter von Weiterbildung sehen sich daher immer haumlufiger in der Situation ihre Aktivitaumlten evaluieren zu wollen ndash oder zu muumlssen Doch gerade Evaluationen die auf externen Druck hin (etwa durch Mittelgeshyber) initiiert werden koumlnnen bei Bildungsanbietern Widerstaumlnde ausloumlshysen ndash insbesondere dann wenn diese im Kontext bildungspolitischer Sparanstrengungen stehen und negative Konsequenzen fuumlr Bildungsshyanbieter drohen
Hier gilt es den Nutzen von Evaluation neu zu erkennen und fuumlr die eigene Organisation zu generieren Die empirische Absicherung und die Dokumentation der eigenen Arbeit verleihen Bildungsanbietern ein Ruumlstzeug das sie im politischen Diskurs um knappe Foumlrdermittel gut wappnet Daruumlber hinaus kann Evaluation zu rein organisationsintershynen Zwecken genutzt werden wenn sie etwa gezielt als ein Element im Qualitaumltskreislauf eingesetzt wird Den Erfolg der eigenen Arbeit zu kontrollieren ist eine Hauptmotivation fuumlr Bildungsanbieter sich selbst zu evaluieren
3 2
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 4-5 091213 1524
Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen
In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation
Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)
Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind
Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen
Was ist Evaluation
Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden
Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen
bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet
bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale
bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien
(Vgl Wottawa 2003 S14)
4 5
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 6-7 091213 1524
Formen von Evaluation
Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden
Evaluationen werden dazu eingesetzt
a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)
b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder
c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)
Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen
a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder
b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren
Standards von Evaluation
Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen
bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten
bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden
bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden
bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln
(Vgl Deutsche Gesellschaft fuumlr Evaluation)
Wozu evaluieren Nutzen von Selbstevaluation
Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln
6 7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 8-9 091213 1524
Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen
Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen
Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen
Funktionen definieren
Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten
Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen
Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)
Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt
Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen
Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren
Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren
Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation
8 9
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 10-11 091213 1524
Was wird evaluiert Gegenstaumlnde von Selbstevaluation
Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick
Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen
Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen
Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann
Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen
Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten
Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten
Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert
Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals
Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation
Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale
10 11
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 4-5 091213 1524
Gegenwaumlrtig sind Evaluationen in der Weiterbildung thematisch breit aufgestellt und mit ganz unterschiedlichen Anliegen und Funktionen verbunden Die vorliegende Ausgabe der Heftenreihe bdquoweiter gelerntldquo moumlchte diese vorstellen und dabei auf den Nutzen abheben den Bilshydungsanbieter aus Evaluation ziehen koumlnnen
In diesem Kontext beschreibt die aktuelle Ausgabe was Evaluation ist wie man diese in der Praxis der Weiterbildung sinnvoll einsetzen kann und wie man sie schlieszliglich durchfuumlhrt Dabei setzt die Ausgabe einen Fokus auf Selbstevaluation
Selbstevaluationen sind dadurch bestimmt dass sie durch Personen durchgefuumlhrt werden die selbst zum Gegenstand der Evaluation gehoumlren (In-house-Evaluation)
Die praxisgestaltenden Akteure sind hierbei identisch mit der evaluierenden Instanz Selbstevaluationen unterscheiden sich darin von sogenannten Fremdevaluationen (oder auch externen Evaluationen) die durch Personen ausgeuumlbt werden die nicht Teil des zu bewertenden Gegenstandes sind
Die aktuelle Ausgabe von bdquoweiter gelerntldquo wurde in dem Anliegen geschrieben Anbietern von Weiterbildung einfuumlhrend eine praxisnahe Anleitung zur Selbstevaluation zu vermitteln Mittels dieser Anleitung sollen Bildungsanbieter in die Lage versetzt werden ihre Evaluationsshybedarfe besser zu erkennen und wissenschaftlich geleitet auf diese reagieren zu koumlnnen Dies impliziert eine Orientierung fuumlr all jene Bilshydungsanbieter die sich und ihre Maszlignahmen im Sinne des Qualitaumltsshymanagements uumlberpruumlfen wollen
Was ist Evaluation
Der Begriff bdquoEvaluationldquo bezeichnet ein spezifisches Handeln das systematische Verfahren sowohl der Informationsgewinnung als auch der Informationsbewertung umfasst Diese Verfahren koumlnnen an untershyschiedlichen Gegenstaumlnden ndash etwa Produkten Prozessen Maszlignahmen Programmen oder Projekten ndash angewendet werden
Unter diese eher wenig spezifische Definition von Evaluation faumlllt in der Praxis eine hohe Bandbreite an unterschiedlichen Aktivitaumlten Es zeigt sich dass der Begriff Evaluation in konkreten Kontexten houmlchst verschieden verwendet werden kann Stets jedoch gelten fuumlr wissenshyschaftliche Evaluationen die folgenden drei Kennzeichen
bull Evaluation ist auf die Bewertung von etwas auf die Beurteilung eines Wertes gerichtet
bull Evaluation ist ziel- und nutzenorientiert Sie stellt Transshyparenz uumlber Ergebnisse und Wirkungen her und uumlberpruumlft diese auf Verbesserungspotenziale
bull Evaluationen werden mittels wissenschaftlicher Techniken und Methoden durchgefuumlhrt in aller Regel gemaumlszlig den Methoden der empirischen Sozialforschung sowie nach offen gelegten Kriterien
(Vgl Wottawa 2003 S14)
4 5
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 6-7 091213 1524
Formen von Evaluation
Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden
Evaluationen werden dazu eingesetzt
a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)
b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder
c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)
Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen
a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder
b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren
Standards von Evaluation
Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen
bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten
bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden
bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden
bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln
(Vgl Deutsche Gesellschaft fuumlr Evaluation)
Wozu evaluieren Nutzen von Selbstevaluation
Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln
6 7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 8-9 091213 1524
Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen
Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen
Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen
Funktionen definieren
Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten
Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen
Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)
Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt
Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen
Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren
Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren
Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation
8 9
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 10-11 091213 1524
Was wird evaluiert Gegenstaumlnde von Selbstevaluation
Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick
Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen
Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen
Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann
Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen
Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten
Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten
Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert
Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals
Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation
Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale
10 11
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 6-7 091213 1524
Formen von Evaluation
Die Vielseitigkeit evaluatorischer Taumltigkeiten zeichnet sich in der Tatsashyche ab dass auf mehreren Ebenen zwischen einer Reihe unterschiedshylicher Formen von Evaluation unterschieden werden kann Hierzu zaumlhlt die bereits dargestellte Differenzierung zwischen Selbst- und Fremdshyevaluation die nach der evaluierenden Instanz unterscheidet Weiterhin wird gemaumlszlig den Aufgabenstellungen von Evaluation unterschieden
Evaluationen werden dazu eingesetzt
a) die Planung von Maszlignahmen Projekten oder Programmen zu verbessern (ex-ante Evaluation)
b) Durchfuumlhrungsprozesse zu analysieren (on-going Evaluation) oder
c) um Ergebnisse Wirkungen und Nachhaltigkeit von Maszlignahmen Projekten oder Programmen zu bestimmen (ex-post Evaluation)
Gemaumlszlig diesen Aufgabenstellungen nehmen Evaluationen einen untershyschiedlichen Charakter an Evaluationen koumlnnen
a) eher formativ angelegt sein dh sie beziehen sich auf Prozesse und zielen auf deren kontinuierliche Optimierung oder
b) einen eher summativen Charakter besitzen und wesentlich auf Ergebnisse im Sinne zusammenfassender Bilanzen fokussieren
Standards von Evaluation
Evaluation ist mithin ein weites Feld Um die Professionalitaumlt innerhalb dieses Feldes zu sichern sind bestimmte Standards zu beruumlcksichshytigen Die fuumlr Deutschland anerkannten Standards wurden durch die Deutsche Gesellschaft fuumlr Evaluation (DeGEval) definiert Demzufolge sollten Evaluationen folgende Eigenschaften aufweisen
bull Nuumltzlichkeit Evaluationen sollten sich strikt an den mit der Evaluation verbundenen Zwecken sowie an dem Informationsbedarf der Organisation ausrichten
bull Durchfuumlhrbarkeit Evaluationen sollten machbar sein dh etwa realistisch gut durchdacht diplomatisch und kostenbewusst geplant und ausgefuumlhrt werden
bull Fairness Im Kontext von Evaluationen sollten betroffene Personen respektvoll und fair behandelt werden
bull Genauigkeit Evaluationen sollten guumlltige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringen und vermitteln
(Vgl Deutsche Gesellschaft fuumlr Evaluation)
Wozu evaluieren Nutzen von Selbstevaluation
Wie und zu welchem Zweck das Instrument der Selbstevaluation in der Weiterbildung genutzt wird ist vielfaumlltig und haumlngt wesentlich von den Interessen die die Organisation mit der Evaluation verbindet ab Ganz grundsaumltzlich dient Evaluation der Generierung von Erkenntnissen hinsichtlich des Erfolgs der durchgefuumlhrten Taumltigkeiten und ihrer Ergebshynisse Diese Erkenntnisse tragen dazu bei Probleme zu erkennen In einem zweiten Schritt koumlnnen sie als Grundlage fuumlr Entscheidungen im Rahmen von Steuerungs- und Managementprozessen dienen mit dem Ziel die Bildungsarbeit zukuumlnftig zu optimieren In diesem Sinne kann Evaluation Teil des Qualitaumltsmanagements sein und dazu beitragen die Qualitaumlt der Bildungsdienstleistung sicherzustellen bzw diese weiter zu entwickeln
6 7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 8-9 091213 1524
Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen
Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen
Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen
Funktionen definieren
Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten
Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen
Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)
Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt
Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen
Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren
Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren
Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation
8 9
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 10-11 091213 1524
Was wird evaluiert Gegenstaumlnde von Selbstevaluation
Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick
Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen
Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen
Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann
Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen
Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten
Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten
Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert
Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals
Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation
Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale
10 11
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 8-9 091213 1524
Da Selbstevaluation verschiedene Funktionen erfuumlllen kann sollte sich die Organisation vor Beginn der Evaluationsmaszlignahme vergegenwaumlrshytigen wozu die Evaluation vorrangig dienen soll Hierbei sollte sich die Organisation die Interessenslagen nicht nur ihrer eigenen Einrichtung und unterschiedlicher Akteure innerhalb ihrer Einrichtung vergegenshywaumlrtigen sondern auch die Interessen anderer Akteure und moumlglicher Stakeholder die sich an die Evaluation richten koumlnnen und ggf bedient werden muumlssen
Waumlhrend sich die Organisation selbst mit einer Evaluation etwa eine Basis fuumlr Organisations- und Qualitaumltsentwicklungsprozesse schaffen wollen mag kann ihrem Lehrpersonal va daran liegen ein systemashytisches und nachvollziehbares Feedback der Kundinnen und Kunden zu Bildungsprozessen -settings und -methoden zu gewinnen
Die Kundinnen und Kunden der Angebote moumlgen sich von Evaluation ein Mehr an Transparenz der Weiterbildungsangebote versprechen waumlhrend Auftraggeber ua aus der Politik die Ergebnisse als Argushymentationsgrundlage fuumlr kuumlnftige politische Entscheidungen nutzen wollen
Funktionen definieren
Innerhalb des dargestellten Interessensgeflechts muumlssen Bildungsanshybieter bestimmen was mit der Evaluation konkret erreicht werden soll und welche Funktionen sie erfuumlllen soll In diesem Kontext sollten sie pruumlfen welche der nachstehenden Funktionen sie mit ihrem Evaluashytionsvorhaben primaumlr verfolgen moumlchten
Erkenntnisfunktion Soll die Evaluation genutzt werden um Erkenntshynisse uumlber bestimmte Strukturen und Prozesse zu gewinnen
Kontrollfunktion Sollen die Ergebnisse der Evaluation genutzt werden um zu uumlberpruumlfen inwiefern die Ziele realisiert wurden die an die Organisation und die Bildungsangebote gerichtet sind (Soll-Ist-Abgleich)
Entwicklungsfunktion Sollen die Evaluationsbefunde genutzt werden um Strukturen und Prozesse der Organisation zu reflekshytieren und Entwicklungspotenziale zu identifizieren Werden auf Basis der Ergebnisse die konzeptionelle Weiterentwicklung der Einrichtung sowie die systematische Optimierung der Angebote angestrebt Wird die Evaluation im Sinne der internen Qualitaumltsshysicherung zur Sicherstellung der Qualitaumlt eingesetzt
Legitimationsfunktion Soll die Evaluation genutzt werden um einer Rechenschaftspflicht gegenuumlber Externen (etwa Auftragshygebern) zu genuumlgen
Marketingfunktion Soll die Evaluation genutzt werden um nach auszligen mehr Transparenz uumlber eigene Angebote herzustelshylen und die Ergebnisse im Sinne des Marketings in der Oumlffentshylichkeit zu praumlsentieren
Dialogfunktion Sollen die Evaluationsergebnisse genutzt wershyden um einen Dialog zwischen den verschiedenen Akteuren (Pershysonal Kundinnen und Kunden Auftraggeber etc) zu initiieren
Ein Evaluationsvorhaben kann eine oder mehrere dieser Funktionen bedienen tatsaumlchlich sind die Funktionen von Evaluation in aller Regel eng miteinander verbunden Organisationen sollten daher klaumlren wie sich diese zueinander verhalten und wo Prioritaumlten gesetzt werden Die Festlegung auf eine prioritaumlre Funktion bestimmt anschlieszligend die gesamte konzeptionelle Ausrichtung und Umsetzung der Evaluation
8 9
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 10-11 091213 1524
Was wird evaluiert Gegenstaumlnde von Selbstevaluation
Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick
Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen
Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen
Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann
Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen
Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten
Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten
Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert
Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals
Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation
Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale
10 11
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 10-11 091213 1524
Was wird evaluiert Gegenstaumlnde von Selbstevaluation
Grundsaumltzlich koumlnnen im Bereich der Weiterbildung unterschiedlichen Aspekte evaluiert werden Sowohl Prozesse als auch Ergebnisse und Wirkungen dieser Prozesse werden untersucht und bewertet Waumlhrend sich einige Evaluationen auf spezifische inhaltlich klar abgegrenzte Aspekte konzentrieren sind andere Evaluationen von deutlich umfasshysenderem Charakter und nehmen komplexere Gegenstaumlnde in den Blick
Typische Beispiele fuumlr Evaluationsgegenstaumlnde in der Weiterbildung sind die Kundenzufriedenheit Umfang und Inhalt von Bildungsangeboten Lehrkraumlfte und Personal oder auch die gesamte Bildungseinrichtung mit ihren Strukturen und Arbeitsprozessen
Der Evaluationsgegenstand beschreibt das was untersucht und bewertet werden soll Er legt fest welche Handlungs- und Taumltigkeitsbereiche konkret uumlberpruumlft werden sollen
Welche Aspekte zum Gegenstand von Evaluation werden ist entweder durch externe Vorgaben (etwa den Auftrag- und Mittelgeber) definiert oder obliegt vollstaumlndig der Weiterbildungsorganisation selbst Doch auch dort wo externe Evaluationsanspruumlche bestehen sind Bildungsshyanbieter gefragt ihren eigenen Evaluationsbedarf zu bestimmen der ggf uumlber die Anforderungen Dritter hinausgehen kann
Was von einem Bildungsanbieter evaluiert wird sollte in dishyrektem Zusammenhang mit den Bedarfen der Organisation sowie ggf mit den Interessen von Auftraggebern bzw Foumlrdershyprogrammatiken stehen
Die Uumlberpruumlfung organisationaler Ziele und des Maszliges in dem diese realisiert wurden sollte in der Evaluation einen zentrashylen Platz finden Hierbei nimmt das Leitziel des gelungenen Lernens einen Fokus ein Dh Evaluation in der Weiterbildung sollte uumlberpruumlfen inwiefern aus Sicht der Kundinnen und Kunshyden ein erfolgreicher Lernprozess stattgefunden hat und welche Faktoren diesen Prozess ermoumlglichten oder behinderten
Es gibt keine Vorgaben welche Aspekte Bildungsanbieter evaluieren sollten Die Bandbreite moumlglicher Evaluationsgegenstaumlnde ist prinzishypiell groszlig Dies geht auf die vielseitige inhaltliche und konzeptionelle Ausrichtung von Anbietern der Weiterbildung zuruumlck aber auch auf die unterschiedlichen Anspruumlche die diese an Evaluation richten
Grundsaumltzlich wird die Vielheit moumlglicher Evaluationsgegenstaumlnde innershyhalb vier Gruppen klassifiziert
Inputs Evaluiert werden hier die Bedingungen und Unterstuumltzungsshystrukturen fuumlr die Dienstleistung Weiterbildung zB die Groumlszlige sowie die raumlumliche und finanzielle Ausstattung der Einrichtung oder die Komshypetenzen des Lehrpersonals
Prozesse Im Fokus der Evaluation steht der Verlauf der Lehr- und Lernshyprozesse etwa die zum Einsatz kommenden Lehrmethoden die Inhalte und Gestaltung der Bildungsangebote Organisation und Planung die Art in der die Bedarfe der Kundinnen und Kunden beruumlcksichtigt wird oder auch die interne und externe Kommunikation und Kooperation
Outputs Die Evaluation von Outputs richtet sich auf die konkreten Ergebnisse der Bildungsangebote Solche Ergebnisse sind sowohl auf der Ebene der Organisation als auch auf der Ebene der Kundinnen und Kunden beobachtbar Hierzu zaumlhlen zB die Anzahl der Teilnehmenden an Bildungsangeboten einschlieszliglich ihrer demographischen Merkmale
10 11
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 12-13 091213 1524
konkrete Lernresultate (Informationsvermittlung Wissens- und Erkenntshyniszugewinn) Zufriedenheit mit den Angeboten oder Zielgruppenershyschlieszligung
Outcomes Gegenstand der Evaluation von Outcomes sind die laumlngershyfristigen Wirkungen die die Weiterbildungsangebote entweder fuumlr die Strukturen der Einrichtung selbst oder fuumlr die Kundinnen und Kunden oder allgemein im Feld von Bildung und Arbeitsmarkt zeitigen An ihnen bemisst sich der nachhaltige Erfolg der Angebote Beispiele fuumlr Outshycomes im Bereich der Weiterbildung sind Beitraumlge zur Bekaumlmpfung von Erwerbslosigkeit Integration in den Arbeitsmarkt Erhalt der Beschaumlfshytigungsfaumlhigkeit Erhoumlhung der Weiterbildungsbeteiligung oder Schafshyfung des Bildungszugangs fuumlr bildungsferne Personen
Ein Evaluationsvorhaben kann mehrere Gegenstaumlnde aus mehreren Kategorien umfassen so koumlnnen zB sowohl Prozess- als auch Outshyputfaktoren gemessen werden Es ist jedoch ratsam nicht zu viele Gegenstaumlnde gleichzeitig in den Blick zu nehmen da in diesem Fall die Evaluation zu umfangreich undoder komplex werden kann Die Evaluashytion von Outcomes stellt ein besonders anspruchsvolles Unternehmen dar das spezieller Voraussetzungen und Ressourcen bedarf
Weitere Hinweise zur Outcome-Orientierung finden sich auch in Heft Nr 4 dieser Reihe bdquoOutcome-Orientierung in der Weitershybildungldquo
Evaluationsgegenstand definieren
Die Bestimmung der Aspekte die einer Evaluation unterzogen wershyden sollen obliegt stets ndash entweder vollstaumlndig oder (wo externe Evaluationsauflagen bestehen) teilweise ndash der Weiterbildungsorganishysation selbst Angesichts der Fuumllle an Aspekten die evaluiert werden
koumlnnen stellt jedoch die Definition des Evaluationsgegenstandes fuumlr viele Bildungsanbieter eine Herausforderung dar In diesem Kontext ist es daher sinnvoll wenn sich Organisationen zunaumlchst eine Reihe von Aspekten vergegenwaumlrtigen
Der Evaluationsgegenstand haumlngt wesentlich von den konkreten Zielshysetzungen ab die mit der Evaluation verbunden werden Organisashytionen die Weiterbildung anbieten sollten sich daher Folgendes fragen
bull Wozu soll die Evaluation dienen
bull Welcher Nutzen ist von der Evaluation fuumlr die Organisation zu erwarten
bull Worin besteht genau Wissensbedarf
bull Welche konkreten Informationen werden benoumltigt um den Wissensbedarf zu decken
Nuumltzlichkeit ist eine der wichtigsten Kriterien von Evaluation Es sollte daher sichergestellt werden dass die Organisation ihre Informationsshybedarfe genau kennt und die Evaluation so angelegt wird dass diese Bedarfe gedeckt werden koumlnnen
Neben der Nuumltzlichkeit stellt auch die Durchfuumlhrbarkeit des Vorhabens ein entscheidendes Kriterium bei der Bestimmung des Evaluationsshygegenstandes dar Evaluationen koumlnnen rasch zu einem komplexen ressourcenintensiven Unternehmen werden Es ist daher ratsam sich auf den fuumlr die Organisation unbedingt notwendigen Informationsbedarf zu beschraumlnken In diesem Kontext sollten auch die Voraussetzungen unter denen die Evaluation durchgefuumlhrt wird analysiert werden
12 13
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 14-15 091213 1524
Wie evaluieren Umsetzung von Selbstevaluation
Die technische Umsetzung von Selbstevaluationen verlaumluft nach einem einheitlichen Schema Auf der Basis dass Zweck und Gegenstand der Evaluation festgelegt worden sind umfasst sie die folgenden Schritte
1 Operationalisierung (Konkretisierung des Gegenstands und Indikatorenbildung)
2 Bestimmung und Entwicklung der Evaluationsinstrumente
3 Datenerhebung
4 Datenauswertung
5 Entwickeln von Befunden und Ableitung von Konsequenzen
Das Evaluationskonzept
Jedoch sollte der Umsetzung des Evaluationsvorhabens ein bestimmshytes Maszlig an planerischer und konzeptioneller Arbeit vorausgehen Ein Evaluationskonzept das das Vorhaben in seinen Einzelaspekten plant und strukturiert sollte daher am Beginn jeder Evaluation stehen Dies impliziert die konkrete Ausformulierung jedes der og Umsetzungsshyschritte
Idealerweise beruumlcksichtigt das Konzept sowohl Fragen des Nutzens und Gegenstandes der Evaluation als auch der methodischen und prakshytischen Umsetzung Es sollte die folgenden Inhalte umfassen
Funktion und Aufgaben Das mit der Evaluation verfolgte erkenntnisshytheoretische Interesse wird geklaumlrt Es wird festgelegt wie und wozu die Evaluationsergebnisse verwendet werden sollen
Gegenstand Der Informationsbedarf und die Gegenstaumlnde die untershysucht werden sollen werden genau bestimmt
Operationalisierung Der Evaluationsgegenstand wird konkretisiert und messbare Indikatoren gebildet Die forschungsleitendenden Frageshystellungen werden bestimmt
Bewertung Die Bewertungskriterien werden festgelegt
Datenlage Es wird gepruumlft inwiefern bereits Daten vorliegen die den Informationsbedarf decken koumlnnen
Methoden und Instrumente Es wird ein geeignetes methodisches Vorgehen bestimmt Dies impliziert die Festlegung der einzusetzenden Instrumente sowie die Planung der Datenerhebung und Datenanalyse In diesem Kontext werden auch geeignete Informations- und Datenshyquellen identifiziert sowie deren Verfuumlgbarkeit gepruumlft
Praktische Umsetzung Es wird bestimmt wie oft und wann die Erhebung durchgefuumlhrt werden muss um den Informationsbedarf zu decken Es werden Festlegungen getroffen uumlber welchen Zeitraum die Erhebung erfolgen wird Es werden Angaben dazu gemacht wer fuumlr die Evaluation verantwortlich ist und sie durchfuumlhren wird
Ressourcen Es wird bestimmt welche Ressourcen zum Einsatz komshymen (Finanzen Zeit Kompetenzen etc) und das gesamte Vorhaben in dieser Hinsicht auf Realisierbarkeit gepruumlft Alle Hemmnisse die dem Vorhaben entgegenstehen koumlnnten werden identifiziert
Das Evaluationskonzept sollte in schriftlicher Form ausgearbeitet wershyden Es dient in allen Phasen der Evaluation als Referenzpunkt
14 15
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 16-17 091213 1524
Operationalisierung
Der Festlegung des Evaluationsgegenstandes folgen die Konkretisieshyrung dieses Gegenstandes und seine Uumlberfuumlhrung in eine messbare Form Dieser Vorgang wird als Operationalisierung bezeichnet
Der Schritt der Operationalisierung ist zumeist noumltig da der einmal bestimmte Gegenstand zu komplex und abstrakt ist um direkt messshybar zu sein Im Zuge der Operationalisierung werden daher Indikatoren gebildet die den Evaluationsgegenstand auf beobachtbare erfassbare und messbare Verhaltensweisen oder Sachverhalte bdquoherunterbrechenldquo Die Indikatoren zeigen zugleich an welche spezifischen Informationen zum Evaluationsgegenstand erhoben werden muumlssen
Parallel zu den Indikatoren sollten Bewertungs- oder Erfolgskriterien bestimmt werden Diese definieren wie ein Ergebnis der Evaluation bewertet wird dh wann bei einem bestimmten Ergebnis von einem Erfolg und wann von einem Misserfolg zu sprechen ist Sie orientieren sich an den Zielen der Organisation
Je komplexer der Evaluationsgegenstand ist umso mehr Konkretisieshyrungsebenen muumlssen eingebaut werden bis schlieszliglich messbare Indishykatoren gebildet werden koumlnnen
Methoden und Instrumente
Wissenschaftliche Evaluationen werden mittels der Methoden der empirischen Sozialforschung durchgefuumlhrt Hierbei koumlnnen sie sich der gesamten Bandbreite an Instrumenten bedienen die dieser Methodenshypool anbietet Sowohl quantitative als auch qualitative Daten koumlnnen im Kontext von Evaluationen generiert werden Haumlufig kommen mehreshyre Instrumente parallel undoder zeitlich nachgeordnet zum Einsatz die sich ergaumlnzende Daten produzieren
Welche Methoden und Instrumente hierbei zum Einsatz kommen haumlngt vom Zweck und Gegenstand der Evaluation aber auch von den Ressourcen der Organisation ab Fuumlr die Auswahl eines angemessenen und an der Zielstellung orientierten Evaluationsinstrumentes kann die Beantwortung der folgenden Fragen hilfreich sein
bull Welche Informationen werden bereits erfasst und koumlnnen fuumlr die Evaluation genutzt werden
bull Welche Instrumente werden bereits eingesetzt und koumlnnen fuumlr die Erhebung der benoumltigten Informationen genutzt werden
bull Welche (weiteren) Instrumente sind grundsaumltzlich geeig-net um den Evaluationsgegenstand zu untersuchen und die benoumltigten Informationen zu erheben
bull Mit welchen Eigenschaften einschlieszliglich Vor- und Nachteilen sind die ausgewaumlhlten Instrumente verbunden (Standardisiertheitsgrad Objektivitaumlt Aufwand Anonymishytaumlt Stichprobengroumlszlige Zeitpunkt der Erhebung)
bull An welche Personen oder Organisationen sind die aus-gewaumlhlten Instrumente adressiert und ist die Erreichbarshykeit dieser Zielgruppen gewaumlhrleistet
bull Koumlnnen die ausgewaumlhlten Instrumente praktikabel in den Arbeitsalltag integriert werden
bull Liegen adaumlquate Ressourcen (Zeit Finanzen Kompe-tenzen) vor um die ausgewaumlhlten Instrumente zum Einsatz zu bringen Ist das Aufwand-Nutzen-Verhaumlltnis angemessen
16 17
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 18-19 091213 1524
Die methodischen Anforderungen die sich an eine Evaluation stellen sind oft herausforderungsreich ndash sie steigen mit dem Komplexitaumltsgrad des Evaluationsvorhabens Dies impliziert bestimmte Konsequenzen fuumlr Organisationen der Weiterbildung die sich und ihre Aktivitaumlten selbst evaluieren moumlchten Selbstevaluationen werden typischerweise nicht durch Evaluationsexperten mit umfassenden Methodenkenntnissen durchgefuumlhrt Bildungsanbieter sollten daher ihr Evaluationsvorhaben strikt unter dem Aspekt der methodischen Durchfuumlhrbarkeit reflektieshyren
In diesem Zusammenhang sollten Bildungsanbieter daher nicht nur pruumlfen welches methodisches Vorgehen grundsaumltzlich geeignet ist sondern auch ob die Organisation ausreichende Kenntnisse uumlber die ausgewaumlhlten Methoden besitzt Kommt die Organisation hier zu einem negativen Befund muumlssen methodische Alternativen gepruumlft oder der Evaluationsgegenstand angepasst werden auch kann bedacht werden ob punktuell externe Unterstuumltzung herangezogen werden kann
Hinsichtlich des Evaluationsinstrumentariums steht Weiterbildungseinshyrichtungen eine weite Brandbreite an Moumlglichkeiten offen Zu bewaumlhrshyten Evaluationsinstrumenten zaumlhlen die folgenden
Umfragen Umfragen werden per Fragebogen durchgefuumlhrt Je nach Evaluationsgegenstand beinhalten diese offene undoder geschlossene Fragen Wo die entsprechenden technischen Moumlglichkeiten vorhanden sind koumlnnen Umfragen auch online durchgefuumlhrt werden
Interview Interviews koumlnnen teil- oder vollstandardisiert sein sowie in der Form von Gruppen- oder Einzelinterviews sowie telefonisch oder face-to-face durchgefuumlhrt werden
Dokumentenanalyse Alle Dokumente die Informationen hinsichtlich des Evaluationsgegenstandes liefern koumlnnen etwa mittels Inhaltsshyanalyse analysiert werden Hierzu zaumlhlen zB Planungsunterlagen Konzepte Projektberichte oder Dokumentationsbogen und Protokolle von Bildungsveranstaltungen
18
Beobachtung Beobachtungen koumlnnen in Form reflektierter Selbstbeshyobachtung entweder durch Einzelne oder durch Gruppen durchgefuumlhrt werden
Monitoring Ein systematisches Monitoring eignet sich va zur Erfasshysung von Teilnehmenden-Daten
Datenanalyse und -bewertung
Selbstevaluation kann je nach gewaumlhlter Methode quantitative und oder qualitative Daten produzieren In der Vorgehensweise bei der Auswertung unterscheiden sich quantitativer und qualitativer Ansatz deutlich
Im quantitativen Ansatz dominiert die statistische Operation mit Zahlen Er kommt va bei solchen Gegenstaumlnden zum Einsatz die quanshytifizierbar sind ohne dass ihre inhaltliche Bedeutung darunter leidet Lernergebnisse etwa sind ein typisches Beispiel Erkenntnisse werden hier uumlber die Messung von Mengen gewonnen Quantitative Verfahren setzen daher voraus dass die Menge der erhobenen Daten ausreicht um statistische Operationen uumlberhaupt durchfuumlhren zu koumlnnen und reshypraumlsentative sowie signifikante Ergebnisse zu produzieren
Im qualitativen Ansatz dominiert die Interpretation von Begriffen und strukturellen Zusammenhaumlngen hier soll die Beschaffenheit des Gegenstandes verstanden werden Er wird va dann eingesetzt wenn der Evaluationsgegenstand kaum standardisierbar und messbar zu erfassen ist Dies ist zB bei Lern-Lehrprozess-Analysen der Fall Der qualitative Ansatz arbeitet daher va an der Interpretation von Aussashygen in Texten Interviews und Gespraumlchen
Die Erhebung und anschlieszligende Analyse der gesammelten Daten kann sich entweder prozessbegleitend uumlber einen laumlngeren Zeitraum hinweg erstrecken (formative Evaluation) oder eher punktuell mit abschlieszligenshydem Charakter erfolgen (summative Evaluation) Auch kann die Erhebung
19
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
weiter gelerntweiter gelernt
KOS_Selbstevulation_Inhaltindd 20-21 091213 1524
und Analyse einmalig erfolgen oder im Sinne der kontinuierlichen Inforshymationsgewinnung fortlaufend durchgefuumlhrt werden
In jedem Falle sollte sie in eine Bewertung der Ergebnisse muumlnden Die Bewertung nimmt die Uumlberfuumlhrung von (quantitativen und qualitativen) Daten in Befunde vor die angeben was die Daten bedeuten ndash etwa in Hinsicht auf die Strukturen und Prozesse der Organisation die Quashylitaumlt der Bildungsarbeit die Zufriedenheit der Kundinnen und Kunden oder die bildungs- und arbeitsmarktpolitische Wirkung der Taumltigkeiten Dh die Bewertung leistet eine Interpretation der Daten hinsichtlich der Erreichung von organisationalen und Bildungszielen sowie des Erfolges der dabei realisiert oder eben nicht realisiert werden konnte Die im Rahmen des Evaluationskonzeptes aufgestellten Bewertungskriterien helfen um diese Interpretation vornehmen zu koumlnnen
Aus den Befunden werden wiederum Handlungskonsequenzen fuumlr die Zukunft abgeleitet Sie machen neben Erfolgen auch identifizierte Schwachstellen transparent und schlagen vor welche Veraumlnderungen Verbesserungen Erweiterungen oder Neuplanungen zu deren Korrektur eingeleitet werden sollten
Die Ergebnisse und Befunde einer Evaluation sowie moumlgliche Konseshyquenzen sollten stets dokumentiert werden bevorzugt in Form eines Evaluationsberichtes Daruumlber hinaus ist die aktive Reflexion der Ergebshynisse und Befunde empfehlenswert sowohl auf individueller Ebene des Lehrpersonals als auch auf der Ebene des Teams als auch auf geshysamtorganisationaler Ebene Diese Reflexion stellt die Grundlage fuumlr die tatsaumlchliche Umsetzung der im Evaluationsbericht empfohlenen Handlungskonsequenzen dar
Staumlrken und Schwaumlchen von Selbstevaluation
Wie jedes methodische Setting hat Selbstevaluation bestimmte Vor- und Nachteile die man vor ihrem Einsatz genau reflektieren sollte Solche Vor- und Nachteile werden va im Unterschied zur Fremdevashyluation identifiziert die durch organisationsexterne Personen in aller Regel Evaluations-Experten durchgefuumlhrt werden
Die Staumlrken von Selbstevaluationen sind auf mehreren Ebenen zu verzeichnen Selbstevaluationen werden von der evaluierten Organishysation selbst gestaltet und gesteuert und koumlnnen so strikt dem Evashyluationsbedarf des Bildungsanbieters unterstellt werden Richtig einshygesetzt vermag Selbstevaluation einen houmlchstmoumlglichen Nutzen fuumlr den Bildungsanbieter zu erbringen Auf methodischer Ebene ist es von Vorteil dass die Evaluatoren hohe Sachkenntnisse im zu bewershytenden Feld besitzen Zudem koumlnnen Selbstevaluationen rasch und ressourcenschonend durchgefuumlhrt werden und die Ergebnisse und Handlungsempfehlungen der Evaluation koumlnnen zumeist unmittelbar umgesetzt werden
Selbstevaluationen sind jedoch auch mit besonderen Herausfordeshyrungen verbunden und die Methode stoumlszligt an objektive Grenzen Eine wesentliche Schwaumlche besteht darin dass die Evaluierenden zumeist nicht uumlber ausreichende Methodenkompetenz verfuumlgen Auch untershystehen die Evaluatoren einer doppelten Rollenanforderung insofern sie sowohl Akteure ihrer Organisation sind und Bildungsmaszlignahmen umsetzen ndash als auch ebenjene Organisation und ihre Maszlignahmen anashylysieren und bewerten Hieraus folgt dass es ihnen an Unabhaumlngigkeit und Distanz mangelt und bestimmte Probleme oder Verbesserungsposhytenziale nicht erkannt werden
Beiden Schwaumlchen kann nur begrenzt begegnet werden Kontinuiershyliche Reflexion des eigenen evaluatorischen Tuns aber ggf auch Heranshyziehung externer Unterstuumltzung kann jedoch gewisse Abhilfe bieten
20 21
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
KOS_Selbstevulation_Inhaltindd 22-23 091213 1524
weiter gelernt
Checkliste fuumlr eine erfolgreiche Selbstevaluation
Um die genannten Nachteile von Selbstevaluation ausgleichen zu koumlnnen empfiehlt sich ein stark systematisches Vorgehen in der Umsetzung Das nachstehende Set an Handlungsschritten bietet eine solche Systematik an Bildungsanbieter koumlnnen dieses sowohl als Handlungsanleitung als auch als Selbstkontrolle fuumlr die Umsetzung von Selbstevaluationen nutzen
Schritt 1 Vorbereitung der Evaluation
1 Nutzen Wurden Funktionen und angestrebter Nutzen der Evaluation elaboriert
2 Gegenstand Wurden Informationsbedarf und der Evaluationsgegenstand genau bestimmt sowie hinreichend konkretisiert
3 Datenlage Wurde gepruumlft welche Daten ggf vorliegen
4 Methode Wurde ein geeignetes methodisches Vorgehen gewaumlhlt
5 Instrumente Wurden geeignete Evaluationsshyinstrumente bestimmt
6 Indikatoren Wurden messbare Indikatoren und Bewertungskriterien gebildet
weiter gelernt
7 Forschungsfragen Wurden forschungsleitende Fragestellungen entwickelt
8 Zeit Wurden Untersuchungszeitraum und -haumlufigkeit festgelegt
9 Ressourcen Wurden die Ressourcen bestimmt
Schritt 2 Erhebungsplanung
10 Erhebung Wurde die Datenerhebung geplant (Ort Zeit Verfuumlgbarkeit etc)
11 Instrumente Wurden die Evaluationsinstrumente entwickelt
Schritt 3 Erhebung
12 Erhebung Ist die Datenerhebung erfolgt
Schritt 4 Auswertung
13 Datenerfassung Sind alle Daten erfasst worden
14 Datenaufbereitung Sind die Daten fuumlr die Auswertung aufbereitet worden
15 Auswertung Sind die Daten analysiert (Quantitaumlten berechnet Qualitaumlten benannt) und in Ergebnisse uumlberfuumlhrt worden
22 23
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
KOS_Selbstevulation_Inhaltindd 24-25 091213 1524
weiter gelernt
Schritt 5 Bewertung
16 Bewertung Sind die Ergebnisse bewertet und in Befunde uumlberfuumlhrt worden
Schritt 6 Dokumentation
17 Dokumentation Sind die Ergebnisse und Befunde adaumlquat dokumentiert worden
Schritt 7 Nutzung
18 Schlussfolgerungen Sind Konsequenzen und Handlungsempfehlungen aus den Ergebnissen und Befunden abgeleitet worden
19 Nutzung Wurde die Nutzung der Evaluationsshyergebnisse und -befunde eingeleitet
weiter gelernt
Literatur und Quellen
Beywl Wolfgang (2001) Evaluation und Qualitaumltsmanagement Systematische Verfahren zur Entwicklung von Qualitaumlt in den Humanshydienstleistungen in Wolfgang Geise (Hrsg) Oumlkonomische Bildung zur Bewaumlltigung von Lebenssituationen Bergisch Gladbach S117-132
Beywl Wolfgang et al (2008) Evaluation Schritt fuumlr Schritt Planung von Evaluationen Muumlnster
Bortz JuumlrgenDoumlring Nicola (2005) Forschungsmethoden und Evashyluation fuumlr Human- und Sozialwissenschaftler Heidelberg
Deutsche Gesellschaft fuumlr Evaluation Standards fuumlr Evaluation URL httpwwwdegevaldedegeval-standardsstandards (Stand 18112013)
Deutsche Gesellschaft fuumlr Evaluation Empfehlungen zur Anwendung der Standards fuumlr Evaluation im Handlungsfeld der Selbstevaluation URL httpwwwdegevaldepublikationenselbstevaluation (Stand 18112013)
Diekmann Andreas (2004) Empirische Sozialforschung Grundlagen Methoden Anwendungen Reinbek
Friedrichs Juumlrgen (1990) Methoden empirischer Sozialforschung Heiner Maja (2004) Evaluation in der Beratung In Nestmann Frank et al (Hrsg) Das Handbuch der Beratung Band 2 Ansaumltze Methoden und Felder Tuumlbingen
Koumlnig Joachim (2004) Selbstevaluation ndash Der Weg zu mehr Nachshyhaltigkeit Ein Leitfaden fuumlr Projekttraumlger und Projektverantwortliche LASA Praxishilfe Nr 13 Potsdam
25 24
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
KOS_Selbstevulation_Inhaltindd 26-27 091213 1524
weiter gelernt
Meyer Wolfgang (2002) Was ist Evaluation Centrum fuumlr Evaluation Arbeitspapiere 5 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013)
Meyer Wolfgang (2004) Indikatorenentwicklung Eine praxisorishyentierte Einfuumlhrung Centrum fuumlr Evaluation Arbeitspapiere 10 URL httpwwwcevaldetypo3indexphpid=189 (Stand 18112013) Wottawa Heinrich et al (2003) Lehrbuch Evaluation Bern
Nuissl Ekkehard (2013) Evaluation in der Erwachsenenbildung Studientexte fuumlr Erwachsenenbildung Bielefeld
Stockmann Rainer (2004) Was ist eine gute Evaluation Einfuumlhrung zu Funktionen und Methoden von Evaluationsverfahren Centrum fuumlr Evaluation Arbeitspapiere 9 URL httpwwwcevaldetypo3index phpid=189 (Stand 18112013)
Stockmann Rainer (2006) Evaluation und Qualitaumltsentwicklung Eine Grundlage fuumlr wirkungsorientiertes Qualitaumltsmanagement Muumlnster
26
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7
Nr 5 ndash Dezember 2013
Beitraumlge zur Weiterbildungsdiskussion
Selbstevaluation in der Weiterbildung
weiter gelernt
KOS Weiterbildung Umschlaegeindd 1 091213 1515
In der Weiterbildung geht der Trend zur Evaluation Bildungsanbieter sind immer haumlufiger gefragt ihre Maszlignahmen und Aktivitaumlten zu pruumlfen und zu bewerten Immer staumlrker wollen sie wissen welche Maszlignahmen optimale Bildungserfolge bei ihren Zielgruppen zeitigen ndash und wo Verbesserungspotenziale liegen
Mittlerweile ist Evaluation im Feld der Weiterbildung breit aufgestellt Sie pruumlft etwa Bedarfe fuumlr Maszlignahmen Projekte oder Programme begleitet deren Durchfuumlhrung analysiert Ergebnisse und Wirkungen bewertet ihre Sinnhaftigkeit und uumlberpruumlft die Erreichung gesetzter Ziele Auch als Bestandteil von Qualitaumltsmanagement wird Evaluation eingesetzt
Grund genug die aktuelle Ausgabe der Heftenreihe bdquoweiter gelerntldquo diesem Thema zu widmen Im Sinne einer praktischen Anleitung konzentriert sie sich auf die Selbstevaluation und stellt vor wie Evaluashytionen von Bildungsanbietern selbst gestaltet und durchgefuumlhrt werden koumlnnen
ISBN 978-3-9814948-7-7