iso 9001 zert 1 innovation aus tradition exzellenzmessung & leistungsbeurteilung im...
TRANSCRIPT
ISO
9001 z
ert
1
INN
OV
AT
ION
a
us
T
RA
DIT
ION
Exzellenzmessung & Leistungsbeurteilung im Wissenschaftssystem
Nicole Schaffer, Michael DingesInstitut für Technologie und RegionalpolitikSensengasse 1A-1090 [email protected]
ISO
9001 z
ert
2
Inhalt: Gender und Exzellenz
- Kontext und Strategien
- Definitionen und Operationalisierung
- Umsetzung in Finanzierung und Förderung
- Effekte
- Schlussfolgerungen & Ausblick
ISO
9001 z
ert
3
Kontext und Strategien
ISO
9001 z
ert
4
Exzellenz: Motor der Forschungspolitik
Exzellenzstrategien - Kontext Österreich
- „Strategie 2010“, Rat für Forschung- und Technologieentwicklung (RFT)
- „Exzellenzinitiative Wissenschaft“ (Konzept Exzellenzcluster), FWF
- COMET - Competence Centers for Excellent Technologies, FFG
- Institute of Science and Technology Austria (ISTA)
- Universitäten – Vergleiche Exzellenzinitiative in Deutschland (Elite-Unis)
ISO
9001 z
ert
5
Exzellenz: Motor der Forschungspolitik II
Exzellenzstrategien - Kontext EU
- Lissabon: EU 2010 -> wettbewerbsfähigster und wissensbasierter Wirtschaftsraum (vs. Japan / USA)
- Barcelona: Steigerung Forschungsquote: 3% BIP
- Bologna: Europäisierung/ Internationalisierung Hochschulraum
- European Research Area, FP7
- European Research Council (2007): EU Fördergesellschaft
- European Institute of Technology (EIT)
ISO
9001 z
ert
6
Exzellenzstrategien
Ziele
- Steigerung der Wettbewerbsfähigkeit
- Getting more out of public R&D funding
- Profilbildung, Schwerpunktsetzung, „kritische Massen“
- Qualitätssicherung und Evaluierung
- -> Politische Steuerung von Forschung, Rechenschaft
Spannungsverhältnisse
- Innovation vs. Standardisierung, Risikobereitschaft vs. Absicherung, Vielfalt vs. Spezialisierung
- Grundlagenforschung vs. angewandte Forschung
- Elitenförderung vs. Nachwuchsförderung
- Quantität vs. Qualität
ISO
9001 z
ert
7
- Wettbewerbsfähigkeit steigern ->Frauen fördern, Strukturen verbessern- unterrepräsentierte Gruppe der Forscherinnen aktivieren
- Mängel / Ungleichheiten im Forschungssystem (Produktions-bedingungen, Bewertungskriterien, Selektionsverfahren) beseitigen
- „Promoting excellence through mainstreaming gender eqaulity“, ETAN 2000
- „Minimising gender bias in the definition and measurement of scientific excellence“, Florenz 2003
- „Gender and Excellence in the Making“ EC 2004
- G & E Expert Group, EC 2007
Exzellenzstrategien II und Gender
ISO
9001 z
ert
8
Definitionen und Operationalisierung
ISO
9001 z
ert
9
Exzellenz in der Forschung – You know it when you see it
- Studien im Auftrag des Rates für Forschung und Technologieentwicklung
- Hochschulen:
- international anerkannte Spitzenforschung an Universitäten, die sich darin äußert, dass der jeweilige Forschungsstandort bzw. das jeweilige Forschungsteam in der Disziplin weltweit als Ort der Spitzenforschung und Ausbildung von Spitzenforschern renommiert ist. (Hölzl 2006)
- Unternehmen:
- international nachhaltiger Markterfolg und
- Technologieführerschaft (Clement und Ajayi 2006)
- Methoden zur Operationalisierung
- Peer Review: Nur ExpertInnen des selben Fachgebietes können wissenschaftliche Qualität erkennen und bewerten
- Leistungsindikatoren: Publikationen, Zitate, Impact-Faktoren, Patente, Wissenstransfer, Preise
ISO
9001 z
ert
10
Österreichs wissenschaftliche Leistungsfähigkeit – Abstand zur Weltspitze
Quelle: Trend/FWF 2007/11
ISO
9001 z
ert
11
Strategien zur Umsetzung von Exzellenz
- Output- und leistungsorientierte Finanzierungssysteme
- Indikatorengetriebene Forschungsfinanzierung
- Formelbasierte Globalfinanzierung
- Methodenmix aus quantitativer und qualitativer Bewertung
- Research Assessment Exercise (UK)
- F&E Projektförderung
- Exzellenzförderung (FWF, ERC etc.)
- Thematische Schwerpunktsetzung
- Science-Industry Collaborations
- Cluster, Netzwerke
- Warum Strukturwandel in F&E Finanzierung?
- Mehr Steuerungsmöglichkeiten für Politik (Kriterien, Disziplin)
- Notwendige Bedingung für ein leistungsfähiges Forschungssystem
- Rechenschaft im Hinblick auf Ressourceneinsatz
ISO
9001 z
ert
12
Umsetzung in Finanzierung und Förderung
ISO
9001 z
ert
13
AT: Strukturwandel in F&E Finanzierung der Hochschulen
Tabelle 1: Finanzierung von F&E an den österreichischen Universitäten, 1985 – 2002
HE/FIN TIME PERIOD 1985 1989 1993 1998 2002 2004
Public R&D funding via Programmes and Contracts 40.1 59.6 116.5 146.8 219.4 362.93 General univ. funds* 384.8 466.9 666.4 814 937.5 899.45 Sub-total government 424.9 526.5 782.8 960.7 1,156.90 1,262.38 ASBR Index = GUF/Other Public HERD funding 9.4% 11.3% 14.9% 15.3% 19.0% 28.7% Private non-profit 1.4 1.8 3.2 4.5 8.2 11.447 Business enterprise 7.5 9.8 15.9 17.6 51.3 62.627 Funds from abroad 1.6 2.5 3.4 26.9 49.6 65.196
Total HERD (all sources of funding) 435.4 540.7 805.3 1,009.70 1,266.10 1,401.65
Quelle: OECD - Research and Development Statistics 2005, MSTI 2005, Statistisches
Jahrbuch 2007, eigene Berechnung.
ISO
9001 z
ert
14
F&E Projektfinanzierung in % des BIP 1970 - 2002
Anzahl an Instrumenten mit mehr als 5% des Fördervolumens
Quelle: Lepori et al. (2007) Science and Public Policy, July 2007
ISO
9001 z
ert
15
Anteil akademisch orientierter Forschungsförderung
Quelle: Lepori et al. (2007) Science and Public Policy, July 2007
ISO
9001 z
ert
16
Fazit: Projektförderung
- Anstieg in Programm und Projektfinanzierung geht einher mit Ausweitung des Instrumentenportfolios
- Für die letzte Dekade gilt: Weniger Dominanz von wissenschaftlicher Exzellenz denn Wissens- und Technologietransfer, Brückenschlag, Innovationen, Netzwerke
- Frauenfördernde Maßnahmen als Konkurrenz bzw. Parallelstrukturen zu anderen thematischen und strukturellen Prioritäten der Forschungspolitik
- Frauenförderung als spezifische Instrumente marginalisiert:
- 2.9% der Förderung des FWF
- fforte mit Vielzahl an Maßnahmen und Zielsetzungen, bei schwacher finanzieller Ausstattung
ISO
9001 z
ert
17
AT: Frauenanteil F&E im EU-25 Vergleich
She Figures 2006
- Forscherinnenquote AT: 21%, EU: 29%
- Hochschulsektor: AT 30%, EU: 35%
- Staatl. Sektor: AT: 35%, EU: 35%
- Unternehmenssektor: AT: 10%, EU: 18%
Hinweis: Daten aus 2003 bzw. 2002!
ISO
9001 z
ert
18
22,6%
8,2%9,7%
29,6%
11,5%
45,4%
35,5%
30,3%
36,3%
31,9%
27,0%
32,1%
0%
10%
20%
30%
40%
50%
Universitäten Unternehmen Staat PNP
1998
2002
2004
AT: Frauenanteil in F&E Forschungspersonal
ISO
9001 z
ert
19
Geisteswissenschaften insgesamt: 1999 Personen, 671.8 VZÄ
0
10
20
30
40
50
60
70
80
unte
r 25
Jahr
en
25 b
is 2
9Jah
re
30 b
is 3
4Jah
re
35 b
is 3
9Jah
re
40 b
is 4
4Jah
re
45 b
is 4
9Jah
re
50 b
is 5
4Jah
re
55 b
is 5
9Jah
re
60 b
is 6
4Jah
re
65 J
ahre
und
darü
ber
VZ
Ä
Männlich
Weiblich
AbsolventInnen und Beschäftigung in F&E:Beispiel Geisteswissenschaften
ISO
9001 z
ert
20
Fazit: Strukturwandel, Humanressourcen und Frauenförderung
- Beachtlicher Strukturwandel in AbsolventInnenzahlen und Beschäftigung innerhalb des Hochschulsektors
- Trotzdem: Große Diskrepanzen in Beschäftigungsverhältnissen und Hierarchien
- Keine automatische Anpassung der Geschlechter im Forschungspersonal aufgrund hoher Absolventinnenzahlen!
ISO
9001 z
ert
21
Effekte
ISO
9001 z
ert
22
Effekte und Anpassungsstrategien
- Bedeutung von Auswahlverfahren steigt
- Starke kollektive Wahrnehmungen zu Peer Review Prozessen:
- „Favours non-risky, orthodox research“
- Nachteiligkeiten für Interdisziplinarität
- „If people believe a situation to be real, it is real in its consequences“
- Anpassungsstrategien (Laudel 2006, Melin und Danell 2006)
- Vertraute Finanzierungsquellen wählen vs. möglichst viele Ressourcen
- „Bootlegging“ - dh. Fördermittel für bestehende Forschungsergebnisse zu beantragen, um neue Forschungsfelder vorantreiben zu können
- shift-to applied/industry related research
- Strategisches Verhalten von Universitäten (Barker 2007)
- Anheuern prominenter ForscherInnen etc.
ISO
9001 z
ert
23
Gender Bias in Auswahlverfahren: ERC I
0%
10%
20%
30%
40%
50%
60%
70%
LS1 LS2 LS3 LS4 LS5 LS6 LS7 PE1 PE2 PE3 PE4 PE5 PE6 PE7 PE8 SH1 SH2 SH3 SH4 SH5
Percentage female proposals Percentage female 2nd Round
Life SciencesPhysical Sciences &
EngineeringSocial Sciences &
Humanities
0%
10%
20%
30%
40%
50%
60%
70%
LS1 LS2 LS3 LS4 LS5 LS6 LS7 PE1 PE2 PE3 PE4 PE5 PE6 PE7 PE8 SH1 SH2 SH3 SH4 SH5
Percentage female proposals Percentage female 2nd Round
Life SciencesPhysical Sciences &
EngineeringSocial Sciences &
Humanities
ISO
9001 z
ert
24
Gender Bias in Auswahlverfahren: ERC II
The European Research Council: Making it to the 2nd Round
-80%
-60%
-40%
-20%
0%
20%
40%
60%
80%
LS1
LS2
LS3
LS4
LS5
LS6
LS7
PE
1
PE
2
PE
3
PE
4
PE
5
PE
6
PE
7
PE
8
SH
1
SH
2
SH
3
SH
4
SH
5
Female Male
Physical Sciences &Engineering
Life Sciences Social Sciences &Humanities
The European Research Council: Making it to the 2nd Round
-80%
-60%
-40%
-20%
0%
20%
40%
60%
80%
LS1
LS2
LS3
LS4
LS5
LS6
LS7
PE
1
PE
2
PE
3
PE
4
PE
5
PE
6
PE
7
PE
8
SH
1
SH
2
SH
3
SH
4
SH
5
Female Male
Physical Sciences &Engineering
Life Sciences Social Sciences &Humanities
ISO
9001 z
ert
25
Kritik Bibliometrie, Peer Review
Bibliometrie
- Quantität vs. Qualität, vergangene Leistung vs. Zukunftspotenzial
- Wenige Datenquellen aber viel Indikatoren: Thomson – ISI, SCOPUS
- Bias: Englisch-sprachig, begrenzte Anzahl von Journalen, Manipulation
- Ignoriert unterschiedliche Publikations- und Zitationssysteme sowie unterschiedliche Voraussetzungen (Ressourcen) in Disziplinen
- Ignoriert Zusammenhang Produktivität – Alter – Status (höhere Position: mehr Publikationen)
Peer Review
- GutachterInnen: Teil d. Scientific Community -> KonkurrentInnen
- Vorurteile, stereotype Zuschreibungen -> Doppelstandards
- wissenschaftlicher Mainstream dominiert Auswahlprozesse
- homosoziale Kooptierung, cultural cloning, Matilda Effect
ISO
9001 z
ert
26
Diskussion um Zielgenauigkeit und Fairness der Verfahren
Conclusio „ Gender and Excellence in the Making“ - mögliche Verzerrungen auf Grund des Geschlechts können vielerorts auftreten:
- 1. in der Definition von wissenschaftlicher Exzellenz
- 2. Qualitätskriterien, Qualitätsmerkmale, Bewertungsmaßstab
- 3. explizite und implizite (Leistungs)Indikatoren
- 4. unterschiedliche Anwendungen der Kriterien bei Frauen und Männern
- 5. Integration von Frauen in wissenschaftliche Netzwerke
- 6. Procedere durch die die Kriterien zur Anwendung kommen
ISO
9001 z
ert
27
Kritik: Auswahlverfahren/ Gegenstrategien
Kritik Auswahlverfahren
- zu wenig Frauen als Gate Keeper, geringe Diversität
- Stereotypisierung, Doppelstandards
- Mangel an Transparenz, Mangel an Accountability
Gegenstrategien
- Explizite Bewertungsstandards
- Transparente Verfahren (Ausschreibung, Selektion)
- Erhöhte Rechenschaftspflicht von GutachterInnen
- Anonymisierung von Antragstellerinnen
- Kritische Reflexion des den Indikatoren und Verfahren zugrunde liegenden Wissenschaftsverständnisses
ISO
9001 z
ert
28
Schlussfolgerungen & Ausblick
ISO
9001 z
ert
29
Quality vs. Equality I
- Leistungsaspekte in der Forschungsförderung gewinnen zunehmend an Bedeutung
- Aktive Strategien von allen Forschungsakteuren gefordert
- Monitoring und Evaluation als Instrument für Qualitätssicherung
- Klassische Exzellenzdefinitionen und Bewertungsverfahren:
- strukturkonservierend hinsichtlich neuer oder transdisziplinärer Forschungsfelder und Geschlecht/ Alter der AntragstellerInnen
- historisch bedingte Segregationseffekte werden verstärkt
- Fazit: Diskussion Qualität vs. Quoten verschärft
ISO
9001 z
ert
30
Quality vs. Equality II
- Geschlechtergerechtigkeit spielt in Exzellenzstrategien kaum eine Rolle
- Implementierung von GM-Maßnahmen in allen FTI-Bereichen gefordert - aber ohne konkrete Vorgaben, Zieldefinitionen, Zielgrößen und Sanktionsmöglichkeiten bleibt Forderung rhetorischer Natur
- Aspekt der Geschlechtergerechtigkeit wird nur über Versagen von Auswahlverfahren diskutiert und somit sichtbar
- die eigentlichen strukturellen Probleme im Bildungs- und Wissenschaftssystem werden dadurch übertüncht
ISO
9001 z
ert
31
Ausblick
Europäische Kommission: Gender and Excellence Expert Group
Ziele EC bis 2009:
- EU-weite Empfehlungen, abgestimmt auf unterschiedliche nationale Gegebenheiten und unterschiedliche Disziplinen
- Verbesserung von Transparenz und Rechenschaft in Auswahlverfahren
- „barrierefreier“ Zugang zur Forschungsförderung
ISO
9001 z
ert
32
Ausblick II
- Forschungsförderung und Geschlecht (SNF, CH)
- Geringe Antragsneigung bei Frauen -> Ausmaß und Gründe der Verlustraten. Analyse von Karriereverläufen, Antragsbiografien, Gesuchsdossiers, subjektive Erfahrungen.
- Gender Budgeting (bmvit, A)
- Förder- und NutzerInnenanalyse
- WWTF & FWF: Der Erfolg von Forschungsprojekten
- Determinanten für Forschungserfolg
- Realistische Erwartungen an Projektoutput