ISO

9001 z

ert

1

INN

OV

AT

ION

a

us

T

RA

DIT

ION

Exzellenzmessung & Leistungsbeurteilung im Wissenschaftssystem

Nicole Schaffer, Michael DingesInstitut für Technologie und RegionalpolitikSensengasse 1A-1090 Wiennicole.schaffer@joanneum.at

ISO

9001 z

ert

2

Inhalt: Gender und Exzellenz

- Kontext und Strategien

- Definitionen und Operationalisierung

- Umsetzung in Finanzierung und Förderung

- Effekte

- Schlussfolgerungen & Ausblick

ISO

9001 z

ert

3

Kontext und Strategien

ISO

9001 z

ert

4

Exzellenz: Motor der Forschungspolitik

Exzellenzstrategien - Kontext Österreich

- „Strategie 2010“, Rat für Forschung- und Technologieentwicklung (RFT)

- „Exzellenzinitiative Wissenschaft“ (Konzept Exzellenzcluster), FWF

- COMET - Competence Centers for Excellent Technologies, FFG

- Institute of Science and Technology Austria (ISTA)

- Universitäten – Vergleiche Exzellenzinitiative in Deutschland (Elite-Unis)

ISO

9001 z

ert

5

Exzellenz: Motor der Forschungspolitik II

Exzellenzstrategien - Kontext EU

- Lissabon: EU 2010 -> wettbewerbsfähigster und wissensbasierter Wirtschaftsraum (vs. Japan / USA)

- Barcelona: Steigerung Forschungsquote: 3% BIP

- Bologna: Europäisierung/ Internationalisierung Hochschulraum

- European Research Area, FP7

- European Research Council (2007): EU Fördergesellschaft

- European Institute of Technology (EIT)

ISO

9001 z

ert

6

Exzellenzstrategien

Ziele

- Steigerung der Wettbewerbsfähigkeit

- Getting more out of public R&D funding

- Profilbildung, Schwerpunktsetzung, „kritische Massen“

- Qualitätssicherung und Evaluierung

- -> Politische Steuerung von Forschung, Rechenschaft

Spannungsverhältnisse

- Innovation vs. Standardisierung, Risikobereitschaft vs. Absicherung, Vielfalt vs. Spezialisierung

- Grundlagenforschung vs. angewandte Forschung

- Elitenförderung vs. Nachwuchsförderung

- Quantität vs. Qualität

ISO

9001 z

ert

7

- Wettbewerbsfähigkeit steigern ->Frauen fördern, Strukturen verbessern- unterrepräsentierte Gruppe der Forscherinnen aktivieren

- Mängel / Ungleichheiten im Forschungssystem (Produktions-bedingungen, Bewertungskriterien, Selektionsverfahren) beseitigen

- „Promoting excellence through mainstreaming gender eqaulity“, ETAN 2000

- „Minimising gender bias in the definition and measurement of scientific excellence“, Florenz 2003

- „Gender and Excellence in the Making“ EC 2004

- G & E Expert Group, EC 2007

Exzellenzstrategien II und Gender

ISO

9001 z

ert

8

Definitionen und Operationalisierung

ISO

9001 z

ert

9

Exzellenz in der Forschung – You know it when you see it

- Studien im Auftrag des Rates für Forschung und Technologieentwicklung

- Hochschulen:

- international anerkannte Spitzenforschung an Universitäten, die sich darin äußert, dass der jeweilige Forschungsstandort bzw. das jeweilige Forschungsteam in der Disziplin weltweit als Ort der Spitzenforschung und Ausbildung von Spitzenforschern renommiert ist. (Hölzl 2006)

- Unternehmen:

- international nachhaltiger Markterfolg und

- Technologieführerschaft (Clement und Ajayi 2006)

- Methoden zur Operationalisierung

- Peer Review: Nur ExpertInnen des selben Fachgebietes können wissenschaftliche Qualität erkennen und bewerten

- Leistungsindikatoren: Publikationen, Zitate, Impact-Faktoren, Patente, Wissenstransfer, Preise

ISO

9001 z

ert

10

Österreichs wissenschaftliche Leistungsfähigkeit – Abstand zur Weltspitze

Quelle: Trend/FWF 2007/11

ISO

9001 z

ert

11

Strategien zur Umsetzung von Exzellenz

- Output- und leistungsorientierte Finanzierungssysteme

- Indikatorengetriebene Forschungsfinanzierung

- Formelbasierte Globalfinanzierung

- Methodenmix aus quantitativer und qualitativer Bewertung

- Research Assessment Exercise (UK)

- F&E Projektförderung

- Exzellenzförderung (FWF, ERC etc.)

- Thematische Schwerpunktsetzung

- Science-Industry Collaborations

- Cluster, Netzwerke

- Warum Strukturwandel in F&E Finanzierung?

- Mehr Steuerungsmöglichkeiten für Politik (Kriterien, Disziplin)

- Notwendige Bedingung für ein leistungsfähiges Forschungssystem

- Rechenschaft im Hinblick auf Ressourceneinsatz

ISO

9001 z

ert

12

Umsetzung in Finanzierung und Förderung

ISO

9001 z

ert

13

AT: Strukturwandel in F&E Finanzierung der Hochschulen

Tabelle 1: Finanzierung von F&E an den österreichischen Universitäten, 1985 – 2002

HE/FIN TIME PERIOD 1985 1989 1993 1998 2002 2004

Public R&D funding via Programmes and Contracts 40.1 59.6 116.5 146.8 219.4 362.93 General univ. funds* 384.8 466.9 666.4 814 937.5 899.45 Sub-total government 424.9 526.5 782.8 960.7 1,156.90 1,262.38 ASBR Index = GUF/Other Public HERD funding 9.4% 11.3% 14.9% 15.3% 19.0% 28.7% Private non-profit 1.4 1.8 3.2 4.5 8.2 11.447 Business enterprise 7.5 9.8 15.9 17.6 51.3 62.627 Funds from abroad 1.6 2.5 3.4 26.9 49.6 65.196

Total HERD (all sources of funding) 435.4 540.7 805.3 1,009.70 1,266.10 1,401.65

Quelle: OECD - Research and Development Statistics 2005, MSTI 2005, Statistisches

Jahrbuch 2007, eigene Berechnung.

ISO

9001 z

ert

14

F&E Projektfinanzierung in % des BIP 1970 - 2002

Anzahl an Instrumenten mit mehr als 5% des Fördervolumens

Quelle: Lepori et al. (2007) Science and Public Policy, July 2007

ISO

9001 z

ert

15

Anteil akademisch orientierter Forschungsförderung

Quelle: Lepori et al. (2007) Science and Public Policy, July 2007

ISO

9001 z

ert

16

Fazit: Projektförderung

- Anstieg in Programm und Projektfinanzierung geht einher mit Ausweitung des Instrumentenportfolios

- Für die letzte Dekade gilt: Weniger Dominanz von wissenschaftlicher Exzellenz denn Wissens- und Technologietransfer, Brückenschlag, Innovationen, Netzwerke

- Frauenfördernde Maßnahmen als Konkurrenz bzw. Parallelstrukturen zu anderen thematischen und strukturellen Prioritäten der Forschungspolitik

- Frauenförderung als spezifische Instrumente marginalisiert:

- 2.9% der Förderung des FWF

- fforte mit Vielzahl an Maßnahmen und Zielsetzungen, bei schwacher finanzieller Ausstattung

ISO

9001 z

ert

17

AT: Frauenanteil F&E im EU-25 Vergleich

She Figures 2006

- Forscherinnenquote AT: 21%, EU: 29%

- Hochschulsektor: AT 30%, EU: 35%

- Staatl. Sektor: AT: 35%, EU: 35%

- Unternehmenssektor: AT: 10%, EU: 18%

Hinweis: Daten aus 2003 bzw. 2002!

ISO

9001 z

ert

18

22,6%

8,2%9,7%

29,6%

11,5%

45,4%

35,5%

30,3%

36,3%

31,9%

27,0%

32,1%

0%

10%

20%

30%

40%

50%

Universitäten Unternehmen Staat PNP

1998

2002

2004

AT: Frauenanteil in F&E Forschungspersonal

ISO

9001 z

ert

19

Geisteswissenschaften insgesamt: 1999 Personen, 671.8 VZÄ

0

10

20

30

40

50

60

70

80

unte

r 25

Jahr

en

25 b

is 2

9Jah

re

30 b

is 3

4Jah

re

35 b

is 3

9Jah

re

40 b

is 4

4Jah

re

45 b

is 4

9Jah

re

50 b

is 5

4Jah

re

55 b

is 5

9Jah

re

60 b

is 6

4Jah

re

65 J

ahre

und

darü

ber

VZ

Ä

Männlich

Weiblich

AbsolventInnen und Beschäftigung in F&E:Beispiel Geisteswissenschaften

ISO

9001 z

ert

20

Fazit: Strukturwandel, Humanressourcen und Frauenförderung

- Beachtlicher Strukturwandel in AbsolventInnenzahlen und Beschäftigung innerhalb des Hochschulsektors

- Trotzdem: Große Diskrepanzen in Beschäftigungsverhältnissen und Hierarchien

- Keine automatische Anpassung der Geschlechter im Forschungspersonal aufgrund hoher Absolventinnenzahlen!

ISO

9001 z

ert

21

Effekte

ISO

9001 z

ert

22

Effekte und Anpassungsstrategien

- Bedeutung von Auswahlverfahren steigt

- Starke kollektive Wahrnehmungen zu Peer Review Prozessen:

- „Favours non-risky, orthodox research“

- Nachteiligkeiten für Interdisziplinarität

- „If people believe a situation to be real, it is real in its consequences“

- Anpassungsstrategien (Laudel 2006, Melin und Danell 2006)

- Vertraute Finanzierungsquellen wählen vs. möglichst viele Ressourcen

- „Bootlegging“ - dh. Fördermittel für bestehende Forschungsergebnisse zu beantragen, um neue Forschungsfelder vorantreiben zu können

- shift-to applied/industry related research

- Strategisches Verhalten von Universitäten (Barker 2007)

- Anheuern prominenter ForscherInnen etc.

ISO

9001 z

ert

23

Gender Bias in Auswahlverfahren: ERC I

0%

10%

20%

30%

40%

50%

60%

70%

LS1 LS2 LS3 LS4 LS5 LS6 LS7 PE1 PE2 PE3 PE4 PE5 PE6 PE7 PE8 SH1 SH2 SH3 SH4 SH5

Percentage female proposals Percentage female 2nd Round

Life SciencesPhysical Sciences &

EngineeringSocial Sciences &

Humanities

0%

10%

20%

30%

40%

50%

60%

70%

LS1 LS2 LS3 LS4 LS5 LS6 LS7 PE1 PE2 PE3 PE4 PE5 PE6 PE7 PE8 SH1 SH2 SH3 SH4 SH5

Percentage female proposals Percentage female 2nd Round

Life SciencesPhysical Sciences &

EngineeringSocial Sciences &

Humanities

ISO

9001 z

ert

24

Gender Bias in Auswahlverfahren: ERC II

The European Research Council: Making it to the 2nd Round

-80%

-60%

-40%

-20%

0%

20%

40%

60%

80%

LS1

LS2

LS3

LS4

LS5

LS6

LS7

PE

1

PE

2

PE

3

PE

4

PE

5

PE

6

PE

7

PE

8

SH

1

SH

2

SH

3

SH

4

SH

5

Female Male

Physical Sciences &Engineering

Life Sciences Social Sciences &Humanities

The European Research Council: Making it to the 2nd Round

-80%

-60%

-40%

-20%

0%

20%

40%

60%

80%

LS1

LS2

LS3

LS4

LS5

LS6

LS7

PE

1

PE

2

PE

3

PE

4

PE

5

PE

6

PE

7

PE

8

SH

1

SH

2

SH

3

SH

4

SH

5

Female Male

Physical Sciences &Engineering

Life Sciences Social Sciences &Humanities

ISO

9001 z

ert

25

Kritik Bibliometrie, Peer Review

Bibliometrie

- Quantität vs. Qualität, vergangene Leistung vs. Zukunftspotenzial

- Wenige Datenquellen aber viel Indikatoren: Thomson – ISI, SCOPUS

- Bias: Englisch-sprachig, begrenzte Anzahl von Journalen, Manipulation

- Ignoriert unterschiedliche Publikations- und Zitationssysteme sowie unterschiedliche Voraussetzungen (Ressourcen) in Disziplinen

- Ignoriert Zusammenhang Produktivität – Alter – Status (höhere Position: mehr Publikationen)

Peer Review

- GutachterInnen: Teil d. Scientific Community -> KonkurrentInnen

- Vorurteile, stereotype Zuschreibungen -> Doppelstandards

- wissenschaftlicher Mainstream dominiert Auswahlprozesse

- homosoziale Kooptierung, cultural cloning, Matilda Effect

ISO

9001 z

ert

26

Diskussion um Zielgenauigkeit und Fairness der Verfahren

Conclusio „ Gender and Excellence in the Making“ - mögliche Verzerrungen auf Grund des Geschlechts können vielerorts auftreten:

- 1. in der Definition von wissenschaftlicher Exzellenz

- 2. Qualitätskriterien, Qualitätsmerkmale, Bewertungsmaßstab

- 3. explizite und implizite (Leistungs)Indikatoren

- 4. unterschiedliche Anwendungen der Kriterien bei Frauen und Männern

- 5. Integration von Frauen in wissenschaftliche Netzwerke

- 6. Procedere durch die die Kriterien zur Anwendung kommen

ISO

9001 z

ert

27

Kritik: Auswahlverfahren/ Gegenstrategien

Kritik Auswahlverfahren

- zu wenig Frauen als Gate Keeper, geringe Diversität

- Stereotypisierung, Doppelstandards

- Mangel an Transparenz, Mangel an Accountability

Gegenstrategien

- Explizite Bewertungsstandards

- Transparente Verfahren (Ausschreibung, Selektion)

- Erhöhte Rechenschaftspflicht von GutachterInnen

- Anonymisierung von Antragstellerinnen

- Kritische Reflexion des den Indikatoren und Verfahren zugrunde liegenden Wissenschaftsverständnisses

ISO

9001 z

ert

28

Schlussfolgerungen & Ausblick

ISO

9001 z

ert

29

Quality vs. Equality I

- Leistungsaspekte in der Forschungsförderung gewinnen zunehmend an Bedeutung

- Aktive Strategien von allen Forschungsakteuren gefordert

- Monitoring und Evaluation als Instrument für Qualitätssicherung

- Klassische Exzellenzdefinitionen und Bewertungsverfahren:

- strukturkonservierend hinsichtlich neuer oder transdisziplinärer Forschungsfelder und Geschlecht/ Alter der AntragstellerInnen

- historisch bedingte Segregationseffekte werden verstärkt

- Fazit: Diskussion Qualität vs. Quoten verschärft

ISO

9001 z

ert

30

Quality vs. Equality II

- Geschlechtergerechtigkeit spielt in Exzellenzstrategien kaum eine Rolle

- Implementierung von GM-Maßnahmen in allen FTI-Bereichen gefordert - aber ohne konkrete Vorgaben, Zieldefinitionen, Zielgrößen und Sanktionsmöglichkeiten bleibt Forderung rhetorischer Natur

- Aspekt der Geschlechtergerechtigkeit wird nur über Versagen von Auswahlverfahren diskutiert und somit sichtbar

- die eigentlichen strukturellen Probleme im Bildungs- und Wissenschaftssystem werden dadurch übertüncht

ISO

9001 z

ert

31

Ausblick

Europäische Kommission: Gender and Excellence Expert Group

Ziele EC bis 2009:

- EU-weite Empfehlungen, abgestimmt auf unterschiedliche nationale Gegebenheiten und unterschiedliche Disziplinen

- Verbesserung von Transparenz und Rechenschaft in Auswahlverfahren

- „barrierefreier“ Zugang zur Forschungsförderung

ISO

9001 z

ert

32

Ausblick II

- Forschungsförderung und Geschlecht (SNF, CH)

- Geringe Antragsneigung bei Frauen -> Ausmaß und Gründe der Verlustraten. Analyse von Karriereverläufen, Antragsbiografien, Gesuchsdossiers, subjektive Erfahrungen.

- Gender Budgeting (bmvit, A)

- Förder- und NutzerInnenanalyse

- WWTF & FWF: Der Erfolg von Forschungsprojekten

- Determinanten für Forschungserfolg

- Realistische Erwartungen an Projektoutput