Andrea Schenker-Wicki

Evaluation von Hochschulleistungen

Andrea Schenkel'-Wicki

Evaluation vonHochschulleistungenLeistungsindikatoren undPerformance Measurements

~ Springer Fachmedien Wiesbaden GmbH

Die Deutsche Biblioth ek - C1P-Einheitsaufnahm e

Schenker-Wicki, Andrea:Eval uatio n van Hachschulleistungen : Leistungsindika torenund Performance measurements / And rea Schenker-W icki. ­Wies baden : Dt. Univ.-Verl., 1996

(DUV: W irtschaltswissenschaft)Zugl.: St. Gallen, Univ., Habil.-Schr., 1996

(Cl Springer Fachmedien Wiesbaden 1996

Ursprünglich erschienen bei Deutscher Universitä ts-Verlag G mbH, W iesbaden 1996

Dos W erk einschließlich oller seiner Teile ist urheberrecht/ichgeschützt. Jede Verwertung a ußerhalb der enge n G renzen desUrheberrechtsgesetzes ist ohn e Zustimmung des Verlag s unzu ­lässig und strafbar . Dos gilt insbesondere für Vervielfä ltigungen,Übersetzunge n, M ikroverlilmungen und die Einspeicherung undVerarbei tung in elektronischen Systemen.

G edruckt auf chlorarm gebleichtem und säurefreiem Papier

ISBN 978-3-8244-0309-7 ISBN 978-3-663-08485-3 (eBook)DOI 10.1007/978-3-663-08485-3

Für alle meine grossen und kleinen Lieblinge, um die ich mich in der letzten Zeit sowenig kümmern konnte : Christoph, Oma, Papi, Mami, Michi, Daria, Sändi, Fiorina undTini, Niowi und Maximillian, Ami, Babs und Pädi.

Geleitwort

Auch die Universitäten stehen im allgemeinen Verteilungskampf um die knapperenöffentlichen Mittel und werden von den politischen Instanzen stärker hinterfragt.Auswei s und Vergleich der Universitätskosten und deren Qualität wird zunehmendzur Grundlage der Ressourcenzuteilung. Die Behörden sind zunehmend bereit, denUniversitäten mehr Autonomie einzuräumen ; sie verlangen aber gleichzeitig einenNachweis - und Vergleich - des wissenschaftlichen Profils, der Wirtschaftlichkeit undWirksamkeit der Forschung und der Ausbildungen. Ein Kostencontrolling allein ge­nügt nicht. Es braucht Evaluation und Leistungsmes sung (Performance Measure­rnent), um die komplexen Leistungen der Universität quantitativ und qualitativ zumessen und im Wettbewerb unter Universitäten (oder genauer Fakultäten) glaubhaftzu erhärten. Qualit ätssicherung an der Universität ist zu einer entscheidenden undanspruchsvollen Aufgabe geworden .

Wie die Autorin eindrücklich darlegt, bedarf es hierzu geeigneter organisatorischerRahmenbedingungen, die im Model des New Public Management verfügbar sind .Dazu bedarf es einer umfassenden Wirkungssteuerung und -prüfung, welche imRahmen einer Evaluation erarbeitet werden muss. Im Leistungsprozess müssen nebenden Ressourcen der Output (erbrachte Leistungen) und der Outcome (erwarteterNutzen) für Lehre, Forschung und Dienstleistungen ausgewiesen werden, wobei niealle Facetten der Leistung erfasst werden können. Die Umsetzung eines Universitäts­evaluationssystems ist daher stets eine Gratwanderung zwischen Differenzierung,Transparenz und Relevanz .

In den letzten Jahren ist vorab im anglo-amerikanischen Raum ein beachtlichesSchrifttum zu diesem Thema entstanden . Die Arbeit baut darauf auf und vertieft dieMethoden der Indikatorbildung und -evaluation. Von besonderer wissenschaftlicherOriginalität und grossem Nutzen ist die von der Autorin entwickeltet Methode derIndikatorenaggregierung - ein Kernproblem der meisten Evaluationen und Con­trollingsysteme.

Noch sind Evaluationen und Controlling - auch bei den Universitäten - nicht voll­ständig operationalisiert; eine solche Umsetzung muss massgeschneidert universitäts­bezogen erfolgen. Die gleichzeitig wissenschaftlich fundierte und praxisorientierteHabilitationsschrift der Universität St. Gallen bietet beim Aufbau eines Hochschul­evaluations- und controllingsystems aber wertvolle Hilfe. Sie trägt Substantielles zurWeiterentwicklung von Evaluationssystemen - vor allem des ordinalen Rankings ­bei und leistet einen wichtigen Beitrag zum anspruch svollen Problem der Indika­torenaggregierung - eine Problemstellung , die für die Evaluation, das Controlling unddie Revision gleichermas sen zentral ist.

Prof. Dr. Ernst Buschor

"De toutes les illusions, la plus peril­leuse eonsiste ä penser qu'i! existequ' une seule realite. En fait, ee quiexiste, ee ne sont que differentesversions de eel le-ei dont eertainespeuvent etre eontradietoires et quisont toutes des effets de la corn­munication, non le reflet de veritesobjeetives et eternelles,'

Watzlawiek, P.: La realite de la re­alite, Editions du Seuil, 1976

Vorwort

Um im internationale n Wettbewerb zu bestehen und auf nationaler Ebene die hohenInvestitionen weiterhin rechtfertigen zu können, müssen auch die Hochschulen - wieandere Zweige der staatlichen Verwaltung - ihre Leistungen gegenüber Regierung ,Parlament oder der Öffentlichke it transparenter ausweisen. In diesem Zusammenhangwurde vor allem in den anglo-amerikanischen Ländern bereits in den achtziger Jahrenmit der Evaluation von Hochschulleistungen und der Etablierung von Qualitäts­sicherungssys temen begonnen. Bedingt durch die teilweise einseitige Definition vonLeistungsindikatoren und die fehlende Systematik bei der Auswahl von Indikatorensowie den bekannten Schwierigkeiten bei der Aggregation von Informationen, wirdden zur Zeit existierend en Eva luationssys temen im Hochschulbereich vo nversc hiedenen Seiten jedoch eine grosse Skep sis entgegenge brac ht. In de rvorliegenden Arbeit wird diesen kritischen Einwendun gen Rechnung getragen undein Konzept zur Evaluation von Hochschulleistungen präsentiert, das auf einemkohärenten System von Leistungsindikatoren mit dualem Charakter - d.h. mit einerquantiativen und qualitativen Komponente - basiert. Dadurch wird es möglich, diekomplexen Leistun gen einer Hochschule in den Bereichen Lehre, Forschun g undwisse nschaft liche Dienstleistun gen sowie auf Management Ebene zu messen, zubewerten und tran sparent er auszuweisen. Je nach Interessenslage könn en dieeinzelnen Leistungsindikatoren aggregiert und von Seiten der Hochschulleitung, derverantwortlichen Ministerien oder des Parlamentes zur Überprüfung von Effizienz­und Effektivität im Hochschulbereich verwe ndet werd en . Basierend auf einerkohärenten Datenbasis sind ferner Metaevaluationen auf internationaler Ebene zuVergle ichszwecken und als notwendige Voraussetzung für eine gege nse itigeAnerkennung von Hochschuldiplomen möglich. Die Aggregation von Informationen,ein zentraler Punkt bei allen Evaluationen, wird anhand verschiedener Modellevorgestellt und am Beispiel einer ordinalen Ranking-Methode vertieft.

Die vorliegende Arbeit wurde als Habilitationsschrift an der Universität St. Gallen an­genommen und für die Drucklegung leicht überarbeitet. Ohne die Hilfe und denBeitrag vieler Persönlichke iten wäre das vorliegende Buch kaum Realität geworden.Insbesondere möchte ich mich bei meinem Mentor, Regierungsrat Prof. Dr. ErnstBuschor für die vielen Anregungen und die grosse Unterstützung, die er mir immer

x

wieder entgegengebracht hat, bedanken . Als ich nach einer Marathon-Sitzung beider DG XII in Brüssel, wo wir eine Unmenge Akten zu verschiedenenForschungsprojekten im Bereich des Strahlenschutzes evaluieren mussten, beschloss,eine Arbeit über die Evaluation von Hochschulleistungen zu schreiben, hat er meineIdeen sofort gutgeheissen und mich tatkräftig unterstützt.

Bedanken möchte ich mich auch bei Prof. Dr. Kuno Schedler vom Institut fürFinanzwirtschaft und Finanzrecht, mit dem ich im Rahmen eines begleitendenProjektes über die parlamentarische Mitwirkung und Aufsicht im ETH-Bereich vieleaufschlussreiche Gespräche über New Public Management führen konnte und vonihm manchen guten Ratschlag erhielt.

Danken möchte ich auch meinen Arbeitskolleginnen und Arbeitskollegen an derNationalen Alarmzentrale in Zürich und dort in erster Linie meinem Chef, Hans-JürgKnaus, der meine häufige Abwesenheit geduldig hingenommen und mich immer wie­der ermuntert hat, meine Ideen in die Tat umzusetzen . Ein spezieller Dank gilt auchmeinem Bruder, Michael Wicki, der mir bei der Sichtung der Literatur behilflich gewe­sen ist und meiner Schwester Sändi Albert, die alle Seiten minutiös durchgesehen undKorrektur gelesen hat.

Last but not least geht ein grosser Dank an meinen Ehemann, Christoph, dermassgeblich dafür verantwortlich ist, dass diese Arbeit innerhalb der dafür vorgese ­henen Zeit abgeschlossen werden konnte . Ohne sein liebevolles Verständnis, seineToleranz und seine tatkräftige Unterstützung wäre das dazu notwendige , diszipli­nierte Arbeiten nicht möglich gewesen.

PD Dr. Andrea Schenker-Wicki

Inhaltsverzeichnis

1. Umfang und Abgrenzung der Arbeit 11.1. Einleitung und Zweck 11.2. Umfang 31.3. Abgrenzungder Arbeit. 5

2. Grundsätzliches zu Bewertungs- und Prüfverfahren 62.1. Allgemeines zur Prüfungssystematik 6

2.1.1. Bewerten von Produkten oder Dienstleistungen imprivaten und öffentlichenBereich 6

2.1.2. Prüfungsprozess 72.1.3. Prüfungskriterien 10

2.2. Die wichtigsten Prüfverfahren im Überblick: Revision, 14Controlling und Evaluation 142.2.1. Revision/Auditing 15

2.2.1.1. Externe Revision 172.2.1.2. Interne Revision 20

2.2.2. Controlling 242.2.3 . Evaluation 30

3. Leistungsbewertung in der öffentlichen Verwaltung 373.1. Einleitung 373.2. Besonderheiten der öffentlichen Verwaltung im Vergleich zur. 38

3.2.1. Fehlende Zielsysteme 383.2.2. Führung 393.2.3. Monopolsituation 413.2.4 . Finanzen und Budgetierung 41

3.3. Wirkungsorientierte Verwaltungsführung oder New Public 45Management 453.3.1. Allgemeines 453.3.2. Lean Production und Total Quality Management... .483.3.3. Organisation und Personalwesen: Schaffung

konzernähnlicher Strukturen und Anderung derstarren Personalstatute 50

3.3.4. Leistung saufträge gekoppelt mit Globalbudgets 513.3.5. Leistungsrechnung 52

3.3.5.1. Allgemeines 523.3.5.2. Kostenrechnung und Indikatorenrechnung 533.3.5.3. Klassierung der Indikatoren in den

Verwaltungswissenschaften 553.3.6. Umfassende Wirkungs- und Ordnungsmässigkeits-

prüfungen 573.3.6.1. Allgemeines 573.3.6.2. Führung und Erfolgskontrolle: Das

erweiterte 3 E-Konzept.. 583.4. Umsetzung der wirkungsorientierten Verwaltungsführung 603.5. Entwicklungstendenzen desöffentlichen Auditings 61

3.5.1. Institutionen der Uberwachung und Revision deröffentl ichen Haushalte 61

3.5.2. Neue Entwicklungen im Bereich Controlling undAuditing der öffentlichen Haushalte 66

4. Grundlagen zur Evaluation von Leistungsindikatoren 694.1. Anforderungen an Leistungsindikatoren 69

4.1.1. Allgemeines 69

XII

4.1.2. Voraussetzung für die Evaluation vonLeistungsindikatoren 69

4.1.3. Fehlende konzeptionelle Grundlagen 704.2. Methoden zur Generierung von möglichen Leistungs-

indikatoren 714.3. Von den möglichen zu den geeigneten Leistungsindikatoren 74

4.3.1. Allgemeines 744.3.2. Die Suche nach geeigneten Indikatoren: Abgrenzung

von Leistungsindikator und Leistungsattribut... 764.3.3. Di~ Verbin?ung von Präferenzsystem und

Leistungsniveau 7 74.3.4. Die Skalierung von Präferenzen 784.3.5. Kodierung von Präferenz skaIen 794.3.6. Dispersionsindex 794.3.7. Aggregation von Dispersionsindex und Indikator. 804.3.8. Mathematische Darstellung von Leistungsindikatoren 81

4.4. Kohärenz von Indikatoren 824.5 . Aggregationsverfahren 83

4.5.1. Ordinales Ranking anhand eines Beispiels 885. Evaluation von Leistungsindikatoren im Hochschulbereich 92

5.1. Besonderheiten des Hochschulbereichs 925.1.1. Allgemeines 925.1.2. Modelle der Hochschulsteuerung: Staatliche

Aufsicht oder Kontrolle 935.1.3. Voraussetzungen für eine wirkungsorientierte

Verwaltungsführung im Hochschulbereich 945.2. Konzept für einen umfassenden Leistungsauftrag 98

5.2.1. Allgemeines 985.2.2. Ableitung der Zielsetzungen aus Gesetz und

Verordnung 995.2.3. Ableitung der Zielsetzungen aus einemInteraktionsmodell 100

5.3. Operationalisierung des Leistungsauftrags mittelsLeistung sindikatoren 1045.3.1. Allgemeines 1045.3.2. Systematik der Leistungsindikatoren im

Hochschulbereich 1045.3.3. Leistungsindikatoren: Indikatoren mit quantitativem

und qualitativem Inhalt 1065.3.3.1. Allgemeines 1065.3.3.2. Definition eines Leistungsindikators 1065.3.3.3. Qualitätssicherungssysteme für Lehre,

Forschung und wissenschaftlicheDienstleistungen 109

5.3.3.4. Indikatoren mit quantitativer undqualitativer Dimension für den Bereich derLehre basierend auf dem Interaktions-modell 114

5.3.3.5. Indikatoren mit quantitativer undqualitativer Dimension für den Bereich derForschung und den Bereich der wissen­schaftlichen Dienstleistungen basierendauf dem Interaktionsmodell 119

xrn

5.3.3.6. Indikatoren mit quantitativer undqualitativer Dimension für den Bereich desHochschulmanagement basierend aufdem Interaktionsmodell 127

5.4. Stufenweise Aggregation der Indikatoren 1315.4.1. Ubersicht 1315.4.2. Schlüsselindikatoren in den Bereichen Lehre,

Forschung und Hochschulmanagement... 1345.4.3. Effektivitätsprüfungen 1385.4.4. Effizienzprüfungen 1415.4.5 . Bewertung der Gesamtperformance 142

5.5. Umsetzung 1465.5.1. Allgemeines 1465.5.2. Hochschulindikatoren zu Führungszwecken 147

5.5.2.1. Allgemeines 1475.5.2.2. KonkreteUmsetzung 148

5.5.3. Ausblick 1506. New Public Management im Hochschulbereich 152

6.1. Allgemeines 1526.2. Organisation der Wissenschaftspolitik in der Schweiz 1536.3. Umsetzungen des NPM-Ansatzes am Beispiel des Bereichs

der Eidgenössischen Technischen Hochschulen 1546.4. Umsetzung des NPM-Ansatzes auf internationaler Ebene 156

6.4.1. Allgemeines 1566.4.2. Grössere Autonomie und grössere Verantwortung 1576.4.3. Qualitätssicherungssysteme und Evaluationen 158

7. Zusammenfassung 1627.1. Allgemeines 1627.2. Messen und Bewerten von Hochschulleistungen 1637.3. Kritik an der Evaluation von Hochschulleistungen 1667.4. Ausblick 168

7.4.1. Internationale Standards und Qualitätssicherung 1687.4 .2. Rechtlicher Status von Leistungsindikatoren 1697.4.3 . Aggregation der Leistungsindikatoren 1707.4.4. Umsetzung 170

Literaturverzeichnis 173

ANHANG!

1. Stabilitätsanalyse einer ordinalen Ranking Methode und Bewertung 1951.1. Allgemeines 1951.2. Berechnungen 1961.3. Normierung der Gewichte 1981.4. Definition des modifizierten Gewichtes 1981.5. Nicht-Neg ativitätsbedingung 1981.6. Berechnung von ß 1991.7. Berechnung der normierten Gewichtsintervalle 2031.8. Berechnung der nicht-normierten Gewichtsintervalle 2041.9. Ergebnisse 205

XIV

ANHANG 2

2. Beurteilung und Bewertung qualitativer Aspekte imHochschulbereich 220

2.1. Benutzung von ordinalen Skalen 2202.2. Qualitätssicherung im Bereich Aus- und Weiterbildung 2212.3. Qualitätssicherung im Bereich Forschung und wissen-

schaftliche Dienstleistungen: 2252.4. Qualitätssicherung im Bereich des Hochschulmanagements : 229

Anhang 3

3. Performance Indikatoren des VCCp: 234

"XV

Figurenverzeichnis

Fig.2.1 :Fig.2.2:Fig.2.3:Fig.2.4:

Fig.2.5:

Fig.2.6:Fig.2.7:Fig.2.8:Fig.3.1 :Fig.3.2:

Fig.3.3:Fig.4.1 :

Fig.4.2:Fig.4.3:Fig.4.4:Fig.5.1 :Fig.5.2:Fig.5.3:

Fig.5.4:

Fig.5.5:

Fig.5.6:

Fig.5.7:

Die Prüfung als einfaches kybernetisches System 9Die Definitionvon Wirkungsprüfungen 12Schematische Ubersicht. 14Die Prüfung als kybernetisches System: Beispiel 19für die externe RevisionDie Prüfung als kybernetisches System: Beispiel 21für die interne Revision!?as ~n~ern~ ~,on~.ollsystem 22Antizipative Prufungssysteme 26

Unterschiedliche Aspekte des Controllings 30Zielstruktur öffentlicher Verwaltungen 52Kosten- und Indikatorenrechnung als Elemente 54einer übergeordneten LeistungsrechnungDie Indikatoren im Leistungserstellungsprozess 56Verschiedene Phasen bei der Generierung von 72Indikatoren und einige ausgewählteUnterstützungsmethodenKomponenten eines Leistungsbewertungssystems 75Kosten-Nutzenanalyse 85Partielles und vollständiges Ranking 87Konkretisierung eines Leistungsauftrags 98Hauptakteure im Hochschulbereich 100Die wesentlichen Aktivitätsbereiche einer 101HochschuleIllustrative Darstellung der Interaktionen von 102möglichen Akteuren und Aktivitätsbereichen undden daraus resultierenden AktivitätenBeispiel für eine Portfolio Darstellung der 127evaluierten Leistungen in den Wissenschafts bereichen1,2,3,4 eines LandesStufenwe ise Aggregation von Informationen für. 132eine umfassende Bewertung von HochschulleistungenPortfolio für die Darstellung der evaluierten 134Leistungen von Departementen und Fakultätenim Hochschulbereich

XVI

Tabellenverzeichnis

Tab. 2.1:Tab. 2.2:

Tab. 4.1:Tab. 4.2:

Tab. 4.3:Tab. 5.1:Tab. 5.2:

Tab. 5.3:

Tab. 5.4:Tab. 5.5:

Tab. 5.6:

Tab. 5.7:

Tab. 5.8:Tab. 6.1:

Revision, Controlling und Evaluation im Vergleich 15Unterschiede ziwschen externer und interner 24RevisionsstelleEvaluationstableau 75Evaluationstableau für den Abbau/Ausbau von 89SpitälernIndext ableau für die unterschiedlichen Rankings 90Leistungsindikatoren im Bereich der Lehre 116Leistungsindikatoren im Bereich der Forschung 121und der wissenschaftlichen DienstleistungenLeistungsindikatoren im Bereich des Hochschul- 129managementSchlüsselindikatoren im Bereich der Lehre 135Schlüsselindikatoren im Bereich der Forschung 136und der wissenschaftlichen DienstleistungenSchlüssel indikatoren im Bereich Hochschul- 136managementDie Verwendung von Leistungsindikatoren in 137Frankreich und EnglandAggregation mittels einer Zuordnungsmatrix 140Erfahrungen mit Qualitätssicherungssystemen im 159Hochschulbereich in Europa