Europäisches Peer Review Handbuch für die Validierung nicht … · 2018. 8. 14. · Zitati)...

EuropäischesPeerReviewHandbuchfürdieValidierungnicht-formalenund

informellenLernens(VNFIL)

DiesesWerkistdurcheineCreativeCommonsLizenzgeschützt.

LizenznehmerInnendürfendasWerknurdannkopieren,verbreiten,öffentlichzugäng-lichmachenundnutzen,wennderNamedesUrhebersmussgenanntwird(s.Zitati)

LizenznehmerInnendürfendasWerknurfürnicht-kommerzielle,gemeinnützigeZweckekopieren,verbreiten,öffentlichzugänglichmachenundnutzen.

LizenznehmerInnendürfennurwörtlicheKopiendesWerkes kopieren, verbreiten, öf-fentlich zugänglich machen und nutzen, Bearbeitungen und Neuzusammenstellungen(remixes) sindnicht zulässig. Veränderungen amWerkoder an TeilendesWerks sindnurmitausdrücklicherZustimmungdesUrheberserlaubt.

Zitat:MariaGutknecht-Gmeiner(Hgin)(2018):EuropäischesPeerReviewHandbuchfürdieValidie-rungnicht-formalenundinformellenLernens(VNFIL),Wien.ImpressumPeerReviewVNFILExtendedTransnationalPeerReviewforqualityassuranceinValidationofNon-FormalandInformalLearning(VNFIL)ExtendedErasmus+ProjectN°2015-1-NL01-KA204-009004EPRAEuropäischePeerReviewVereinigung

Dr.-Josef-Resch-Pl.14/31170Wien,Österreich

[email protected]

EuropäischesPeerReviewHandbuchfürdieValidierung

ii

EuropäischesPeerReviewHandbuchfürdieValidierungnicht-formalenundin-formellenLernens(VNFIL)AdaptierungderursprünglichenVersionfürdieberuflicheBildung

Gutknecht-Gmeiner, Maria; Lassnigg, Lorenz; Stöger, Eduard; de Ridder, Willem; Strahm, Peter;Strahm, Elisabeth; Koski, Leena; Stalker, Bill; Hollstein, Rick; Allulli, Giorgio; Kristensen, Ole Bech(2007):EuropäischesPeerReviewHandbuchfürdieberuflicheErstausbildung.Wien,Juni2007.Adaptierungvorgenommendurch:MariaGutknecht-GmeinerErikKaemingkTomasSprlakTeresa GuimarãesSusana Gonçalves Wien,Arnhem,Lyon,Lissabon2016

DiesesProjektwirdmitUnterstützungdereuropäischenKommissionfinanziert.DieVerantwortungfürdenInhaltdieserVeröffentlichungtragenalleindieVerfasserInnen;dieKommissionhaftetnichtfürdieweitereVerwendungderdarinenthaltenenAngaben.


iii

Vorwort

QualitätssicherungderValidierungvonnicht-formalemundinformellemLernen

Die Empfehlung des Ratesvom 20. Dezember 2012zur Validierung nichtformalen und informellenLernenshebtQualitätalsbedeutsamesThemahervor.JedochhatkeinesdereuropäischenLänderbisdato ein System der Qualitätssicherung speziell für die Validierung eingeführt. In manchen FällenwirddieEtablierungvonRegelungenzurQualitätssicherungandiezertifizierendeStelleübertragen.Meist gelten jedoch für die Validierung die Qualitätssicherungssysteme des formalen Bildungssys-temsoderdessenTeilbereichen.BislanghabenwenigeLänderQualitätskatalogeoderRichtlinienfürdieValidierungaufgestelltundesistnichtklar,obdiebestehendenQualitätssicherungssystemeund-verfahren tatsächlich verlässliche, valide und vertrauenswürdige Validierungen gewährleisten. Esbedarf hier also weiterer Forschung und Entwicklung, zumal Qualitätssicherung und Qualitätsent-wicklungalsMechanismenzurSicherungderGlaubwürdigkeitvonValidierunginZukunftfürValidie-rungsanbieterinEuropaanBedeutunggewinnenwerden.

EuropäischesPeerReviewfürdieValidierungvonnicht-formalemundinformellemLernen

Eine besonders viel versprechendeMethode derQualitätssicherung ist Peer Review – die externeEvaluierungvonBildungseinrichtungendurchPeers.PeerReviewbautaufvorhandenenQualitätsak-tivitätenauf, istvergleichsweisekostengünstigundfördertdieZusammenarbeitunddenAustauschzwischenValidierungseinrichtungen.

DasEuropäischePeerReviewVerfahrenwurdeinden2000erJahreninmehrereneuropäischenPro-jektenursprünglichfürdieberuflicheBildungentwickelt.EsbautaufdenPrinzipiendeseuropäischenBezugsrahmens fürdieQualitätssicherung inderberuflichenAus-undWeiterbildung (EQAVET)aufundentwickeltdiesenweiter.Esfolgteinemformativen,entwicklungsorientiertenAnsatzundunter-stütztEinrichtungen in ihrenBemühungenumeinqualitativhochwertigesAngebot. ImMittelpunktstehenAnregungenzurkontinuierlichenQualitätsverbesserungineinemKlimaderOffenheitunddesgegenseitigenVertrauens,damitträgtdasVerfahrenauchzumehrTransparenzundeinerbesserenVergleichbarkeit inEuropabei.GegenseitigesLernenundderAustauschguterPraxissindTeileinesdynamischenundmotivierendenProzesses,vondemsowohldieevaluierteEinrichtungalsauchdiePeersprofitieren.

DasEuropäischePeerReviewHandbuchwurdenunfürdieValidierungvonnicht-formalemund in-formellemLernen(VNFIL)adaptiert.ImZentrumstehtdieNutzunginderPraxis:DasHandbuchbie-tetdirektumsetzbareRichtlinien fürValidierungseinrichtungen,diePeerReviewsalsVerfahrenzurQualitätssicherungund -entwicklungeinführenwollen.DasHandbuchwirddurcheineToolboxmitpraktischenHilfestellungenergänzt,dieüberdieProjekt-Websitewww.peer-review-network.euzu-gänglich ist.DieseToolboxenthältFormulare,Checklistenundzusätzliche InformationenundEmp-fehlungeninelektronischerForm.

Wirhoffen,dassdasEuropäischePeerReviewVerfahrendievonunsgesetztenErwartungenerfülltundeinnützlichesundattraktivesInstrumentfürValidierungsanbieteringanzEuropawird.Wirha-bengroßesInteresseaneinerweiterenVerbesserungdesEuropäischenPeerReviewVerfahrens,undfreuenunsüberRückmeldungenzudiesemHandbuch!

MariaGutknecht-Gmeiner

ErikKaemingk

(EuropäischePeerReviewVereinigung) (Projektkoordinator)


iv

ContentsI Einführung.........................................................................................................................................6

I.1 WasistPeerReview?.................................................................................................................6I.2 WarumPeerReview?VorteileundNutzenvonPeerReviewalsInstrumentder

Qualitätssicherungund-entwicklung......................................................................................6I.3 WassinddieZieleundPrinzipiendesEuropäischenPeerReviewVerfahrens?........................6I.4 EuropäischesPeerReviewundderEuropäischeBezugsrahmenfürdieQualitätssicherungin

derberuflichenBildung(EQAVET)...........................................................................................8I.5 DasEuropäischePeerReviewVerfahrenundGenderMainstreaming.....................................9I.6 WerkanndasEuropäischePeerReviewVerfahrenanwenden?.............................................10I.7 RollevonBetroffenenundBeteiligten(Stakeholdern)imEuropäischenPeerReview

Verfahren...............................................................................................................................10I.8 DokumentationdesEuropäischenPeerReview......................................................................10

II EuropäischesPeerReviewVerfahren–Überblick..........................................................................11II.1 KoordinationundOrganisationdesEuropäischenPeerReviews...........................................11II.2 VierPhasendesEuropäischenPeerReviews.........................................................................12II.3 GeschätzterZeitaufwandfüreinEuropäischesPeerReview.................................................13II.4 Überblick:ZeitplanungundVerantwortlichkeitenimEuropäischenPeerReview.................14

III EuropäischesPeerReviewVerfahren–Vorbereitung(Phase1).....................................................17III.1 StartdesVerfahrens..............................................................................................................17III.2 AuswahlundEinladungdesPeerTeams...............................................................................19III.3 SelbstevaluierungundSelbstbericht.....................................................................................20III.4 VorbereitungdesPeerBesuchs.............................................................................................22

IV EuropäischesPeerReviewVerfahren–PeerBesuch(Phase2.......................................................25IV.1 WieläufteinPeerBesuchab?...............................................................................................25IV.2 Datenerhebung......................................................................................................................25IV.3 Datenanalyse.........................................................................................................................26IV.4 BewertungundFeedback......................................................................................................27IV.5 Qualitätsstandardserfüllen...................................................................................................29IV.6 DauereinesPeerBesuchs......................................................................................................30IV.7 ElementeeinesPeerBesuchs................................................................................................30

V EuropäischesPeerReviewVerfahren–PeerReviewBericht(Phase3)..........................................32V.1 StrukturdesPeerReviewBerichts.........................................................................................32V.2 PrinzipienfürdieErstellungdesPeerReviewBerichts..........................................................33V.3 VomPeerBesuchzumendgültigenPeerReviewBericht.......................................................33


v

VI EuropäischesPeerReviewVerfahren–UmsetzenvonMaßnahmen(Phase4)..................................34VI.1 WiedieErgebnissedesPeerReviewsinterpretiertundinVerbesserungsmaßnahmen

umgesetztwerden.................................................................................................................34VI.2 WieVeränderungenvorzubereitensind................................................................................34VI.3 Veränderungensystematischumsetzen................................................................................34

VIIQualitätsbereiche............................................................................................................................37VII.1 QualitätvonValidierungunddieDefinitionvonQualitätsbereichen....................................37VII.2 VerbindungzwischendenEuropäischenQualitätsbereichenfürValidierungseinrichtungen

undinstitutionellen/nationalenRahmen..............................................................................37VII.3 EuropäischeQualitätsbereichefürValidierungseinrichtungen.............................................38VII.4 DieQualitätsbereicheunddasQualitätssicherungsmodelldesEQAVET...............................39VII.5 WiedieQualitätsbereichedefiniertwerden.........................................................................39

VIIIPeers................................................................................................................................................40VIII.1 Weristein/ePeer?................................................................................................................40VIII.2 HauptaufgabederPeers........................................................................................................40VIII.3 ZusammensetzungdesPeerTeams.......................................................................................40VIII.4 RolleninnerhalbdesPeerTeams..........................................................................................41VIII.5 ErforderlicheKompetenzenundExpertisederPeers............................................................43VIII.6 BewerbungalsPeer...............................................................................................................43VIII.7 VorbereitungundSchulungderPeers...................................................................................43VIII.8 Zusammenarbeitmitdem/derPeerReviewOrganisatorIn...................................................44

IX LiteraturundQuellen......................................................................................................................45IX.1 PeerReviewundQualitätssicherunginderBerufsbildungsowieimHochschulbereich.......45IX.2 Validierung(VNFIL)undQualitätssicherungvonVNFIL.........................................................45IX.3 Gendermainstreaminganddiversity....................................................................................46IX.4 Websites................................................................................................................................47IX.5 Projektberichte......................................................................................................................47IX.6 PeerReviewManuals............................................................................................................48

X Glossar.............................................................................................................................................49


AdaptierungdesEuropäischenPeerReviewHandbuchsfürdieberuflicheErstausbildung 6

I Einführung

I.1 WasistPeerReview?

PeerReviewisteineFormderexternenEvaluierungmitdemZiel,dieInstitution,diesichdemVer-fahrenunterzieht, in ihrenBemühungenumQualitätssicherungundQualitätsentwicklungzuunter-stützen.

EinPeerReviewVerfahrenwirdvoneinerGruppeexternerExpertInnen,sogenanntenPeers,durch-geführt, die eingeladen werden, die Qualität verschiedener Bereiche des Validierungsanbieters zubeurteilen.Bewertetwerdenkannz.B.dieQualitätbestimmterPhasenoderAspektedes/derange-botenenderValidierungsverfahren(s)auchdieOrganisationdesgesamtenValidierungsverfahrens.

PeerssindzwarexternePersonen,arbeitenaberineinemähnlichenUmfeldundverfügenüberfach-spezifischeExpertiseundKenntnisse indemzuevaluierendenBereich.Siesindunabhängigund je-nenPersonen„gleichgestellt“,derenLeistungevaluiertwird.

I.2 WarumPeerReview?VorteileundNutzenvonPeerReviewalsInstrumentderQuali-tätssicherungund-entwicklung

Europäische Validierungsanbieter profitieren von dem im Handbuch beschriebenen Peer ReviewVerfahren,indemsie• kritisches,aberfreundlichgesinntesFeedbackzurQualitätihresValidierungsangebotsvonFach-

kollegInnenerhalten,• eineexternePerspektivekennenlernen,• sichderQualitätihresAngebotsvergewissern,• dieStärkenihresAngebotsundgutePraxisbeispieleaufzeigen,• ihrenAnspruchsgruppenRechenschaftablegen,• aufblindeFleckenundSchwachstellenaufmerksamgemachtwerden,• RatschlägeundgutePraxisbeispielevonPeerserhalten,• sichmitdenPeerseinemgemeinsamenLernprozessunterziehen,• NetzwerkeundKooperationenmitanderenBerufsbildungseinrichtungenaufbauensowie• einenexternenEvaluierungsberichtzurQualitätihresAngebotszueinemvergleichsweisegünsti-

genPreiserhalten.

I.3 WassinddieZieleundPrinzipiendesEuropäischenPeerReviewVerfahrens?

I.3.1 AllgemeineZieleundPrinzipien

DasEuropäischePeerReviewVerfahrenzieltdaraufab,• Qualitätssicherungund-entwicklungzufördern,• TransparenzundVergleichbarkeitvonQualitätinderBerufsbildungdurchSchaffungeinheitlicher

StandardsinEuropazuerhöhen,• Chancengleichheitzuunterstützen.



ZudenwichtigenspezifischenErfordernissenundCharakteristikadesVerfahrenszählen• derFokusaufdieamVerfahrenbeteiligtenMenschen,derenInteressenundBedürfnisse,• ObjektivitätundUnparteilichkeitderPeers,• TransparenzinallenBereichendesVerfahrensfürallebeteiligtenPersonen,• VertraulichkeitsvereinbarungenundRegelnüberdieVerwendungderErgebnisse,dieimVorfeld

aufgestelltundvonallenbeteiligtenPersoneneingehaltenwerden,• VermeidungvonInteressenskonfliktenunddirekterKonkurrenzzwischendenPeers(bzw.deren

Herkunftsinstitution)undderzuevaluierendenEinrichtung,• FörderungvonOffenheit,IntegritätundEhrlichkeitalsVoraussetzungfürgegenseitigesLernen,• BewusstseinüberkulturelleEinflüsseinderBerufsbildungsowieinderEvaluierung,insbesonde-

reimRahmenvontransnationalenPeerReviews,• FörderungeinerhinterfragendenundkritischenHaltungsowohlbeidenPeersalsauchbeider

evaluiertenEinrichtung,und• dieKonzeptionundDurchführungeinesPeerReviewsnichtalstechnisch-bürokratischesVerfah-

ren,sondernalsdynamischenundmotivierendenProzess,ausdemsowohldiePeersalsauchdieevaluierteInstitutioneinenNutzenziehen.

I.3.2 DasEuropäischePeerReviewalsfreiwilligesundformativesEvaluierungsverfahren

Das Europäische Peer Review Verfahren wurde als freiwilliges Evaluierungsinstrument für Validie-rungsanbieterentwickelt. Eshateine formative, entwicklungsorientierteFunktionund zielt aufdieFörderungderkontinuierlichenQualitätsverbesserung.

nächstesPeerReview

PeerReview

InterneEvaluierungundBewertung

Implemen3erungvonMaßnahmenzurQualitätsverbesserung

QualitätsplanbasierendaufdenPeer-Review-Ergebnissen

VorbereitungDokumente,OrganisaBon

StatusQuoderQualitätssicherungund-entwicklung

Peers

Trainingsprogramm

Abb.1:KonBnuierlicheQualitätsverbesserungdurchPeerReview



DasEuropäischePeerReviewVerfahrenhilftValidierungsanbietern,denStatusquoderQualität ih-resAngebotszueruierenundwertvolleVorschlägeundEmpfehlungenfürVerbesserungenzuerhal-ten.DieHauptadressatInnen des Europäischen Peer ReviewVerfahrens sind daher die evaluiertenValidierungsanbieterselbst.DerHauptzweckdesindiesemHandbuchbeschriebenenVerfahrensist,zueinerkontinuierlichenQualitätsentwicklunganzuregen.

I.4 EuropäischesPeerReviewundderEuropäischeBezugsrahmenfürdieQualitätssiche-runginderberuflichenBildung(EQAVET)

DadasEuropäischePeerReviewursprünglichfürdieberuflicheBildungentwickeltwurde,entsprichtdas indiesemHandbuchbeschriebeneVerfahrendenAnforderungendesEuropäischenBezugsrah-mensfürdieQualitätssicherunginderberuflichenAus-undWeiterbildung(EQAVET)wieinderEmp-fehlungdesEuropäischenParlamentsunddesRatesvomJuni2009definiert.

Obwohl fürdieberuflicheBildungentwickelt,bietetderEQAVETQualitätsrahmeneinenZugangzuQualitätssicherung,derauchfürjeglicheandereKontexteimBildungsbereichalsgeeigneterscheint:erumfasstdenQualitätszyklusvonPlanung,Durchführung,EvaluierungundÜberprüfungsowieDe-skriptorenundReferenzindikatoren.Das indiesemHandbuchbeschriebenePeerReviewVerfahrenentsprichtdengemeinsamenQualitätskriterienvonEQAVET:SeineElementebasierenaufdemvonEQAVETpropagiertenQualitätszyklus,demHerzstückallerQualitätsmanagementsysteme.

DasEuropäischePeerReviewkannindiesemRahmenalsneueMethodezurSicherungundVerbes-serungderQualitätderValidierungvonnicht-formalemundinformellemLerneneingesetztwerden.Eskannsowohl füreine–umdieexternePerspektiveerweiterte– interneBewertungalsauchfüreineexterneEvaluierungderQualitätdesValidierungsangebotsherangezogenwerden.Darüberhin-auswurdenQualitätskriterien für relevanteQualitätsbereichevorgeschlagen,umdieDurchführungvontransnationalenPeerReviewszuunterstützen(s.KapitelVII).

DasEuropäischePeerReviewVerfahrenalssystematischerProzesskannauffolgendeWeisedarge-stelltwerden:

Abb.2:DasQualitätssicherungsmodellvonEQAVETundPeerReview

SelbstevaluierungdesValidierungsanbieters(Selbstbericht)

PeerReview(AnalysedesSelbstberichts;PeerBesuch)

PeerReviewMethode

PeerReviewBericht(VerweisaufStärkenundVerbesserungspotenziale)

ÜberprüfungundUm-setzungvonMaßnahmen(KonsequenzenausdemPeerReviewBerichtundEinleitungvonVeränderungen)



I.5 DasEuropäischePeerReviewVerfahrenundGenderMainstreaming

GenderMainstreamingisteinLeitprinzipdesEuropäischenPeerReviewVerfahrens.

DerPeerReviewProzess soll zurBeseitigungbestehenderUngleichheitensowie zurFörderungderGleichstellung zwischen Frauen undMännern beitragen – hinsichtlich der Bildungsbeteiligung, derVerteilung der Ressourcen, der Aufgaben undVerantwortungen imBereich der Berufsbildung undgenerellauchimprivatenundöffentlichenLeben(inÜbereinstimmungmitdenArtikeln2und3desVertragsvonAmsterdam1999).AmBeginneinesGenderMainstreaming-ProzessesstehteineAnaly-se der als „typisch“ weiblich bzw. männlich geltenden Bedürfnisse, Rollen, Verhaltensmuster undInteressen.Dabei sollte aucherforschtwerden,welcheBedeutungdenalsweiblichbzw.männlichkonnotierten Merkmalen zugemessen wird und wie diese bewertet werden. Daran anschließendwirduntersucht,wiegeschlechtsspezifischeStereotypenundUnterschiedeimsozialenKontextent-stehenunddurchwelcheformalenundinformellenStrukturenundPraktikensieverfestigtwerden.AlleMaßnahmenundSchritte,diegesetztwerden,müssenaufihrPotenzialzurkritischenReflexionund zur Verbesserung der Situation überprüft werden. Die Selbstreflexion über Gender-AspektedurchalleamPeerReviewVerfahrenbeteiligtenPersonenistdahereineVoraussetzungfürdieIm-plementierungvonGenderMainstreamingimEuropäischenPeerReviewVerfahren.

Die folgendenGender-KriterienundQualitätsstandardssind imRahmendesEuropäischenPeerRe-viewVerfahrenszubeachten:• GenderMainstreamingsolltezujedemZeitpunktimPeerReviewVerfahrenberücksichtigtwerden.• EinegeschlechtergerechteSpracheistinallenBerichtenundwährenddesgesamtenVerfahrens

zuverwenden.• GesammelteDaten sindgeschlechtsspezifischaufzubereiten,umVerteilungennachGeschlecht

aufzuzeigen(weiblicheundmännlicheLernende;weiblicheundmännlicheLehrendeetc.).• EineGender-AnalysederQualitätsbereichesollteimSelbstberichtsowieimPeerReviewVerfah-

rendurchgeführtwerden.• Ein/ePeermitGender-Expertise(alsZusatzkompetenz)sollteMitglieddesPeerTeamssein.So-

wohl Frauen als auchMänner sollten imPeer Review Teamangemessen vertreten sein. Schu-lungsbedürfnisseinBezugaufGenderundGenderMainstreamingsindzuidentifizierenundvordemPeerReviewVerfahrenzuerfüllen.

• WährenddesPeerReviewsmüssenGender-AspektebeiderZusammensetzungder Interviewteil-nehmerInnen, in der Vorbereitung und Durchführung der Interviews und Beobachtungen (ge-schlechtergerechteFormulierungderFragenundKriterienfürdie Interviews/Beobachtungen,ge-schlechtergerechteSpracheundVorgangsweisewährendder InterviewsundBeobachtungen)so-wieinderAnalyse(VermeidungvongeschlechtsspezifischenStereotypenetc.)Beachtungfinden.

• WennfinanzielleAspekteanalysiertwerden,solltenSchulbudgetsebenfallsimHinblickaufGen-der-Aspektebewertetwerden.

VordemStarteinesPeerReviewssollteeineGender-AnalyseinBezugauf• die Berufsbildungseinrichtung – die Rechte, Ressourcen, Beteiligungen,Werte und Normen in

BezugaufGender(geschlechtsspezifischeDarstellungderDaten,wennmöglichauchqualitativeBewertung),

• das Peer Team – Zusammensetzung, Schulungsbedürfnisse in Bezug auf Gender und GenderMainstreamingund

• denSelbstbericht–Gender-AnalysederdarinangesprochenenBereiche,Sprachgebrauch

durchgeführtwerden.

à EineGenderMainstreamingChecklisteistinderToolboxenthalten.



I.6 WerkanndasEuropäischePeerReviewVerfahrenanwenden?

DieHauptzielgruppe für das Europäische Peer ReviewVerfahren sind Validierungseinrichtungen inEuropa,dieErfahrungimBereichQualitätssicherungund-entwicklunghaben.AlsMindestvorausset-zungfürdieBeteiligunganeinemPeerReviewVerfahrengilt,dassdieEinrichtungenzuvorzumindesteinmaleinenSelbstevaluierungsprozessdurchlaufenhaben.

WasbedeutetderBegriff„Validierungseinrichtungen“?

Im Europäischen Peer Review Handbuch werden die Begriffe Validierungseinrichtung und Validie-rungsanbietersynonymverwendet.SiebeziehensichaufOrganisationen/Einrichtungen/AbteilungenoderandereEinrichtungen,dieVerfahrenzurValidierungvonnicht-formalenundinformellenKom-petenzenanbieten.

I.7 RollevonBetroffenenundBeteiligten(Stakeholdern)imEuropäischenPeerReviewVerfahren

Eswirdempfohlen,dieverschiedenenbetroffenenundbeteiligtenAnspruchsgruppen imgesamtenPeer Review Prozess einzubeziehen. Als Betroffene und Beteiligte gelten die Zielgruppen, d.h. dieKandidatInnensowieehemaligeKandidatInnen,sowieallePersonen,die inderValidierungseinrich-tung arbeiten: BeraterInnen und BegleiterInnen, BewerterInnen, Verwaltungspersonal und andereMitarbeiterInnen.WeitereAnspruchsgruppensindKooperationspartnerderValidierungseinrichtung,darunter „zuliefernde“ und „abnehmende“ Einrichtungen: Bildungs- und Beratungseinrichtungen,Arbeitgeber, öffentliche und private Arbeitsmarktvermittler sowie NPOs/NGOs, die mit speziellenZielgruppen arbeiten; außerdem Bildungsbehörden, Sozialpartner, lokale und nationale BehördensowiedieGesellschaftinsgesamt.

VertreterInnen von Betroffenen und Beteiligten können als InterviewpartnerInnen zur Verfügungstehen,sowohlwährendderSelbstevaluationalsauchwährenddesPeerBesuchs.SiekönnenauchalsPeersfungieren,sollte ihrespezifischeExpertiseundihrKnow-howzumProzessbeitragen.Dar-überhinauskönnendieverschiedenenAnspruchsgruppenauchandenErgebnissendesPeerReviewVerfahrens(z.B.desPeerReviewBerichts)interessiertsein.

I.8 DokumentationdesEuropäischenPeerReview

I.8.1 EuropäischesPeerReviewPortfolio

AllerelevantenDokumentedesEuropäischenPeerReviewVerfahrenssolltenvonderValidierungs-einrichtungineinemEuropäischenPeerReviewPortfoliogesammeltwerden.DiesesbeinhaltetdasErstinformationsblatt,denSelbstbericht,denPeerReviewBerichtundanderewichtigeDokumente,diewährenddesPeerReviewProzessesgesammeltwerden.ImRahmendereuropäischenPeerRe-viewProjekte(s.www.peer-review-network.eu)vervollständigteeinZertifikatdasPortfolio.

I.8.2 EuropäischesPeerReviewZertifikat

DieEuropäischePeerReviewVereinigungEPRA(www.peer-review-network.eu)kannaufAnfrageeinEuropäisches Peer Review Zertifikat an Validierungsanbieter ausstellen, die sich erfolgreich einemPeerReviewVerfahrenunterzogenhaben.DasSiegelwirdnacheinersorgfältigenPrüfungderEin-haltungderindiesemHandbuchbeschriebenenAnforderungenverliehen.



II EuropäischesPeerReviewVerfahren–Überblick

II.1 KoordinationundOrganisationdesEuropäischenPeerReviews

PeerReviewVerfahrenkönnenaufunterschiedlicheWeiseorganisiertwerden–jenach1)verfügba-renNetzwerken,2)Ressourcen(inpersonellerundfinanziellerHinsicht)und3)denBedürfnissenundAnforderungendesValidierungsanbieters.

EineinzelnesPeerReviewkannvoneinerValidierungseinrichtungorganisiertwerden,die Interesseam externen Feedback durch Peers hat und die beabsichtigt, sich durch dieNutzung bestehenderKontakte mit anderen Validierungseinrichtungen ad hoc und spontan auszutauschen. Es muss zukeinerweiteren Zusammenarbeit zwischen der evaluierten Validierungseinrichtung und jenen Ein-richtungen,diediePeersstellen,kommen.

GegenseitigePeerReviewszwischenValidierungseinrichtungensindebenfallsmöglich,diesebedür-feneinerstärkerenundkontinuierlicherenZusammenarbeit.

ZumeistwerdenPeerReviews ineinemNetzwerkmitdreiodermehrPartnerndurchgeführt.DieseNetzwerkebestehenentwederbereitsoderwerdeneigens fürdieDurchführungvonPeerReviewsgeschaffen.LetzteresziehthäufigeineAusweitungdereinmaliggeplantenZusammenarbeitzueinerumfassenderenKooperationnachsich:GemeinsameVorbereitungsaktivitätenwiebeispielsweisedieAuswahlundSchulungvonPeers,dieZuteilungderPeersetc.könnendabeigenausoeingeführtwer-den,wieeingemeinsamesBerichtswesenundMonitoring.EinPeerReviewNetzwerkeinigtsichfürgewöhnlichauchaufgemeinsameRichtlinienundIndikatoren.AlldaserforderteineengereKoopera-tionundbedarfgeeigneterStrukturensowieausreichenderRessourcen.DerMehrwerteinesNetz-werkansatzesentstehtdurch

• dieSynergien,diesichdurchdieDurchführungvonPeerReviewszwischendenValidierungsein-richtungenimNetzwerkergeben,

• diegrößereAnzahlanPeersundderenvielfältigereminstitutionellenHintergrund,• dieErweiterungdesGeltungsbereichsdesPeerReviewsalsexternemEvaluierungsverfahren(das

zumindestinnerhalbdesNetzwerkesanerkanntwird),• dieChanceaufweitere,überdasPeerReviewVerfahrenhinausgehendeKooperationen.

Wenn Peer Review Verfahren in einem größeren Netzwerk durchgeführt werden, bedarf es einerkoordinierendenEinrichtung,diedieQualitätderDurchführungsicherstelltunddieAktivitätenderNetzwerkmitglieder koordiniert (z.B. die Europäische Peer Review Vereinigung oder ein nationa-le/regionale Koordinationsstelle). Diese Funktion kann auch von einer der teilnehmenden Validie-rungseinrichtungen im Netzwerk übernommen werden. Zu den Aufgaben dieser koordinierendenEinrichtunggehörtbeispielsweisedasManagementdesNetzwerkes,dieKoordinationderEntwick-lunggemeinsamerVorgehensweisen (Richtlinienund Indikatoren),dieUnterstützungundBeratungderteilnehmendenValidierungseinrichtungen,dieAuswahlundSchulungderPeerssowiedieKoor-dinationunddasMonitoringderPeerReviews.

AusdiesemGrundsindauchdieAufgabenundVerantwortungeneinerkoordinierendenEinrichtungimEuropäischenPeerReviewVerfahrenbeschrieben. In zukünftigen transnationalenPeerReviewsaufeuropäischerEbenekanndieEuropäischePeerReviewVereinigung(EPRA),dieseFunktionüber-nehmen.



II.2 VierPhasendesEuropäischenPeerReviews

DasPeerReviewVerfahrenumfasstvierPhasen:1. DasPeerReviewbeginntmitderVorbereitungsphase.IndieserPhasewirddasPeerReviewor-

ganisiertundderSelbstberichtvonderValidierungseinrichtungverfasst.DiePeerswerdenindie-serPhaseebenfallsrekrutiertundgeschult.EinZeitplanfürdasReviewwirderstelltundVerein-barungenfürdenPeerBesuchgetroffen.

2. IndiezweitePhasefälltdasKernstückdesPeerReviewVerfahrens,derPeerBesuch.Peersbesu-chendieValidierungseinrichtungundführeneineEvaluierungdurch.DieseEvaluierunginkludierteinenRundgangundInterviewsmitverschiedenenStakeholdergruppen.DiePeersgebenamEn-dedesPeerBesuchseinerstesmündlichesFeedback.

3. NachdemPeerBesucharbeitendiePeerseinenRohberichtaus,zudemdieValidierungseinrich-tungStellungnehmenkann.InweitererFolgewirdderendgültigePeerReviewBerichtredigiert.

4. Die vierte Phase ist für die Verbesserung des Validierungsangebots und für dieOrganisations-entwicklungvonentscheidenderBedeutung:DieErgebnisseundEmpfehlungendesPeerReviewVerfahrenswerdeninkonkreteZieleübersetzt,geplantunddurchgeführt.

KoordinierendeEinrichtung

UnterstützungfürValidierungseinrichtungen

PeerPool

ZeitplanfürPeerReviews

SchulungderPeers

Validierungs-anbieter

Abb.3:PeerReviewineinemNetzwerkvonValidierungseinrichtungen














II.3 GeschätzterZeitaufwandfüreinEuropäischesPeerReview

II.3.1 ErforderlicheZeitfürdieVorbereitung

EsmussgenügendZeitfüreineadäquateVorbereitungundOrganisationeinesPeerReviewseinge-plantwerden.

HatzuvorbereitseineSelbstevaluierungstattgefunden,sokannmitdemPeerReviewsofortbegon-nenwerden. Dennoch solltenmindestens dreiMonate für die Vorbereitung undOrganisation desReviewsreserviertwerden.DamitsichdiePeersaufdenPeerBesuchausreichendvorbereitenkön-nen,istesnotwendig,dassderSelbstberichtzumindesteinenMonatvorBeginndesReviewsverfüg-barist.

Wenn zuvor keine Selbstevaluierung durchgeführt wurde, sind mindestens sechs Monate für dieSelbstevaluierung,diedemPeerReviewvorausgehenmuss,einzuplanen.

II.3.2 ErforderlicheZeitfürdenPeerBesuchunddenBericht

DerPeerBesuchdauert inderRegel1,5bis3Tage jenachGrößederzuevaluierenden InstitutionundUmfangdesPeerReviews,d.h.wievieleQualitätsbereicheevaluiertwerden.

InderPilotphasederPeerReviewProjekteimBereichValidierunghabensichPeerBesuchevon1,5bis2Tagenbewährt:WährendeinTagfürdieDurchführungeinerumfangreichenundaussagekräfti-genEvaluierungalszukurzempfundenwurde(undfallsPeersanreisenmüssen,solltendiezumeistbeschränktenBudgetsfürReisekosteneffizienteingesetztwerden,d.h.derPeerBesuchsolltenichtaufmehrereTermineaufgeteiltwerden),wurdenBesuchevonmehralszweiTagensowohl fürdiePeersalsauchfürdieValidierungseinrichtungenalseinebeachtlicheBelastunggesehen.Zubeachten

NächstesPeerReview

Phase1:Vorbereitung(min.3Monate)•  Start•  Peerseinladen•  Selbstevalua?onundSelbstbericht•  VorbereitungdesPeerBesuchs

Phase2:PeerBesuch(1,5bis2Tage)•  Datenerhebung•  Datenauswertung•  MündlichesFeedback

Phase3:PeerBericht(4Wochen)•  Entwurf•  Stellungnahme•  Endbericht

Phase4:Umsetzung(6bis12Monate)•  Zieleformulieren•  Ressourceniden?fizieren•  Ak?onsplanundUmsetzung•  NächstesPeerReviewplanen

Abb.4:VierPhasendesEuropäischenPeerReviewVerfahrens



ist weiters, dass die Anzahl der zu evaluierenden Qualitätsbereiche dem zeitlichen Rahmen ange-passtseinmuss.EmpfehlenswertistesauchvorOrteineVorbereitungsphasefürdiePeerseinzupla-nen,ambestendirektvordemPeerBesuch,d.h.andemdemPeerBesuchvorangehendenHalbtag.

In der allgemeinen Zeitplanung sollte auch Zeit für das Verfassen des Peer Review Berichts, dieKommentierung durch die Validierungseinrichtung und die Endredaktion berücksichtigt werden.HinweisefürdieDauerdereinzelnenSchrittefindensichinKapitelV.

II.3.3 ErforderlicheZeitfürdieImplementierungvonVerbesserungsmaßnahmenundVeränderungen

Innerhalbvon zweiMonatennachErhaltdesendgültigenPeerReviewBerichts sollteeinMaßnah-menplan präsentiertwerden; zumindest sechs bis zwölfMonate sollten für die Durchführung undUmsetzungvonVerbesserungsmaßnahmeneingeplantwerden.

II.4 Überblick:ZeitplanungundVerantwortlichkeitenimEuropäischenPeerReview

Tabelle1:AufgabenderValidierungseinrichtungen,derPeersundderkoordinierendenEinrichtungimEuropäischenPeerReviewinchronologischerReihenfolge

Phase1–Vorbereitung

Validierungseinrichtung

StartdesVerfahrens£ EntscheidungzurDurchführungeinesPeerReviews£ EntscheidungüberdieexterneOrganisationdesPeerReviews

(einzelnesPeerReview,PeerReviewNetzwerk)£ EntscheidungüberdieinterneOrganisationdesPeerReviews

(VerantwortlichkeitenundAufgaben)£ EntscheidungüberQualitätsbereiche£ ÜbermittlungdesErstinformationsblatts(inklusiveeineserstenZeitplans)

andiekoordinierendeEinrichtung£ Optional:OrganisationeineskoordinierendenTreffens

zwischenValidierungseinrichtungenimNetzwerkundderkoordinierendenEinrichtung

PeersundPeerTeam£ SuchenachgeeignetenPeersimHinblickaufdiezuevaluierendenQualitätsbereiche£ EinladungandiePeers,sichbeiderkoordinierendeEinrichtungzubewerben£ AuswahlderPeersinAbstimmungmitderkoordinierendenEinrichtung£ AbschlussvonVerträgenmitdenPeers

SelbstevaluierungundSelbstbericht£ DurchführenderSelbstevaluierung£ ErstellendesSelbstberichts£ ÜbermittelndesSelbstberichtsandiePeersunddiekoordinierendeEinrichtung£ ÜbermittelnanderererforderlicherDokumenteanPeersundkoordinierendeEinrichtung

VorbereitungdesPeerBesuchs£ ZeitlichePlanungdesPeerBesuchs:FestlegendesZeitpunktsundderAgenda£ OrganisationdesvorbereitendenTreffensderPeers£ VorbereitungvorOrt(RäumeundAusstattung,InterviewpartnerInnen,Mittagessenetc.)£ Empfohlen:OrganisationeinesVorbereitungstreffensderPeersmitderBildungseinrichtungzur

FeinabstimmungundBeantwortungvonFragenseitensderPeers(„Frage-und-Antwort-Sitzung”)



Phase1–Vorbereitung(Fortsetzung)Peers

PeersundPeerTeam£ BewerbungalsPeer£ UnterzeichnendesVertragsfürdasPeerReview£ VorbereitendesPeerReviewsundTeilnahmeaneinerPeerReviewSchulung

SelbstevaluierungundSelbstbericht£ ErhaltdesSelbstberichts£ LektüreundAnalysedesSelbstberichts£ IdentifizierungvonEvaluierungsthemenund-fragestellungenfürdasPeerReview

VorbereitungdesPeerBesuchs£ HilfebeiderPlanungdesPeerReviews,insbesonderebeiderErstellungderPeerReviewAgenda£ AustauschvonMeinungenbezüglichdesInhaltsdesSelbstberichtsinnerhalbdesPeerTeams,

AbstimmungüberdieEvaluierungsfragestellungen£ VorbereitungvonInterviewfragenundBeobachtungskriterien£ TeilnahmeaneinemvorbereitendenTreffenderPeerszurTeambildungundVorbereitungdes

PeerBesuchs£ Empfohlen:TeilnahmeaneinemVorbereitungstreffenmitderBildungseinrichtungzurFeinab-

stimmungundzumEinholenweitererInformationen,fallserforderlich(„Frage-und-Antwort-Sitzung”)


StartdesVerfahrens£ ÜbermittelnvonInformationenüberdasPeerReviewVerfahrenanValidierungseinrichtungen£ EinholendesErstinformationsblatts£ ErstelleneineserstenZeitplansfürPeerReviewsimNetzwerk(Masterplan)unterVerwendung

desErstinformationsblattsderValidierungseinrichtungen£ Optional:OrganisationeineskoordinierendenTreffenszwischenValidierungseinrichtungenim

NetzwerkundderkoordinierendenEinrichtung

PeersundPeerTeam£ SuchenachgeeignetenPeers–Bewerbungeneinholen,auswählenundbewerten£ MatchingderPeersundderValidierungseinrichtungen

(imHinblickaufdiezuevaluierendenQualitätsbereiche)£ AuswahlderPeers(inAbstimmungmitderValidierungseinrichtung)£ UnterstützungbeiderErstellungvonVerträgenmitdenPeers

SelbstevaluierungundSelbstbericht£ ErhaltderSelbstberichtevondenValidierungseinrichtungen£ WeiterleitendesSelbstberichtsandiePeers

(sofernderBerichtnichtdirektandiesegeschicktwurde)

VorbereitungdesPeerBesuchs£ ZeitlichePlanungdesPeerBesuchs(inAbstimmungmitValidierungseinrichtungundPeers)£ OrganisationderVorbereitungundSchulungderPeers



Phase2–PeerBesuch

Validierungseinrichtung

UnterstützungderPeersindenfolgendenAktivitäten£ AusstattungundzurVerfügungstellenderRäumlichkeiten£ InterviewsundBeobachtungenvorOrtorganisatorischunterstützen£ Rundgangvorbereitenundbegleiten£ FeedbackderPeerseinholen£ TeilnahmeanderFeedback-Sitzung(einschließlichkommunikativerValidierung)

Peers:

£ Datenerhebung£ RundgangamStandort£ DurchführenvonInterviewsundBeobachtungen£ AnalyseundDiskussionderErgebnisseimPeerTeam£ ProfessionelleBewertungundgemeinsameSchlussfolgerungen£ MündlichesFeedbackandieValidierungseinrichtung£ TeilnahmeanderFeedback-Sitzung(einschließlichkommunikativerValidierung)£ DurchführungeinerMeta-EvaluierungimPeerTeam


£ Optional:BeteiligungamPeerBesuch(z.B.ineinerbeobachtenden,unterstützendenRollePhase3–PeerReviewBericht

Validierungsanbieter£ StellungnahmezumPeerReviewRohbericht

Peers£ VerfassendesPeerReviewRohberichtsundÜbergabeandieValidierungseinrichtung£ EinholenvonStellungnahmenundKommentarenderValidierungseinrichtungundEndredaktion

desPeerReviewBerichts£ EndederaktivenTeilnahmeamPeerReviewVerfahren

KoordinierendeEinrichtung£ Optional:ErhaltdesPeerReviewBerichts£ Optional:BeteiligunganderErsterstellungbzw.EndredaktiondesPeerReviewBerichtsPhase4–UmsetzenderMaßnahmenValidierungsanbieter£ EntscheidungüberdieNutzungderErgebnissedesPeerReviews£ PlanungvonVerbesserungsmaßnahmen£ DurchführungvonVerbesserungsmaßnahmen£ PlanungundDurchführungdesnächstenPeerReviewVerfahrens

KoordinierendeEinrichtung£ Optional:BeteiligunganderNachbereitungsphaseund/oderamUmsetzungsprozess



III EuropäischesPeerReviewVerfahren–Vorbereitung(Phase1)

III.1 StartdesVerfahrens

III.1.1 EntscheidungüberdieDurchführungeinesPeerReviews

AmBeginneinesPeerReviewssteht• dieEntscheidungdesManagementseinPeerReviewdurchzuführen,• dieEntscheidung,obdasPeerReviewdiegesamteInstitutionodernurTeiledavonbetreffensoll,• dieEntscheidungüberZieleundZweckedesPeerReviews,• dieVerteilungderAufgabenundVerantwortlichkeiten,einschließlichderErnennungeines/einer

PeerReviewOrganisatorInundeinesQualitätsteams,sowie• dieEntscheidungüberdenZeitplanundüberdiefürdasPeerReviewerforderlichenRessourcen.

DieWirksamkeitdesVerfahrensimSinnederQualitätsverbesserunghängtvomEngagementundderKooperation der beteiligten Personen ab. Von Beginn anmuss eine klare Verantwortung des TopManagements(Geschäftsführung,BereichsleiterInnenetc.)fürdenProzessgegebensein.Weitersistdas Engagement der Betroffenen und Beteiligten sicher zu stellen, d.h. v.a. der MitarbeiterInnen(BeraterInnen,BegleiterInnen,BewerterInnen,VerwaltungsmitarbeiterInnen)aberauchdasandererrelevanterAnspruchsgruppen.DiesumfasstaucheineexpliziteWillenserklärungdesManagements,jeneMaßnahmen, die auf Basis des Peer Review Berichts in Phase 4 des Peer Review Verfahrensdefiniertwerden,tatsächlichumzusetzen(UmsetzenvonMaßnahmen).

DieVerantwortung für die Koordination allerAktivitäten im Zusammenhangmit demPeer ReviewVerfahren sollte einem/einer Peer ReviewOrganisatorIn übertragenwerden. Der/die Peer ReviewOrganisatorIn istMitarbeiter/inderValidierungseinrichtungundhatdieFunktioneinesBindegliedszwischenValidierungseinrichtungunddemPeerTeam,dasdieEinrichtungevaluiert.Aufgrund sei-ner/ihrerzentralenRollemussder/diePeerReviewOrganisatorInsorgfältigausgewähltwerden.

III.1.2 EntscheidungüberQualitätsbereiche

DernächsteSchrittbetrifftdieEntscheidungüber jeneQualitätsbereiche,die imRahmendesPeerReviewsevaluiertwerdensollen.DieseEntscheidungsolltedurchdasManagementgemeinsammitdenMitarbeiterInnenund,wennmöglich,mitanderenwichtigenAnspruchsgruppengetroffenwer-den.ValidierungseinrichtungensolltennurjeneQualitätsbereicheauswählen,dieauchinihremEin-flussbereichstehen.InKapitelVIIwirdeinÜberblicküberdieQualitätsbereichegegeben.

FolgendeFragenkönnenbeiderAuswahlderQualitätsbereicheeineRollespielen1:• GibtesQualitätsbereiche,dieaufgrundnationaler/regionaler/lokalerQualitätsbestimmungen

und-standardsaufjedenFallevaluiertwerdenmüssen?• GibtesQualitätsbereiche,indenendieEinrichtungbesondereStärken(Beispielebesterbzw.

hervorragenderPraxis)aufweist?• GibtesQualitätsbereiche,diedringendeinerEvaluierungbedürfen,weilz.B.Problemeauf-

getretensind?• GibtesQualitätsbereiche,dievonbesondererBedeutungsind,z.B.weilneueEntwicklungen

eingeführtwerdensollen?

1ZusätzlichkannauchdieFragenachdemErwerbeinesPeerReviewZertifikatsindieÜberlegungmiteinbezogenwerden.Siewirdjedochnurdannrelevantsein,wennesentsprechendeStrukturen(z.B.einekoordinierendeEinrichtung)gibt,dieEuropäischePeerReviewVer-fahrenbegleitenundbeobachtenundanjeneValidierungseinrichtungenZertifikateausstellen,dieerfolgreicheinPeerReviewVerfahrenentsprechendderindiesemHandbuchdargelegtenVorgangsweisedurchgeführthaben(vgl.auchKap.I.8.2).



• GibtesQualitätsbereiche,indenenInnovationenstattgefundenhaben,dieeineEvaluierunger-forderlichmachen?

• GibtesQualitätsbereiche,diefürbestimmteGruppenvonBetroffenenundBeteiligtenvonbe-sondererBedeutungsind?

DieWahlderQualitätsbereichehängtdaherinersterLinievonihrerRelevanzab.

DarüberhinaussollteauchdieDurchführbarkeitberücksichtigtwerden: JeumfassenderdasSpekt-rumderzuevaluierendenQualitätsbereiche,destomehrZeitundRessourcenwerdenbenötigt.Eine"Strategie der kleinen Schritte" empfiehlt sich besonders für Validierungseinrichtungenmit wenigEvaluierungserfahrung.(Diesekönnenauchdafüroptieren,dasVerfahrennurfürTeileihrerEinrich-tunganzuwenden.)FüreinenzweitägigenPeerBesuchsolltennichtmehralszweiQualitätsbereicheausgewähltwerden–nursehrerfahrenePeerssindinderLage,einegrößereAnzahlanQualitätsbe-reichen indiesemZeitraumzuevaluieren.Weiters ist zubeachten,dass zuvieleQualitätsbereicheentwederzueinereheroberflächlichenEvaluierungführenoderdiePeersdazuzwingen,sich ledig-lichaufausgewählteThemeninnerhalbderQualitätsbereichezukonzentrieren.

Zudemkannessinnvollsein,jeneBereicheauszuwählen,diezuvorbereitseinerinternenEvaluierungunterzogenwurden,umdenAufwandfürdieSelbstevaluierungzureduzieren.

DesWeiterenkönnenspezifischeEvaluierungsfragestellungenfürdiePeersformuliertwerden.DabeibeauftragtdieValidierungseinrichtungdiePeers,beiderEvaluierungderQualitätsbereicheaufbe-stimmteAspekteundFragenzuachten,diefürdieEinrichtungvonbesondererBedeutungsind.DieserhöhtdieNützlichkeitundVerwertbarkeitderErgebnissedesPeerReviews.

III.1.3 ErstinformationundDokumentation

DiegrundsätzlichenEntscheidungenüberdieDurchführungeinesPeerReviewssolltenvonderVali-dierungseinrichtung schriftlich festgehaltenwerden.Das „PeerReviewErstinformationsblatt”dientals interne Dokumentation sowie als externe Information für die koordinierende Einrichtung, diePeers,fürandereValidierungseinrichtungeninnerhalbdesNetzwerkesetc.DasErstinformationsblattmuss rechtzeitig,d.h. zumindestdreiMonatevordemBeginndesPeerReviews, andie koordinie-rendeEinrichtunggeschicktwerden.

Das „Peer Review Erstinformationsblatt” beinhaltet 1) Kontaktdaten, 2) die Ausgangslage und dieEntscheidungüberdieDurchführungeinesPeerReviews(inkl.derAngabe,werdieseEntscheidunggetroffenhat), 3) Zieleund ZweckedesPeerReviews, 4) InformationenüberdieOrganisationdesPeerReviews,5)die interneVerteilungderAufgabenundVerantwortlichkeiten,6)einenÜberblicküberdasVerfahrenunddenZeitplan(welcheSchrittewerdenwanngesetzt),7)dieQualitätsberei-che,8)weitereKommentareund9)eineListemitmöglichenPeers.

à DasPeerReviewErstinformationsblattistinderToolboxenthalten

III.1.4 Optional:Koordinationstreffen

WennPeerReviewsalsgegenseitigeReviewsoderineinemNetzwerkvonValidierungseinrichtungendurchgeführtwerden,empfiehltsichzurOptimierungdesVerfahrensdieOrganisationeinesKoordi-nationstreffenszwischendenVertreterInnenderValidierungseinrichtungen(undgegebenenfallsderkoordinierendenEinrichtung).

DiefolgendenAktivitätenkönnendabeiaufderTagesordnungstehen:• Vorstellungsrunde,kurzePräsentationderValidierungseinrichtungen;• ErwartungenderValidierungseinrichtungen,MotivationvonManagementsundMitarbeiterInnen;



• InformationundDiskussionüberdasPeerReviewVerfahren(Zweck,Ziele,einzelneAktivitäten,RessourcenundZeitplanungfürdiebeteiligtenPersonen);

• KompetenzprofilederPeers,VerfahrenfürdieAuswahlderPeers;• VerantwortungdesManagementsundderbeteiligtenMitarbeiterInnen(BeraterIn-

nen/BegleiterInnen,BewerterInnen,administratives/technischesPersonal);• Gegebenenfalls:Informationenund/oderEntscheidungüberdieBeteiligungvonBehörden;• Gegebenenfalls:Vertragsbedingungenzwischen1)denValidierungseinrichtungenund/oder2)

denValidierungseinrichtungenundderkoordinierendenEinrichtung.• WeitereSchritte,Zeitplanung,Fragen.

III.1.5 Empfohlen:VerträgezwischenValidierungseinrichtungenundkoordinierenderEinrichtung

Wenn Peer ReviewVerfahren in einem größerenUmfang durchgeführtwerden, ist es ratsam, dieRechteundPflichtender verschiedenenParteien ineinemschriftlichenVertraggemeinsam festzu-setzen.EinesolcheVereinbarungsolltediefolgendenwichtigenPunkteabdecken:• GegenstandderVereinbarung;• RechteundPflichten,gegenseitigeErwartungen,BedingungenderNetzwerkpartner(undgege-

benenfallsderkoordinierendenEinrichtung);• ZieledesPeerReviewVerfahrens;• InterneVerteilungderAufgabenundVerantwortlichkeiten;• Kosten;• Datenschutz;• MiteinbeziehungvonBehörden(gegebenenfalls);• MaßnahmenplanundVerantwortlichkeitenfürdessenUmsetzung;• Vorgangsweise,Schritte,Zeitplanung.

III.2 AuswahlundEinladungdesPeerTeams

SobalddieEntscheidungüberdieDurchführungeinesPeerReviewsunddieAuswahlderQualitäts-bereiche getroffenwurde, können die Validierungseinrichtung und die koordinierende EinrichtungmitderRekrutierungderPeersbeginnen.Dazukönnenerste InformationenüberdasPeerReviewVerfahrenundüberdieAufgabenderPeersanpotenziellePeersgeschicktwerden.

Die Peers können aus anderen Validierungseinrichtungen oder aus Einrichtungen externer An-spruchsgruppenkommen.DieValidierungseinrichtungenschlagengeeignetePeersvor,PeerskönnensichaberauchaufeigeneInitiativebewerben.GibteskeinekoordinierendeEinrichtungoderistdie-senuramRandeinvolviert,wählendieValidierungseinrichtungendiePeersselbstausundladensieein.DieVerwendungeinesstandardisiertenBewerbungsformularswirdempfohlen.

NebeneinschlägigerKompetenzundErfahrungderPeers istdie zeitlicheVerfügbarkeiteinwichtigerFaktorbeiderZusammenstellungeinesPeerTeams.Dasheißt,nichtnurdieExpertisederPeersmussmitdenzuevaluierendenQualitätsbereichenübereinstimmen,auchdieZeitplänederPeersundVali-dierungseinrichtungenmüssenvereinbarsein.Der/DiePeerKoordinatorInmusssorgfältigausgewähltwerden:Er/SienimmtalsHauptverantwortliche/r fürdenPeerReviewProzesseineSchlüsselrolle imPeer Team ein und ist u.a. zuständig für die Kommunikation und Koordination innerhalb des PeerTeams, für das Zeitmanagement, für Kontakte zur Validierungseinrichtung etc.Wenn ein/e Evaluie-rungsexpertIndenPeerReviewProzessunterstützensoll,mussdiese/rebenfallsrekrutiertwerden.

à EinPeerBewerbungsformularistinderToolboxenthalten.



WeitereInformationenüberdiePeersunddasAuswahlverfahrenfürPeersfindensichinKapitelVIII.

EntwederdieValidierungseinrichtungoderdiekoordinierendeEinrichtungsolltediePeersfrühzeitigüber ihre PflichtenundAufgaben informierenundmit ihneneinenVertrag abschließen.Die Peerssollten deshalb das „Erstinformationsblatt“ der zu evaluierenden Einrichtung erhalten sowie eineZusammenfassungdessen,wasvonihnenwährenddesPeerReviewVerfahrenserwartetwird.DieseInformation kann auch einem formalen Einladungsbrief beigelegt werden. Dieser Einladungsbriefwirdverschickt, sobalddasMatchingvonPeersundzuevaluierendenEinrichtungenabgeschlossenistundeinfixerZeitplanfürdasPeerReviewVerfahrenerstelltwurde.

à EinVertragsformularfürPeersfindetsichinderToolbox.

ZusammenfassendbeinhaltetdieAuswahlundEinladungvonPeers• dieAufforderunganPeerssichmittelsvorgegebenemBewerbungsformularzubewerben,• dieAuswahlvonPeersaufBasisihrerExpertiseundihrMatchingmitdenValidierungseinrichtungen,• optional:dieAuswahleines/einerEvaluierungsexpertIn,der/diedenPeerReviewProzessunterstützt,• dieNominierungeines/einerPeerKoordinatorIn,• dieErstellungeinesZeitplansfürdiePeerReviews,• dieÜbermittlungvonInformationenandiePeersüber1)dasPeerReviewVerfahren,2)diezu

evaluierendenValidierungseinrichtungund3)überihrePflichtenundAufgaben,• denAbschlusseinesVertragsmitdenPeerssowiedasAussendeneineroffiziellenEinladungan

diePeers.

III.3 SelbstevaluierungundSelbstbericht

III.3.1 EmpfehlungenfürdieDurchführungeinerSelbstevaluierung

EineumfassendeAnalysederStärkenundSchwächenistVoraussetzungfüreinPeerReviewVerfah-ren. Eine systematische Selbstevaluierung der für das Peer ReviewVerfahren ausgewähltenQuali-tätsbereichemussdahervordemexternenPeerReviewdurchgeführtwerden.DieErgebnissedieserSelbstevaluierungsindineinemSelbstberichtzudokumentieren.

DieSelbstevaluierungmussaufinstitutionellerEbene(bzw.aufEbenevonStandorten,Abteilungen,Bereichenetc.einer Institution)durchgeführtwerden,kann jedochaufPersonalevaluierungen,v.a.derBeraterInnen/BegleiterInnenundBewerterInnen,aufbauen.AlsUnterstützungderPersonaleva-luierungenkanneininternesPeerReviewVerfahren(kollegialesHospitierenetc.)zwischendenein-zelnenLehrpersoneneingeführtwerden(vgl.Gutknecht-Gmeiner2008,67ff.).

FürdasEuropäischePeerReviewwirdkeinspezifischesSelbstevaluierungsverfahrenvorgegeben.ImGegenteil, Validierungseinrichtungen werden ermutigt, bereits durchgeführte Selbstbewertungenund Evaluierungen heranzuziehen; dadurch kann der Aufwand reduziert werden. Wurde eineSelbstevaluierunginnerhalbeinesangemessenenZeitrahmens(biszumaximalzweiJahren)vordemPeerReviewdurchgeführt,könnenderenErgebnisseindenSelbstberichteinfließen.FürQualitätsbe-reiche oder Kriterien, die noch nicht berücksichtigt wurden, müssen zusätzliche Evaluierungendurchgeführtwerden.



III.3.2 QualitätskriterienfürdieSelbstevaluierung

DieSelbstevaluierungkannaufunterschiedlicheArtundWeisedurchgeführtwerden.Validierungs-einrichtungenkönnenaufderBasisihrerInteressen,BedürfnisseundErfahrungeneinfürsiepassen-desVerfahrenwählen.EswirdinjedemFallempfohlen,einklaresundstrukturiertesVerfahrenan-zuwenden, das sich auf die relevanten Qualitätsbereiche und Evaluierungsfragen konzentriert.GrundlegendeVoraussetzungisteineSelbstverpflichtungseitensdesManagementsundderMitarbei-terInnen.WeitersmüssendieAufgabenundVerantwortlichkeitenfüralleBeteiligtentransparentsein.

DasVerfahrensollte• intransparenterundfairerWeisedurchgeführtwerden,• allewichtigenBetroffenenundBeteiligteneinbeziehen,• geeigneteEvaluierungsmethodeneinsetzenund• einenangemessenenZugangzuInformationenundErgebnissensicherstellen.

DieDurchführbarkeit der Selbstevaluierung in Bezug auf Zeit undRessourcenmuss vonBeginn angewährleistetsein.

III.3.3 Selbstevaluierungsprofil:BewertenvonStärkenundSchwächen

WährendderSelbstevaluierungsindStärkenundSchwächenindenzuevaluierendenQualitätsberei-chen zu identifizieren. Schritte zur Verbesserung sollten im Selbstbericht ebenfalls diskutiert undaufgezeigtwerden. Eine SWOT Analyse ist beispielsweise ein bekanntes, einfaches und effizientesVerfahren, umein Stärken-Schwächen-Profil der gewähltenQualitätsbereiche zu erstellen. StärkenundSchwächensolltenaufderEbenederQualitätsbereiche(vgl.Kap.VII)identifiziertwerden.

III.3.4 Selbstbericht

DerSelbstberichtistdaszentraleDokumentdesPeerReviews:ErsollteallefürdieVorbereitungdesPeerReviewserforderlichenInformationenbeinhalten.ErmussdeshalballeThemenbeinhalten,diewährenddesPeerReviewsevaluiertwerdensollen.

WährenddieValidierungseinrichtungendieMethodenundVerfahrenzurSelbstevaluierungfreiwäh-len können, sollteder Selbstbericht standardisiert undeinheitlich gestaltet sein, umdieVergleich-barkeit zwischendenPeerReviewszugewährleisten.DieErgebnissederSelbstevaluierungmüssenklar,prägnantundaussagekräftigbeschriebensein.AlleBelege,diedieimSelbstberichtgetroffenenBewertungenstützen,solltenineinemAnhangdesBerichtsverfügbarsein.

à DasFormularfürdenSelbstberichtistinderToolboxenthalten.

DerersteTeildesBerichts ist eineAktualisierungdesErstinformationsblatts,das sämtliche fürdasPeer Review Verfahren relevanten Daten enthält. Der zweite Teil umfasst eine Beschreibung derValidierungseinrichtungundihresBildungsangebots,dasLeitbild,statistischeDatenundInformatio-nenzurOrganisation.TeildreigibteineÜbersichtüberdasbestehendeQualitätsmanagement.Dervierte Teil ist optional: hier kann der Selbstevaluierungsprozess näher beschrieben und reflektiertwerden.ImfünftenTeilwerdendieErgebnissederSelbstevaluierungindengewähltenQualitätsbe-reichendargestellt.DieseDarstellungsollteinknapperFormdieBewertungderStärkenundSchwä-chenundspezielleEvaluierungsfragestellungenfürdiePeersbeinhalten.DieFormulierungspeziellerFragestellungenhilftdenPeers,dasPeerReviewVerfahrenaufjeneThemenauszurichten,diefürdieValidierungseinrichtung relevant sind. Zusätzliche Unterlagen können in einem Anhang beigelegtwerden.



III.4 VorbereitungdesPeerBesuchs

III.4.1 AufgabenderValidierungseinrichtung

NachdemderZeitpunktdesPeerBesuchsfestgelegtistunddiePeersrekrutiertundeingeladensind,muss der/die Peer ReviewOrganisatorIn dafür sorgen, dass die Peers den Selbstbericht sowie alleerforderlichen Unterlagen erhalten. Damit sich die Peers entsprechend vorbereiten können,mussdieszumindesteinenMonatvordemPeerBesucherfolgen.

III.4.1.1 Empfohlen:TreffenzwischenValidierungseinrichtungundPeerTeam

DieOrganisationeines Treffens zwischenderValidierungseinrichtungunddemPeer TeamzurKlä-rung von Fragen der Peers und zur gemeinsamenAbstimmungder Peer BesuchAgendawird aus-drücklichempfohlen.DabeikönnendieEvaluierungsfragestellungenfürdiePeerspräzisiertunddieEvaluierungsmethoden sowiedieGruppender zubefragendenBetroffenenundBeteiligten festge-legt werden. Auf Anfrage können den Peers zusätzliche Informationen gegeben werden. ErgebnisdiesesTreffensisteinedetaillierteAgendafürdenPeerBesuch.

III.4.1.2 ErstellenderPeerBesuchAgenda

Vondem/derPeerReviewOrganisatorInisteinedetaillierteundrealistischeAgenda,d.h.einAblauf-planfürdenPeerBesuchzuerstellen.DamitderAgendaauchdiezumEinsatzkommendenEvaluie-rungsmethodensowiedieEinbeziehungvonBetroffenenundBeteiligtenfestgelegtwerden,isteineUnterstützung durch den/die EvaluierungsexpertIn und/oder die Peers notwendig. Eine sorgfältiggeplanteAgendaisteinegrundlegendeVoraussetzungfüreinenerfolgreichenPeerBesuch.

à BeispielefürPeerBesuchAblaufplänefindensichinderToolbox.

III.4.1.3 OrganisationdesPeerBesuchsvorOrt

Die Organisation des Peer Besuchs vor Ort wird von dem/der Peer Review OrganisatorIndurchgeführt.Er/SieistfürdenreibungslosenAblaufdesBesuchsverantwortlich.

ImRahmenderOrganisationvorOrtisteserforderlich,• InterviewteilnehmerInnenauszuwählen,• RäumlichkeitenunddieerforderlicheAusstattung(Flipcharts,Laptops,Beameretc.)zureservieren,• einenRaumplanderBildungseinrichtunganzufertigenundWegweiseranzubringen(optional),• InterviewteilnehmerInneneinzuladen,• andereinvolvierteBetroffeneundBeteiligtezuinformierenundeinzuladen,• ErfrischungenundVerpflegungvorzubereiten,• denRundgangamStandortzuorganisierenetc.

DieRäumlichkeitenmüssengeeignetundfreivonjeglichenStörungensein.FürdasPeerTeamsollteeineigenerRaumfürzwischenzeitlicheArbeitssitzungenwährenddesTagesreserviertsein.Eingrö-ßerer Raum sollte für das Auftaktgespräch (Frage-und-Antwort-Sitzung, Begrüßung) und das ab-schließende Treffen zwischen VertreterInnen der Validierungseinrichtung und dem Peer Team zurVerfügungstehen.



III.4.2 AufgabenderPeers

III.4.2.1 VorbereitungaufdasPeerReview

UmdasReviewvorzubereiten,müssenPeers• dasErstinformationsblattunddenSelbstberichtlesenundanalysieren(und,fallserforderlich,um

zusätzlicheInformationenersuchen),• aneinemVorbereitungstreffenmitderValidierungseinrichtungteilnehmen(empfohlen),• einePeerSchulungbesuchen,• MeinungenüberdenInhaltdesSelbstberichtsinnerhalbdesPeerTeamsaustauschen,sichauf

EvaluierungsthemenfürdasPeerRevieweinigen,• eineAgendafürdenPeerBesuchinKooperationmitdem/derPeerReviewOrganisatorInerstellen,• aneinemvorbereitendenTreffenderPeersteilnehmen(amTagbzw.AbendvordemPeerBesuch),• InterviewfragenundKriterienfürdieBeobachtungvorbereiten.

III.4.2.2 PeerSchulungsprogramm

VordemPeerReviewsolltendiePeersein„PeerSchulungsprogramm“,dassieaufdieArbeitalsex-terneEvaluatorInnenvorbereitet,durchlaufen(vgl.Kap.VIII.7).

III.4.2.3 VorbereitendesTreffenderPeersundVorbereitungstreffenmitderValidierungseinrichtung

Esistwichtig,dasssichdieMitgliederdesPeerTeamsvordemPeerBesuchtreffen,umsichkennenzulernenunddenBesuchgemeinsamvorzubereiten.DaserleichtertdieTeambildungunderhöhtdieEffizienz der Zusammenarbeit während des Peer Reviews. Peers sollten vor diesem Treffen denSelbstbericht gelesen und analysiert haben, um erste Eindrücke auszutauschen sowie spezifischeFragenundThemenfürdenPeerBesuchzudiskutieren.Fallsmöglich,kanndiesesTreffenamTagvordemPeerBesuchstattfinden.

DarüberhinauskönnendiePeersauchVertreterInnenderzuevaluierendenValidierungseinrichtungtreffen(vgl.Kap. III.4.1.1oben).DieMöglichkeiteiner„Frage-und-Antwort-Sitzung“mitderValidie-rungseinrichtung, die üblicherweise durch den/die Peer Review OrganisatorIn repräsentiert wird,kannwesentlichzurVerbesserungdesReviewProzessesbeitragen.

FüreineeffizienteOrganisationderVorbereitungsaktivitätenkönnenbeideTreffenauchaneinunddemselbenTag stattfindenund,wennmöglich,mitderPeer Schulungverbunden sein. Im IdealfallbesuchenalleMitgliederdesPeerTeamsdiePräsenzphasendesPeerSchulungsprogrammsgemein-sam.WährendodernachderSchulungtrifftsichder/diePeerReviewOrganisatorIn (undeventuellauch andere verantwortliche VertreterInnen der Validierungseinrichtung) mit den Peers. Im An-schlussandieDiskussionmitdem/derVertreterInbzw.denVertreterInnenderValidierungseinrich-tungfindetdasTreffendesPeerTeamsstatt.



Abb.5:AufgabenundVerantwortlichkeiteninderVorbereitungdesPeerReviewsPeerKoordinatorInKoordiniertundvertrittdasPeerTeam

PeerReviewOrganisatorInKoordiniertundvertrittdieValidierungseinrichtung

PeerTeam• PeerSchulung• AnalysedesSelbstberichts• AustauschzwischenPeers(E-mail,

Telefon,persönlichesTreffen)

Validierungseinrichtung• Selbstevaluation• Selbstbericht

WeitereAufgaben:• VerträgemitValidierungseinrich-tung

• AnforderungvonzusätzlichenIn-formationenundUnterlagen

• VorbereitungstreffenmitValidie-rungseinrichtung(somöglich)

• VorschlagfürPeerBesuchAgenda• DefinitionvonInterviewgrup-pen/Beobachtungsaufgaben

• OrganisationeinesvorbereitendenTreffensderPeers(amTag/AbendvordemPeerBe-suchbzw.früher,wennmöglich)

WeitereAufgaben• VerträgemitPeers• ÜbermittlungvonUnterlagen{Selbstbe-richt,andereUnterlagen,dievondenPeersangefordertwerden)

• InformationanalleKollegInnenundan-dereBetroffeneundBeteiligteüberdasPeerReviewimVoraus• VorbereitungstreffenmitPeers(fallsmöglich)

• RückmeldungzurPeerBesuchAgenda• ErstellungeinesdetailliertenZeit-undAblaufplansfürdenBesuch

• EinladungvonInterviewgruppen/PlanenderBeobachtung

• VorbereitungvorOrt(Räumlichkeiten,Ausstattungetc.

KoordinierendeEinrichtungBegleitend:MonitoringundUnterstützungderValidierungseinrichtungen• “Masterplan”(basierendaufdenErstinformationsblätter)• BeurteilungderPeerBewerbungen• ZusammensetzungderPeerTeams• OrganisationderPeerSchulungen


25

IV EuropäischesPeerReviewVerfahren–PeerBesuch(Phase2

IV.1 WieläufteinPeerBesuchab?

WährenddesBesuchs führendiePeerseine kurzeundverdichteteEvaluierungdurch,die sichaufjeneQualitätsbereichekonzentriert,diedieValidierungseinrichtungausgewählthat.DieGrundlagedafürbildetdieAnalysedeszuvorerstelltenSelbstberichtsundderweiterenrelevantenDokumente.WährenddesPeerBesuchsanalysierendiePeersdieErgebnissederSelbstevaluierungaufihreRich-tigkeitundführenihreeigeneEvaluierungdurch.DasbedeutetinderRegeldieErhebungvonzusätz-lichenDaten.

VerschiedeneEvaluierungsmethodenkönnenangewandtwerden.NebenderAnalysedervorhande-nenDokumente(diewährenddesBesuchsumweitereschriftlicheQuellenergänztwerdenkönnen)gehörenInterviewsund(Fokus-)GruppendiskussionensowieBeobachtungenzudengängigstenMe-thoden.Die erhobenenDatenwerden anschließend von den Peers analysiert und diskutiert. ErsteRückmeldungenwerdenderBerufsbildungseinrichtungamEndedesPeerBesuchsgegeben.JenachZiel des Peer Reviews kann der Peer Besuch auch für einen intensiveren Austausch zwischen denPeers und den VertreterInnen der Berufsbildungseinrichtung genützt werden, was auch ElementeeinerPeer-Beratungeinschließenkann.

IV.2 Datenerhebung

DiegängigstenMethodenderDatenerhebungsind:

IV.2.1 Gruppen-undEinzelinterviews

InterviewsgehörenzudenamhäufigstenverwendetenMethodenimRahmenvonPeerReviews.Zielist,möglichstvieleInformationenvondenverschiedenenGruppenanBetroffenenundBeteiligtenzuerhalten.InterviewskönneneinzelnoderinGruppen(üblicherweisevonfünfbissechs,maximalbiszuzehnPersonen)durchgeführtwerden.Die Interviewgruppensind fürgewöhnlicheherhomogen(Fokusgruppen), es können aber auch Gruppeninterviews mit VertreterInnen verschiedener An-spruchsgruppendurchgeführtwerden.FürdiewichtigstenGruppenvonBetroffenenundBeteiligten,wiez.B.SchülerInnenundLehrerInnen,könnenzweiunabhängigeInterviewgruppenorganisiertwer-den,umeinmöglichstumfassendesFeedbackzuerhalten.

Wersollteinterviewtwerden?

VertreterInnen aller relevantenGruppen vonBetroffenenundBeteiligten sollten interviewtwerden.WelcheGruppeneinbezogenwerden,hängtvondem/denzuevaluierendenQualitätsbereich(en)ab.DieValidierungseinrichtungwählt die InterviewpartnerInnen aus.Dabei kann sie von den Peers unddem/derEvaluierungsexpertInunterstütztwerden.InterviewteilnehmerInnensindfürgewöhnlich• KandidatInnen• MitarbeiterInnen(BeraterInnen/BegleiterInnen,BewerterInnen,administrativesPersonal),• ManagerInnen(Geschäftsführung,AbteilungsleiterInnenetc.),• ehemaligeKandidatInnen• andereAnspruchsgruppen,wiebeispielsweiseVertreterInnenvonUnternehmen,Bildungsein-

richtungen,Kooperationspartnern,Sozialpartnern,Arbeitsmarkteinrichtungen,Behördenetc.

DieEinladungzudenInterviewgruppenliegtinderVerantwortungderValidierungseinrichtung,die–zurGewährleistungderAusgewogenheit–einerepräsentativeAuswahlanInterviewpartnerInnenfür


26

jedeGruppezutreffenhat.DiePeerssolltenklareVorgabenfürdieZusammensetzungderInter-viewgruppenmachenunddieEinhaltungdieserVorgabenüberprüfen.BeiderZusammenstellungderInterviewgruppensolltebesondersaufsozialeAspekte,diedieOffenheitderInterviewteilneh-merInnennegativbeeinflussenkönnten,wiez.B.formelleundinformelleHierarchien,bestehendeKonflikte,verschiedeneInteressenetc.,Rücksichtgenommenwerden.

à FormularefürInterviewProtokolleundAnalysenfürdiePeersfindensichinderToolbox.

IV.2.2 Rundgang

BeieinemRundgangvorOrtbewertetdasgesamtePeerTeamodereinPeerTandem(vorzugsweiseinklusivedes/derPeerKoordinatorInalsVerantwortliche/r fürdasVerfassendesPeerBerichts)dieInfrastrukturunddieAusstattung.DarüberhinauskönnenwährenddiesesRundgangsauchinformel-leInformationengesammeltwerden.

IV.2.3 PeerBeobachtungen(inallenValidierungsphasen)

WährenddesPeerBesuchskönnenauchBeobachtungendurchgeführtwerden.Diesemüssensehrgutvorbereitetwerden.DasZiel/dieZieleunddasThemaderBeobachtungmüssenimVorauseben-sofestgelegtwerden(wennmöglichgemeinsammitdenzubeobachtendenPersonen)wieeinesys-tematischeVorgangsweisefürdieDurchführungderAufzeichnungen.InderAuswertungmüssendieEvaluierungendereinzelnenSituationensoaggregiertwerden,dasssichdieAussagenaufdiegesam-teEinrichtungundnichtaufeinzelneBeraterInnen/BegleiterInnen/BewerterInnenbeziehen.2

BeobachtungenvonspezifischenBeratungs-oderBewertungssituationenkönnenmitdemRundgangverbundenwerden,derdannnatürlichmehrZeitinAnspruchnimmt.

IV.2.4 AndereMethoden

ZahlreicheMethodenkönnenangewandtwerden,umdieZieledesPeerReviewszuerreichen.Ne-bendenobenbeschriebenengängigenMethodenkönnenauchandereVerfahren,wiebeispielsweise(kurze) Fragebogenerhebungen, Erhebung und Analyse relevanter Dokumente, "Beschattung" voneinzelnenPersonenoderKlassen(Shadowing),Foto-,Video-undBildevaluierungen,Rollenspieleetc.eingesetztwerden.

IV.3 Datenanalyse

Eine vorläufige Analyse und Bewertung der Qualitätsbereiche muss von den Peers auf Basis desSelbstberichtsvordemPeerBesuchvorgenommenwerden.WährenddesBesuchsempfiehltessich,dieErgebnisseunmittelbarnachdeneinzelnenSitzungenundAktivitätenaufzuarbeitenundzudisku-tieren.DiePeers solltenabernicht voreiligeRückschlüsse ziehen, sonderndieDatenlage sorgfältigabwägen und zusätzliche Informationen einholen, sofern die Ergebnisse nicht eindeutig sind. EinekommunikativeValidierungderErgebnisse−wennmöglichmitKandidatInnenalsderZielgruppevonValidierung, und/odermit BeraterInnen/BewerterInnenunddem verantwortlichenManagement−kanndazubeitragen,getroffeneEinschätzungenzuüberprüfenundeinenumfassenderenEindruckzugewinnen.

InderPeerBesuchAgendamussausreichendZeitfüreinenwiederholtenMeinungsaustauschinner-halbderPeerTandemssowiefürdieendgültigeAnalysederErgebnisseimgesamtenPeerTeamre-serviertwerden,umdieerhobenen Informationen inangemessenerWeiseverdichten, analysierenunddiskutierenzukönnen.

2SolltenernsthafteProblemesichtbarwerden,dieeine/neinzelne/nLehrerInbetreffen,solltedem/derbetref-fendenLehrerIn(undeventuellauchdem/derDirektorIn)direkteineRückmeldunggegebenwerden,diessolltejedochnichtimPeerReviewBerichterwähntwerden.


27

EuropäischesPeerReviewVerfahreninderPraxis:GenügendZeitfürdieAnalyseeinplanen

DieErfahrungderPeers indenPilotphasendesderPeerReviewProjektehat gezeigt, dass ausrei-chendZeitfürdieAnalyseeingeplantwerdenmuss:WenneinePeerBesuchAgendaprimäraufdieErhebunggroßerDatenmengenabzielt,bleibtzuwenigZeitfürdieAnalyseunddieAuswertungdie-serDaten.DiePeersfühlensichüberfordert,gestresstundfrustriertundhabenSchwierigkeitenbeiderendgültigenBewertung.EsmussdahereineBalancegefundenwerdenzwischenderAnforderungeinerumfangreichenDatenerhebungbeiverschiedenenBeteiligtenundBetroffen(vgl.„Triangulati-on“unten)undderNotwendigkeiteinergründlichenAnalyseundDiskussionderErgebnisse.

IV.4 BewertungundFeedback

ImMittelpunktdesPeerReviewsstehtdieBewertung,d.h.dieprofessionelleBeurteilungdurchdiePeers. Dabei ist es erforderlich, ausreichend Zeit für die herausfordernde Aufgabe zu reservieren,Ergebnisse herauszufiltern und zu verdichten, sie auf Zuverlässigkeit und Relevanz zu prüfen, ver-schiedenePerspektivenundMeinungenimPeerTeamzudiskutierensowieabschließendgemeinsa-meSchlussfolgerungenzuziehen.

EineabschließendeBesprechungderPeerssolltevorderFeedback-SitzungmitderValidierungsein-richtung durchgeführt werden. In dieser Besprechung sollten die erhobenen Daten durchgesehenundauf ihreRelevanzundRepräsentativitätüberprüftwerden.WichtigeErgebnissemüssenausge-wähltundaufeinemFlipchartoderineinerPowerpoint-Präsentationvisualisiertwerden,sodasssiedenVertreterInnenderBildungseinrichtungwährendderFeedback-Sitzungpräsentiertwerdenkön-nen.WährendderDiskussionderPeers solltendie verschiedenenStandpunktedereinzelnenPeerTeamMitgliederberücksichtigtwerden.Eswirdempfohlen,dassPeers zugemeinsamenSchlüssenkommen; unterschiedlicheMeinungen sollten nur dann wiedergegeben werden, wenn keine Eini-gungerzieltwerdenkonnte.AlleBewertungenmüssenbegründetundbelegtwerden.

à EinBewertungsformularfürdieQualitätsbereicheistinderToolboxenthalten.

IV.4.1 MündlichesFeedback

Ein sehr wichtiges Element im Peer Review Verfahren ist die am Ende stattfindende Feedback-Sitzung,beiderdiePeers ihreErgebnisse(undeventuellauch ihreEmpfehlungen)denVertreterIn-nenderevaluiertenValidierungseinrichtungmitteilen.DasermöglichtaucheinekommunikativeVa-lidierung–direkteRückmeldungenseitensderEinrichtung,einschließlicheinerKlärungvonMissver-ständnissen oder irrelevanten Schlüssen – und einenMeinungsaustausch zwischen den Peers unddenVertreterInnenderevaluiertenEinrichtung.

Das Feedback kann eher deskriptiv sein, d.h. sich eher auf dieWiderspiegelung erhobener Datenbeschränken,eskannaberaucheineklarekollegialeBewertungvonStärkenundSchwächenbein-halten.LetztereistfürgewöhnlichdasZieleinesEuropäischenPeerReviews.3

DasGebenundErhaltenvonFeedbackisteineschwierigeAufgabe.EinerseitsmüssensichdiePeersihrer Verantwortung bewusst sein, der Validierungseinrichtung ein nützliches und kritisches Feed-backineinerfreundlichenundprofessionellenArtundWeisezugeben.Werdenwährenddermünd-lichenFeedback-SitzungamEndedesPeerBesuchsBewertungengeäußert,müssendiesegutvorbe-reitet undmit Sorgfalt formuliert werden, sodass sie nicht als Angriff empfundenwerden und zuKonfliktenführen.

3BeschreibendesFeedbacksolldanngegebenwerden,wenn1)dieValidierungseinrichtungdiesexplizitwünschtoder2)kulturelleEinstellungengegenüberFeedbackund/oderdasFehlenjeglicherErfahrungbzw.dasVorhandenseinvonnegativerErfahrungseitensderValidierungseinrichtungmitexternenEvaluierungeneinevorsichtigeVorgangsweiseerfordert.


28

Die VertreterInnen der Validierungseinrichtung sollten andererseits nicht in eine Verteidigungshal-tung verfallen oder die Ergebnisse zu widerlegen versuchen, sondern das Feedback als wertvolleInformation in ihrem Streben nach Verbesserung und Entwicklung betrachten. Ziel diesesmündli-chen Austausches sollte es daher sein, zu einem gemeinsamen Verständnis über die Inhalte desFeedbackszukommen.

Aus diesem Grund sind sowohl Peers als auch die Validierungseinrichtung aufgefordert, mit demFeedbackkonstruktivumzugehen.Dabei isteshilfreich,wenndasPersonalderValidierungseinrich-tung über entsprechendes Selbstvertrauen verfügt und auch Kritik akzeptieren kann. Gleichzeitigdürfen die Peers keine Pauschalurteile aussprechen oder sich auf bestimmte Personen beziehen.Eine sachliche Sprache sollte von allen am Review Verfahren Beteiligten verwendet werden, Be-schreibungensolltensoklarwiemöglichundnichtabstraktsein,diePeerssolltensichaufdasVer-haltenundnichtaufangenommenepersönlicheEigenschaftenkonzentrieren,positiveAspektesoll-ten ebensowie negative erwähntwerden, die Beurteilungen und Schlussfolgerungenmüssen sichaufFaktenundBeobachtungenstützen.

à EineChecklistfürPeersfürreflexivesundkonstruktivesFeedbackistinderToolboxenthalten(vgl.GrundlegendeRegelnfürPeers).

IV.4.2 EndgültigeBewertung

DieendgültigeBewertungsollteerstimAnschlussandieFeedback-Sitzung(inklusivederkommuni-kativenValidierung)erfolgen,sodassStellungnahmenundKommentarevonderValidierungseinrich-tungberücksichtigtwerdenkönnen.DieBewertungunddieSchlussfolgerungenwerdenindenPeerReviewBerichtaufgenommen.

IV.4.3 Empfehlungen

Empfehlungensind inderRegelTeil vonEvaluierungsverfahren. ImEuropäischenPeerReviewver-weisendie Peers imPeerReviewBericht aufVerbesserungspotenziale, alsHinweis für dieValidie-rungseinrichtung,dassMaßnahmeninjenenBereichenfürnötigerachtetwerden.

ÜberdieseHinweisehinausgehendeEmpfehlungensolltenvondenPeersnurdanngegebenwerden,wennsiedarumgebetenwerden.WennvonSeitenderBildungseinrichtungkeineEmpfehlungenvondenPeersgewünschtwerden,solltediesvordemPeerReviewdargelegtwerden–ambestenwenninderVorbereitungsphasedieAufgabenderPeersdefiniertwerdenoderzumindestrechtzeitigvorderFeedback-Sitzung.

WerdenhingegenEmpfehlungengewünscht,könnendiesewährenddesPeerBesuchsineinemoffe-nenMeinungsaustauschzwischendenPeersundderValidierungseinrichtungpräsentiertunddisku-tiertwerden.EinesolcheDiskussionsollteaufdengegenseitigenMeinungsaustauschunddasLernenvonguter/besterPraxisabzielen.

IV.4.4 PeerBeratung

Wiebereitserwähnt, isteinnützlichesFeedback fürdieQualitätsverbesserungunddasgemeinsameLernenimPeerReviewProzessausschlaggebend.FeedbackkannausschließlichineineRichtunggege-benwerden,kannsichaberauchzueinemDialogzwischendenPeersunddenVertreterInnendereva-luiertenEinrichtungentwickeln. InderDiskussionumStärkenundSchwächenkönnendiePeersauchRatschläge zu bestimmten Themen erteilen. Allerdingsmuss diesmit Bedacht gemachtwerden:DiePeerssolltensichaufdieSituation inderevaluiertenEinrichtungkonzentrierenundnichtversuchen,diesezuüberzeugen,erfolgreicheLösungenihrerHerkunftsinstitutionenzuübernehmen.PeerssolltenalsowiedernurdanndieRollevonBeraterInneneinnehmen,wenndiesvonSeitenderValidierungsein-richtungexplizitgewünschtwird.


29

IV.4.5 Waspassiert,wenndiePeerszuwichtigenErgebnissenkommen,dienichtverlangtwurden?

Obwohl das Peer Review primär auf die ausgewählten Qualitätsbereiche ausgerichtet sein sollte,kannesvorkommen,dasswichtigeErkenntnissederPeersAspekteaußerhalbdieserBereichebetref-fen.IndiesemFallsolltendiePeersunddieValidierungseinrichtunggemeinsamentscheiden,wiemitdiesenErgebnissenumzugehenist.ZwarsolltesowenigwiemöglichvondenvereinbartenThemenundFragestellungenabgewichenwerden,wichtigeRückmeldungen,dieaußerhalbdesursprünglichfestgelegtenSpektrumsliegen,solltenjedochnichtautomatischverworfenwerden.Solchezusätzli-chenErgebnissekönnennurmündlichpräsentiertwerden(z.B.inderFeedback-Sitzung)oder,wennalleParteieneinverstandensind,auchalsZusatzimPeerReviewBerichtaufscheinen.

IV.5 Qualitätsstandardserfüllen

IV.5.1 Triangulation4

Der Einsatz verschiedenerMethodenund Informationsquellen zur Erhebung vonDaten erhöht dieQualitätderEvaluierung inHinblickaufObjektivität, ZuverlässigkeitundValidität.DieBerücksichti-gung der verschiedenen Standpunkte unterschiedlicher Anspruchsgruppen während des Peer Be-suchsermöglichtesdenPeers,einpräziseresundganzheitlicheresBildzuerlangen.

IV.5.2 KommunikativeValidierung

Auch die kommunikative Validierung wird in der qualitativen Sozialforschung angewandt, um dieValidität von Ergebnissen zu erhöhen: Feedback zu Ergebnissen wird dabei systematisch von ver-schiedenenGruppenvonBetroffenenundBeteiligteneingeholt,umdieerhobenenDatenundderenInterpretationzuüberprüfen.EinekommunikativeValidierungkannjederzeitimPeerReviewProzessdurchgeführtwerden, zumeist jedoch gegen Ende des Besuchs, z.B. kurz vor,meistwährend oderauchnachderFeedback-SitzungmitderValidierungseinrichtung.

IV.5.3 GrundlegendeRegelnfürPeers

ProfessionellesVerhaltenderPeersisteinewesentlicheQualitätsanforderung.Siemüsseneinekriti-scheHaltungeinnehmen,gleichzeitigjedochoffenundderzuevaluierendenEinrichtunggegenüberwohlwollendeingestelltsein.

à EineListemitGrundlegendenRegelnfürPeersistinderToolboxenthalten.

IV.5.4 Zeitmanagement

Ein gutes Zeitmanagement ist eine wesentliche Voraussetzung für den Erfolg eines Peer Reviews.Eine realistischePeerReviewAgenda istunabdingbar,daAktivitäten fürgewöhnlich längerdauernalsgeplant.WenndieAgendazudichtist,führenbereitskleineVerzögerungenzugroßenProblemenimAblauf(dieZeitfürInterviewswirdverringert,Beobachtungenbeginnennichtrechtzeitig,zeitlicheVerzögerungenhäufensichan,Aktivitätenmüssenkurzfristigverschobenwerdenetc.).AblaufplänesolltendaherauchZeitpufferfürVerzögerungen(wiebeispielsweiselängerePausen)inkludieren.

Während des Peer Besuchs ist es unbedingt notwendig, den Zeitplan einzuhalten. Dem/Der PeerReviewOrganisatorInobliegtdieOrganisationvorOrt.Er/Siehatdafürzusorgen,dassInterviewteil-nehmerInnenanwesend sindbzw.die geplantenBeobachtungssituationen stattfinden, er/siemussdie abschließende Feedback-Sitzung organisieren, Verpflegung und Transportmöglichkeiten (fallserforderlich)währenddesgesamtenPeerBesuchszurVerfügungstellen.

NichtzuletztistaberauchvondenPeerseinhohesMaßanDisziplinzurEinhaltungderangegebenen

4DieMiteinbeziehungverschiedenerMethodenundQuellenwirdinderSozialforschungalsTriangulationbe-zeichnet.


30

Zeitengefordert.Der/DiePeerKoordinatorIn(der/dievom/vonderEvaluierungsexpertInunterstütztwerden kann) ist hauptverantwortlich für das Zeitmanagement innerhalb des Peer Teams. Er/Siemuss sicherstellen, dass der zeitliche Rahmen der Peer Besuch Agenda eingehaltenwird, dass diePeerspünktlich sind, dassdieDiskussionssitzungen imPeer Teamnicht zu langedauernunddass,solltenProblemeauftauchen,Entscheidungengetroffenwerden,wiedie restlicheZeitbestmöglichgenutztwerdenkann.

IV.6 DauereinesPeerBesuchs

DieDauereinesPeerBesuchshängtvonderGrößederValidierungseinrichtung,derAnzahlderQua-litätsbereicheunddervorhandenenZeitab.Esempfiehltsich,eherkürzereBesuchezuplanen,da1)PeerBesuchebiszueinemgewissenGraddieRoutine inderValidierungseinrichtungstörenund2)Peersnicht füreinen längerenZeitraumvon ihren Institutionenabwesend sein können. InValidie-rungseinrichtungenwerdenPeerBesuchevon1,5bis2Tagenempfohlen

IV.7 ElementeeinesPeerBesuchs

à BeispielefürPeerBesuchAblaufpläne(AgendensindinderToolboxenthalten.

IV.7.1 Optional:„Frage-und-Antwort-Sitzung“

SolltendiePeersnochInformationenoderErklärungenvonderValidierungseinrichtungbenötigen–z.B. inBezugaufdenSelbstbericht, die Evaluierungsthemenoder andere relevantenAspekte–, sosollte Zeit für eine „Frage-und-Antwort-Sitzung“mit dem/der PeerReviewOrganisatorInund/oderanderenVertreterInnenderBildungseinrichtungreserviertwerden.

IdealerweisefindetdieseSitzungvordemPeerReviewstatt,entwederimRahmendesTreffenszwi-schendenPeersundderValidierungseinrichtung,beidemdieAgendabesprochenwird,oder,alter-nativdazu,vorbzw.nachdemPeerTreffenamAbendvordemPeerBesuch(sofernesamStandortderBildungseinrichtungoderindessenNäheabgehaltenwird).Wenndiesnichtmöglichist,solltezuBeginn des Peer Besuchs, z.B. im Rahmen der Begrüßungssitzung, Zeit für Fragen und Antwortenreserviertwerden.

IV.7.2 BegrüßungundersteSitzungmitderValidierungseinrichtung

Der/DiePeerReviewOrganisatorInbegrüßtdasPeerTeamundvergewissertsich,dassalleorganisa-torischenVorbereitungendurchgeführtwurden.DiePeersstellensichdenVertreterInnenderVali-dierungseinrichtungvor.Der/DiePeerReviewOrganisatorIn informiertkurzüberdieZieledesPeerReviewProzessessowieüberdieZeitplanung.GeschäftsführungundManagementkönnenebenfallsanwesendsein,umdiePeerswillkommenzuheißen.

IV.7.3 Interviews,Beobachtungen,Vor-Ort-BesucheundAnalysenimPeerTandem

InterviewteilnehmerInnen (z.B. SchülerInnen, ehemalige SchülerInnen, LehrerInnen,VertreterInnenanderer interner und/oder externer Anspruchsgruppen etc.) werden in Gruppen von in der RegelrundfünfPersonenca.45bis60Minutenbefragt.EssolltennichtmehralsfünfbissechsFragenproGruppevorbereitetwerden.GibtesmehrTeilnehmerInnenproGruppe,solltedieAnzahlderInter-viewfragen reduziertwerden, da sonst die Gefahr besteht, dass aufgrund der zeitlichen VorgabennichtjedePersonalleFragenbeantwortenkann.

UmdenreibungslosenAblaufderverschiedenenAktivitätenwährenddesPeerBesuchszusichern,istesratsam,dieOrganisationderInterviewsundderanderenAktivitätenzuplanenundeineÜber-sichtanzufertigen,dieanzeigt,wervonwem,wannundwointerviewtbzw.beobachtetwird.DieseÜbersichtstabellekannauchderPeerBesuchAgendabeigelegtoderindieseintegriertwerden.


31

Wenn Beobachtungen durchgeführt werden, sollten Beobachtungsleitfäden ausgefüllt, analysiertundamEndederBeobachtungsphasezusammengefasstwerden.

Für die Analyse der Interviews/Beobachtungenmuss ausreichend Zeit eingeplantwerden. Ein ein-stündiges Interviewerfordert zumindesteinehalbstündigeErstanalyse.Pausenmüssenebensobe-rücksichtigtwerden,umeinerealistischeAgendaaufzustellen.

IV.7.3.1 TreffendesPeerTeams,umeineersteinterneAnalysederErgebnissedurchzuführen

DiegemeinsameAnalysephasenütztdasPeerTeam,umeinenÜberblicküberdieHauptergebnissezuerhaltenunddieabschließendeFeedback-SitzungmitderValidierungseinrichtungvorzubereiten.Dabei findeteinestrukturierteDiskussionstatt,dievondem/derPeerKoordinatorInoderdem/derEvaluierungsexpertIngeleitetwird.EswirdeinpräzisesundaussagekräftigesFeedbackfürlehrendesund nicht-lehrendes Personal sowie für dasManagement vorbereitet. Bei einem zweitägigen PeerBesuchsolltenzumindestdreiStundenfürdieseAufgabereserviertwerden.

IV.7.4 Feedback-Sitzung

Wiebereitserwähnt, istdasabschließendeTreffenamEndedesPeerBesuchsvonentscheidenderBedeutungfürdasPeerReview.Hauptzweck istes,derValidierungseinrichtungFeedbackzugebenunddieErgebnissemündlichzuvalidieren.AllePeerssolltenandieserFeedback-Sitzungteilnehmen.SiekönnenalleaktivFeedbackgeben(einePersonnachderanderen)odereswirdeinePersonaus-gewählt,diestellvertretendfüralledasFeedbackgibt.Fürgewöhnlichistdiesder/diePeerKoordina-torIn.Der/DieEvaluierungsexpertInkanndieseabschließendeSitzungleiten.

SeitensderValidierungseinrichtungsolltezumindestdasManagementundder/diePeerReviewOr-ganisatorInandiesemabschließendenTreffenteilnehmen.AbhängigvonderinternenStrategiederBildungseinrichtung kann der TeilnehmerInnenkreis auch erweitert werden. Die Präsentation derEvaluierungsergebnisse vor einer größeren Anzahl an MitarbeiterInnen des lehrenden und nicht-lehrendenPersonalsderevaluiertenEinrichtungkannhilfreichsein,dadadurchdergesamteProzessfür alle Beteiligten transparentwird und direkte Rückmeldungen ermöglichtwerden. Es kann diesauchdasBewusstseinüberProblemeschärfen,undzwarineinereffizienterenWeisealsdiesdurcheinenschriftlichenBerichtmeistmöglich ist („Papier istgeduldig…“).DarüberhinauswirddadurchauchdieVerbreitungderErgebnisseinnerhalbderValidierungseinrichtunggewährleistet.Nichtsdes-totrotzkanneinsolchgroßesTreffenteuerundeineorganisatorischeHerausforderungfürdieVali-dierungseinrichtungsein.DaherkönnenauchandereWegezurVerbreitungderErgebnisseinnerhalbderOrganisationeingeschlagenwerden.

DiePeerspräsentierendieverdichtetenErgebnisseundBewertungenfürjedenQualitätsbereich(z.B.mittelsPowerpointPräsentationoderamFlipchart).BeraterInnen/BewerterInnenundManagementwerden aufgefordert, die Ergebnisse zu kommentieren.Wenn Peer Beratung eines der HauptzieledesPeerReviewsist,solltedasTreffenzwischendenPeersundderValidierungseinrichtungzudie-semZweckumeinelängereDiskussions-undBeratungsphaseausgeweitetwerden.

IV.7.5 ReflexionüberErgebnisseundMeta-EvaluierungdesProzesses

NachderFeedback-SitzungmitderValidierungseinrichtungtreffensichdiePeers,umdieErgebnisseundBewertungenzuüberarbeiten.DerPeerBesuchendetdamit,dassdasPeerTeamüberdenPeerBesuchreflektiert.FürdieseletzteSitzunggibteszweiZiele:• ÜberKommentareundFragenimRahmenderabschließendenFeedback-Sitzungmussnochmals

diskutiertunddieBewertungderQualitätsbereichegegebenenfallsüberarbeitetwerden.• IneinerMeta-EvaluierungreflektierendieMitgliederdesPeerTeamsüberihreErfahrungenund

lieferndamitAnhaltspunktefürdieWeiterentwicklungdesPeerReviewVerfahrens.

à EinFormularfürdieDokumentationderMeta-EvaluationderPeersfindetsichinderToolbox.


32

V EuropäischesPeerReviewVerfahren–PeerReviewBericht(Phase3)DerPeerReviewBerichtistdasabschließendeDokument.AllePeerssollteneinenBeitragzudiesemBericht leisten.DerBerichtkann jedochvoneineroder zweiPerson(en)verfasstwerden,währenddieanderenihnkommentieren.Eswirdempfohlen,dassder/diePeerKoordinatorIngemeinsammitdem/derEvaluierungsexpertInfürdieErstellungdesBerichtsverantwortlichist.PeerssollteninderRegeldurchDiskussionundArgumentationzugemeinsamenSchlüssenundEmpfehlungenkommen.Wenndiesnichtmöglichist,solltenauchabweichendeMeinungendargestelltwerden.

EuropäischesPeerReviewVerfahreninderPraxis:VerfassendesBerichts

DiePilotphasenderPeerReviewProjektehabenklargezeigt,dassdieErstellungdesBerichtsunbe-dingtschonwährenddesPeerBesuchsbegonnenwerdensollte:SobalddiePeersinihregewohnteArbeitsumgebungzurückgekehrtsind,kannsichdieFertigstellungdesBerichtsüberWochen,wennnichtMonateziehen.Dazukommt,dasseinedirekteKommunikationzwischendenPeersnachdemBesuchfürgewöhnlichnichtmehrmöglichist.

Es wird daher dringend empfohlen, dass die Peers während des Peer Besuchs zu gemeinsamenSchlüssen kommenund dass dieHauptergebnisse des Peer Reviews bereitswährend der Analyse-Phase indieFormulareeingetragenwerden(FormularzurBewertungvonQualitätsbereichen,PeerReviewBericht).Sollten(normalerweisekleinere)ÄnderungennachderkommunikativenValidierungmitderValidierungseinrichtungerforderlichsein,sosolltendiesegleichanschließendvorgenommenwerden.Damitwäre,bisaufdieletztenFeinarbeiten,dievorläufigeVersiondesPeerReviewBerichtsbereitsamEndedesPeerBesuchsfertig.

Die evaluierte Validierungseinrichtung sollte die Gelegenheit erhalten, den vorläufigen Peer ReviewBerichtzukommentieren.InderendgültigenVersiondesBerichtssolltenihreRückmeldungenBerück-sichtigungfinden.ImEuropäischenPeerReviewrichtetsichderPeerReviewBerichtinersterLinieandieValidierungseinrichtung.AllerelevanteninternenAnspruchsgruppen(BeraterInnen/BewerterInnen,KandidatInnen,anderesPersonaletc.)solltenZugangzudiesemBerichterhalten.

DarüberhinauskanndieValidierungseinrichtungdenPeerReviewBerichtauchanrelevanteexterneAn-spruchsgruppenund/oderBehördenweiterleiten.InvielenFällenwerdenTeiledesBerichts(fürgewöhn-lichdieZusammenfassung)aucheinemgrößerenPublikumzurVerfügunggestellt,z.B.überdasInternet.

V.1 StrukturdesPeerReviewBerichts

UmTransparenzundKontinuitätzugewährleisten,solltederPeerReviewBerichtdieselbeStrukturunddasselbeFormatwiederSelbstberichtaufweisen.Er sollteStärkenundSchwächenund– fallsvonderValidierungseinrichtunggewünscht–auchEmpfehlungenenthalten.

DerPeerReviewBerichtumfasst:

Titel,Inhaltsverzeichnis(sowieGlossarundAbkürzungsverzeichnis,fallserforderlich)1. Datenblatt2. KurzeBeschreibungdesValidierungsanbieters(ca.eineSeite)3. PeerReviewVerfahren4. BewertungderQualitätsbereiche5. Anhang:z.B.PeerBesuchAgenda,Interviewleitfäden,Beobachtungsleitfäden

àDasFormularfürdenPeerReviewBerichtfindetsichinderToolbox.


33

V.2 PrinzipienfürdieErstellungdesPeerReviewBerichts

Nachdemder/diePeerKoordinatorIn(unterMithilfedes/derEvaluierungsexpertIn)denPeerReviewBerichterstellthat,revidierenihndiePeers.

DerBerichtmusseineBeschreibungundBewertungderErgebnissedesPeerReviewsdurchdie„kri-tischeFreunde“(diePeers)beinhalten.AufStärkenundSchwächenmusshingewiesenundSchluss-folgerungenmüssenpräsentiertwerden.SoferndieValidierungseinrichtungzustimmt,könnenauchEmpfehlungenindenBerichtaufgenommenwerden.

Der Bericht soll nur Ergebnisse enthalten, die auch der Bildungseinrichtung mündlich präsentiertwurden (z.B.während der Feedback-Sitzung). Er darf keineÜberraschungen und auch keine Kom-mentareüberEinzelpersonenbeinhalten.

DervorläufigeBerichtwirdderValidierungseinrichtungzurStellungnahmeübermittelt.

V.3 VomPeerBesuchzumendgültigenPeerReviewBericht

5.PlanungderweiterenSchritte• AufderBasisderEvaluierungsergebnisse• ImplementierungvonVerbesserungs-

maßnahmen

4.EndgültigerPeerReviewBericht• ÜbermittlungdesendgültigenBerichts• InValidierungseinrichtung:Kommunikation

derErgebnisseaninterneStakeholder

Optional:• PeerReviewReportwirdexternenAnspruchs-

gruppenoderBehördenübermittelt• VeröffentlichungderZusammenfassungdes

PeerReviewBerichtsimInternet

1Woche

2-3Wochen

max.2Wochen

3.StellungnahmederValidierungseinrichtung• DiskussiondesBerichtsinderEinrichtung

(MitarbeiterInneninkl.Management)• KommentareundÄnderungswünsche•

2.Rohbericht• RohberichtverfasstvonPeerKoordinatorIn

und/oderEvaluierungsexpertIn• KommentareundRevisiondurchdiePeers

1.AbschließendeSitzungdesPeerBesuchs• MündlichesFeedbacküberdieErgebnisse• KommunikativeValidierung

Abb.6:VorgangsweiseundZeitplanfürdieErstellungeinesPeerReviewBerichts


34

VI EuropäischesPeerReviewVerfahren–UmsetzenvonMaßnahmen(Phase4)Evaluierungen sollten sich immer auf die praktische Arbeit auswirken: SchlussfolgerungenmüssengezogenundVeränderungenimplementiertwerden,umdiefürdasReviewVerfahrenaufgewandteZeitundMühezu rechtfertigen.DasUmsetzenderErgebnissedesPeerReviews istdaherdasent-scheidendeElementfürdenErfolgdesPeerReviewsimHinblickaufeinesystematische,kontinuierli-cheundnachhaltigeQualitätsverbesserung.EsliegtinderVerantwortungdesManagementsdafürzusorgen,dassdieErgebnissedesPeerReviewskonsequentumgesetztwerden(vgl.auchKap.III.1.1).

VI.1 WiedieErgebnissedesPeerReviewsinterpretiertundinVerbesserungsmaßnahmenumgesetztwerden

Evaluierungsergebnisse zu interpretieren und Ziele undMaßnahmen daraus abzuleiten ist für ge-wöhnlicheinedergrößtenHerausforderungen imsystematischenVerbesserungsprozessaufEbeneder Validierungseinrichtung. Im Europäischen Peer Review unterstützt eine Reihe von Verfah-renselementendirektdieDefinitionvonpassendenZielenundMaßnahmen.

Verbesserungspotenziale werden während des Feedback-Treffens und im Peer Review Bericht inoffenerundverständlicherWeiseangesprochen;diekommunikativeValidierungderErgebnisseunddieMöglichkeitzumDialogzwischendenPeersunddenVertreterInnenderValidierungseinrichtungträgt ebenso zumVerständnis und zurWertschätzungdes Feedbacks bei. Falls erwünscht, könnenauchEmpfehlungenfürFollow-upMaßnahmenvondenPeersgeäußertwerden.

DarüberhinausunterstütztderPeerReviewProzessselbstdiequalitativeInterpretationderSelbste-valuierungsdaten sowiederwährenddesPeerBesuchserhobenenDaten:Das FeedbackderPeerssolltefürdieValidierungseinrichtungleichtverständlicheundaussagekräftigeInformationenzukünf-tigenVerbesserungsmaßnahmenenthalten.

VI.2 WieVeränderungenvorzubereitensind

ZurUmsetzungderErgebnissewirdeinsystematischerProzessaufBasisdesQualitätszyklusvorgeschla-gen.Dieser sollte von einer offenen und umfassenden Informationspolitik begleitetwerden,wobei si-chergestelltseinmuss,dassallerelevantenBetroffenenundBeteiligtenZugangzudenErgebnissendesPeerReviewshaben.Fallsmöglich,sollteeineoffeneDebatteinnerhalbderOrganisationderImplemen-tierungvonVeränderungsmaßnahmenvorangehen.AlldiesverbessertdieQualitätdergetroffenenEnt-scheidungenunderhöhtdieMotivationunddasEngagementinnerhalbderValidierungseinrichtung.

VI.3 Veränderungensystematischumsetzen

VI.3.1 Zielerevidieren

FallsmöglichsolltenVeränderungeninnerhalbderValidierungseinrichtunggemeinsamgeplantwer-den.AufgrundderErgebnissederSelbstevaluierungunddesPeerReviewsmüssenzuerstdieQuali-tätszieleunddiePlanungvonMaßnahmenneuüberdachtwerden.DieRevisionvonZielenumfasstsowohldiestrategischeundoperativeEbene,diekonsequentmiteinanderverbundenwerdenmüs-sen.DasErreichenoperativerZielesollteinnerhalbeinerrealistischenZeitspannevonsechsMonatenundzweibisdreiJahrenmöglichsein.Eswirdempfohlen,dieseZieleSMARTzudefinieren:

SspezifischMmessbarAattraktivRrealistischTterminisiert


35

VI.3.2 RessourcenklärenundUnterstützungplanen

Zur Umsetzung desMaßnahmenplans ist es erforderlich, die vorhandenen Ressourcen abzuklärenunddenPlanindenGesamtentwicklungsprozessderInstitutionzuintegrieren.Individuelleundinsti-tutionelleErfordernissemüssendabeiberücksichtigtwerden:• WelchetreibendenKräfte,dieeingesetztwerdenkönnen,gibtes?(z.B.Netzwerke,engagierte

BeraterInnen/BewerterInnenetc.)• WelcheunterstützendenStrukturenkönnenaktiviertwerden?(z.B.Qualitätsgruppen,gegensei-

tigeHospitationen,Mentoring,Supervision,PeerCoaching,Projektgruppenetc.)• Welchefinanziellen,personellen(internenundexternen)undzeitlichenRessourcensindverfüg-

bar?• WelcheHindernisseundStolpersteinekönnenauftauchen?• WiekönnenwirherausforderndenSituationenbegegnen?• WiekannmitWiderstandumgegangenwerden?• BrauchenwirBeratung?Warum?ZuwelchemZweck?Werkönntedieseübernehmen?• BrauchenwirSchulungsmaßnahmen,neueMethodenundneueHandlungsmodelle?• SindSchulungsprogrammefürLehrerInnenpassendundausreichend?

AufBasisderInformationenüberRessourcenundUnterstützungkanneinrealistischerundmotivie-renderMaßnahmen-undZeitplanaufgestelltwerden.

Schritt4

Umsetzungevaluieren

Schritt3

Maßnahmenplanenundumsetzen

Schritt2

Ressourcenklären,Unterstützungplanen

Schritt1

Zielerevidieren

NächstesPeerReview

Entwicklungszyklus6Monatebis2bis3Jahre

Abb.7:VomWissenzumHandeln


36

VI.3.3 Maßnahmenplanenundumsetzen

DiefolgendenLeitfragenkönnendieErstellungdesMaßnahmenplansunterstützen:• Womitbeginnenwir?WassinddienächstenSchritte?WassinddiePrioritäten?• Wasmüssenwirtun,umdasZielzuerreichen?• SinddieZwischenzieleundMeilensteineadäquat?• WelcheRessourcen(finanzielle,personelleundzeitliche)sindvorhanden?• WeristbeteiligtoderübernimmtdieVerantwortung?• Wäreesgünstig,eineSteuerungsgruppezuernennen?• WermussdemMaßnahmenplanzustimmen?• WiekönnenwirüberdenMaßnahmenplaninformieren?

IneinemMaßnahmenplanwerdendieeinzelnenEntwicklungsschrittefestgehalten:

Tabelle2:Maßnahmenplan

Aktivitäten Priorität Zeitrahmen Verantwortliche/r RessourcenWassollgetanwerden? Wasistdringend? Biswann? Vonwem? Wasbrauchen

wir?

VI.3.4 DieUmsetzungevaluieren–dasnächstePeerReviewplanen

Alle Entwicklungspläne auf individueller und institutioneller Ebene bedürfen einer weiteren Feed-back-Runde.DieEvaluierungmusseineBewertungumfassen,bis zuwelchemGraddiedefiniertenZieleerreichtwurden.FolgendeLeitfragenkönnenzurEinschätzungdesErfolgsderVerbesserungs-maßnahmenherangezogenwerden:• Wiewissenwir,dasswirFortschrittegemachthaben?Wieerkennenwir,dasswirunsereZiele

erreichthaben?WelcheErfolgskriterienund-indikatorenkönnenwirdefinieren?WelcheFeed-back-Methodenkönnenwiranwenden?

• Wemgegenübersindwirverantwortlich?Wemgegenübersindwirberichtspflichtig?Wererin-nertunsdaran,unsereZieleundPläneweiterzuverfolgen,wennwirsievernachlässigen?

• WelchepositivenKonsequenzenkönnenwirerwarten,wennwirunsereZieleerreichen?Wiebelohnenwiruns,wennwirunsereZieleerreichen?WelcheKonsequenzengibtes,wennwirun-sereZielenichterreichen?

Die Selbstevaluierung der Umsetzung der Veränderungsmaßnahmen kann erneut durch externesFeedbackimRahmeneinesPeerReviewsergänztwerden–womitderKreislauffüreinekontinuierli-cheQualitätsverbesserungvonvornebeginnt.


37

VII Qualitätsbereiche

VII.1 QualitätvonValidierungunddieDefinitionvonQualitätsbereichenWasbedeutet„QualitätvonValidierung“?DasWort„Qualität“isteinallgemeinerBegriff.Qualitätistkontext-abhängig,d.h.derkonkreteKontextmussbekanntsein,umQualitätzudefinieren.QualitätmussdaherininBeziehunggesetztwerdenzurErfüllungvonvorabdefiniertenZiele,d.h.dieErfah-rung(Wirklichkeit)werdendenErwartungen(Zielen)gegenübergestellt:

Qualität=Erfahrung(Wirklichkeit)/Erwartungen(Ziele)

Umherauszufinden,welchesValidierungsangebotqualitativhochwertigistundwelchesnicht,mussklarsein,welchekontext-spezifischenZieledamitverbundensind.ZielekönnenaufallenEbenendesValidierungssystemsdefiniertwerdenundunterscheidensichbiszueinemgewissenGradvonLandzuLandundvonValidierungsanbieterzuValidierungsanbieter.EsgibtdaherkeineallgemeingültigeDefinitionoderBeschreibungvonQualitätinderValidierung.

DerErfolgeinesPeerReviewshängtjedochdavonab,inwieweitdiezuevaluierendenQualitätsberei-che aussagekräftig und relevant sind. Darüber hinaus kann die Transparenz und VergleichbarkeitverschiedenerPeerReviewsnurdanngewährleistetwerden,wenneseinengemeinsamenRahmenalsAusgangspunktgibt.

DaherwurdeeinRahmenmitQualitätsbereichen fürdas EuropäischePeerReviewVerfahrendefi-niert,der• allewesentlichenBereicheeineshoch-qualitativenValidierungsangebotsineinerklaren,prakti-

schenundbrauchbarenFormumfasstundder• dieQualitätskriterienderPartnerbzw.Partnerländer(sollteesbereitseinennationalenQuali-

tätsrahmengeben)abdecktwodurchseineAnwendungaufeuropäischerEbeneermöglichtwird,undder

• alsWerkzeugdient,umdieverschiedenenQualitätsrahmen„querzulesen“undzumessen,unddamitdieTransparenzundVergleichbarkeitinEuropaerhöht.

VII.2 VerbindungzwischendenEuropäischenQualitätsbereichenfürValidierungseinrich-tungenundinstitutionellen/nationalenRahmen

DievorgeschlagenenQualitätsbereiche(einschließlichderOutcomesundKriterien,sieheunten)sol-lendaherkeinesfallsnationaleoderinstitutionelleQualitätsrahmenersetzen.Damitsollvielmehrdieeuropäische Zusammenarbeit in der Evaluierung auf Ebene der Validierungseinrichtungen unter-stütztwerden:EinRahmenmitgemeinsamenQualitätsbereichenkanntransnationalePeerReviewserleichternund/oderalsInstrumentzumeuropäischenVergleichvonimnationalenKontextdurchge-führtenReviewsverwendetwerden.

Speziellenationale/institutionelleQualitätselementekönnennatürlich jenachnationalenund/oderinstitutionellen Bedürfnissen zu diesem Rahmen hinzugefügt werden. Wird das Europäische PeerReview Verfahren ausschließlich auf nationaler Ebene verwendet, können nationale Rahmen dieuntenvorgeschlagenenQualitätsbereicheersetzen.


38

VII.3 EuropäischeQualitätsbereichefürValidierungseinrichtungenDie Europäischen Qualitätsbereiche für die Validierung sind in 2 Bereiche gegliedert: die Validie-rungsphasen imengerenSinneunddieRahmenbedingungenfürdieEntwicklungundImplementie-rungvonValidierung.

Die9Qualitätsbereichesind:

ValidierungimengerenSinne(Kernbereiche)

QualityArea1: Identifizierung

QualityArea2: Dokumentation

QualityArea3: Bewertung

QualityArea4: Zertifizierung

RahmenbedingungenfürdieEntwicklungundImplementierungvonValidierung(unterstützendeQualitätsbereiche)

QualityArea5: Information,BeratungundBegleitung

QualityArea6: KoordinationderStakeholder

QualityArea7: ProfessionelleKompetenzenderValidierungspraktikerInnen

QualityArea8: Qualitätsmanagement

QualityArea9: Organisation

VII.3.1 KernbereicheundoptionaleQualitätsbereiche

DieQualitätsbereichewerdeninKernbereicheundoptionalebzw.unterstützendeQualitätsbereicheunterschieden:Dieersten4QualitätsbereichefürdieValidierungumfassendas„Kerngeschäft“vonValidierungseinrichtungen,d.h.die4ValidierungsphasenIdentifizierung,Dokumentation,BewertungundZertifzierung.Siewerdendeswegenals „Kernbereiche“bezeichnet.Um ihreBedeutungzuun-terstreichen, sinddieseQualitätsbereiche andenersten vier Stellendes vorgeschlageneneuropäi-schenQualitätsrahmensgelistet.

ImRahmeneinesEuropäischenPeerReviewswirdempfohlen,zumindesteinendieservierKernbe-reichezubehandeln.

Dierestlichen5Qualitätsbereiche–dieoptionalenQualitätsbereiche–unterstützendieProzessederKernbereiche und bestimmen die Rahmenbedingungen, unter denen Validierung stattfindet. SiekönnenjenachInteresseundBedarfderValidierungseinrichtungzusätzlichgewähltwerden.Essinddies:Information,BeratungundBegleitung;KoordinationderStakeholder;ProfessionelleKompeten-zenderValidierungspraktikerInnen;Qualitätsmanagement;Organisation.

Dabeimuss berücksichtigtwerden, dass nicht alle Validierungsanbieter in Europa eigene Entschei-dungeninBezugaufdieQualitätihresAngebotstreffenkönnen:ManchesindTeilvongrößerenEin-richtungen,anderewerdendurchgesetzlicheBestimmungenreguliert.Es istnichtempfehlenswert,einen Qualitätsbereiche zu wählen, wenn die evaluierte Einrichtung nicht die Befugnisse hat, dieErgebnissedesPeerReviewsumzusetzen(vgl.KapitelIII.1.2.EntscheidungüberQualitätsbereiche).

DieEuropäischePeerReviewVereinigungkannnurdanneinEuropäischesPeerReviewZertifikatausstel-len,wennmindestenszweiQualitätsbereicheerfolgreichevaluiertwurden,davonmindestenseinerausden4Kernbereichen.AufdemPeerReviewZertifikatwerdendieevaluiertenQualitätsbereichevermerkt.


39

VII.4 DieQualitätsbereicheunddasQualitätssicherungsmodelldesEQAVET

WiebereitsinderEinführungzudiesemHandbucherwähnt,stütztsichdasEuropäischePeerReviewVerfahrenaufdenEuropäischenBezugsrahmens fürdieQualitätssicherung inderberuflichenAus-undWeiterbildung (EQAVET)5.PeerReviewwirdals innovativeMethodederexternenEvaluierungaufinstitutionellerEbenevorgeschlagen(s.Kap.I.4).

WeiterswerdenineinemEuropäischenPeerReviewalleElementedesQualitätszyklusineinerinte-griertenundsystematischenArtundWeiseinderBewertungderQualitätsbereicheberücksichtigt.

Planung,Durchführung,EvaluierungsowieÜberprüfungundVerfahrenzurEinleitungvonVerände-rungenmüssenTeilderSelbstevaluierungunddesPeerReviewssein.Damitsolleinekohärenteundumfassende Qualitätsstrategie und eine systematische Verbindung zwischen Evaluierung und Ver-besserungsichergestelltwerden.DaPeerReviewdiekontinuierlicheQualitätsverbesserungfördernsoll,wirdaufeinenkonsequentenFollow-upProzesseinbesonderesAugenmerkgelegt.

VII.5 WiedieQualitätsbereichedefiniertwerden

DieQualitätsbereichewerdendurchOutcomes,Beispiele vonKriterien sowieBeispiele fürQuellenundNachweisespezifiziert.

VII.5.1 OutcomesundBeispielefürKriterien

JederQualitätsbereichistdurcheinodermehrereOutcome(s)definiert.DieOutcomeswerdendurchBeispielevonKriterienbeschrieben.DasunterstützteinekriteriengeleiteteEvaluation:WährendderSelbstevaluation(Phase1)aberauchwährenddervondenPeersvorgenommenenexternenEvalua-tion(Phasen2und3)wirdeineBewertungaufBasisderKriteriendurchgeführt.WenndieKriterieneinesQualitätsbereichs(bzw.einesOutcome)vollständigoderzueinemhohenAusmaßerfülltwer-den,verweistdiesaufeineStärke,wennsiekaumodergarnichterfülltwerden,legtdaseinenVer-besserungsbereichnahe.

DieListederKriterienfürjedesOutcomeistbeispielhaftundnichterschöpfend.Dasbedeutet,dassineinemEuropäischenPeerReveiwdieKriterienangepasst,ausgetauschtoderdurchandereKrite-rienundIndikatorenergänztwerdenkönnen,sonötig.

VII.5.2 BeispielefürQuellenundNachweise

Diese Kategorie kann als Unterstützung für die Validierungseinrichtung und die Peers angesehenwerden.DieQuellenundNachweiseverweisenaufBeispiele,womanDatenfindenkann1)fürdieSelbstevaluation oder 2) als (zusätzlicher) Beleg für die Befunde der Peers. Daten können sowohl„harte“quantitativeDatensein,z.B.Statistiken,ErgebnissevonquantitativenBefragungenetc.oder„weiche“Daten,d.h.ErgebnissevonqualitativenInterviews,Fokusgruppen,Beobachtungen,qualita-tivenBewertungenetc.

à Die9EuropäischenQualitätsbereichemitOutcomes,BeispielenfürKriterienundsowieQuellenundNachweisenfindensichinderToolbox.

5http://www.eqavet.eu/


40

VIII Peers

VIII.1 Weristein/ePeer?

Ein/ePeeristeinePerson,• diegleichgestelltistmitderPersonbzw.denPersonen,derenLeistungüberprüftwird• dieimgleichenodereinemähnlichenFachbereicharbeitetund/oderineinervergleichbaren

Einrichtung• dieextern(d.h.auseineranderenEinrichtungkommt)undunabhängigist(ohnepersönliche/

institutionelleParteilichkeitenimEvaluierungsprozess)unddie• überspezifischeprofessionelleFachkenntnisseundExpertiseverfügt(ähnlicheAusbildung,Wer-

te,professionelleKompetenzenundHaltungen,gemeinsameSpracheetc.)und• damitbiszueinemgewissenGrad„Insiderwissen“überdenzuevaluierendenBereichinden

ProzesseinbringtunddiesesmitderexternenSichtweiseverbindet(„externe/rInsiderIn“).

Peerswerdenmanchmalauchals„kritischeFreundInnen“bezeichnet.

VIII.2 HauptaufgabederPeers

DieHauptaufgabevonPeersistes,diespezifischeSituationderevaluiertenValidierungseinrichtungzu verstehen und kritisches Feedback zu geben. Empfehlungen und Lösungsvorschläge sollen nurdanngegebenwerden,wenndiesdieValidierungseinrichtungexplizitwünscht.

VIII.3 ZusammensetzungdesPeerTeams

EuropäischePeerReviewswerdeninTeamsbestehendausmindestenszweiPeersdurchgeführt.DasPeerTeamsollteauseinergeradenAnzahlanMitgliedernbestehen,dajeweilszweiPeers(PeerTan-dems)dieInterviewsmitdenverschiedenenVertreterInnenvonBetroffenenundBeteiligtendurch-führensollen.JenachKontextkönnenauch4PeerszumEinsatzkommen.Daswarz.B.fürdietrans-nationalenPeerReviewsimRahmendesProjekts“PeerReviewVNFILExtended”notwendig.

DieZusammensetzungderPeersTeamshängtvomUntersuchungsgegenstanddesPeerReviewsab,daPeers vor allemumfangreicheExpertise inden zuevaluierendenQualitätsbereichenmitbringensollten.Esmussjedochbetontwerden,dassdasPeerTeamalsGanzesüberdienotwendigeExper-tise und Erfahrung verfügenmuss und nicht notwendigerweise jedes einzelne Team-Mitglied. EinPeerTeamineinemEuropäischenPeerReviewsolltesichausExpertInnenmitdenfolgendenberufli-chenHintergründenzusammensetzen:

Zumindest die Hälfte der Peers sollten „echte Peers“ sein, d.h. KollegInnen aus anderen Validie-rungseinrichtungen: BeraterInnen, BegleiterInnen, BewerterInnen, ManagerInnen, Qualitätsexper-tInnenetc.DiesePraktikerInnensolltenüberExpertiseinBezugauf1. diezuevaluierendenBereiche,2. Validierungsverfahren(zumindestfünfJahreErfahrunginderValidierung)sowie3. VerfahrenzurQualitätssicherungundQualitätsentwicklung(d.h.Qualitätsmanagementansätze,

Evaluierungsmethodenetc.)verfügen.

Esempfiehltsich,dassdieHälftedesPeerTeamszumZeitpunktdesReviewsalsBeraterInnenoderBewerterInnentätigsind.

Darüberhinauskannein/eVertreterIn (bzw.VertreterInnen)vonAnspruchsgruppen insPeerTeamgeholtwerden.Diese/rPeerkannbeispielsweisevoneinem„externenKooperationspartner“,etwa


41

einerBildungseinrichtungen,ausderWirtschaft(VertreterInnenvonUnternehmen)odervonande-renrelevantenAnspruchsgruppen(ArbeitsmarktexpertInnen,Sozialpartneretc.)kommen.

Es empfiehlt sich, dass einMitglieddesPeer Teams inder Lage ist, dieRolle eines/einer „Evaluie-rungsexpertIn“mit Expertise in Evaluierung,ModerationundKommunikation zuübernehmen.Diese/rPeerkannauchauseinemanderenalsdemValidierungsbereichkommen(z.B.ausdemBereichderEvalu-ierung, Forschung,Beratungetc.).DiesePerson sollte jedochausreichendErfahrung inderValidierunghaben,daer/siesowohlals„normale/r“PeeralsauchalsEvaluierungsexpertInfungiert.Der/DieEvaluie-rungsexpertInmussjedochnichtzwingendaußerhalbdesValidierungsbereichsrekrutiertwerden.Ein/e„echte/r“PeervoneineranderenValidierungseinrichtung,der/dieüberdieerforderlicheQualifikationunddasWissenverfügt,kannebensodieRolledes/derEvaluierungsexpertInübernehmen.

VIII.4 RolleninnerhalbdesPeerTeams

InnerhalbeinesPeerTeamsmüssenfolgendeRollenbesetztwerden:• Peers• PeerKoordinatorIn6• EvaluierungsexpertIn• GenderMainstreamingExpertIn• Internationale/rPeer(wennmöglich)

VIII.4.1 Peers

Die Peers analysierenden Selbstbericht, stellen einen Evaluierungsplan zusammen (wer interviewtwerdensoll, Interviewrichtlinien)undführendasPeerReviewdurch(z.B.sammelnvon Informatio-nen,durchführenvonInterviews,analysierenderErgebnisse,Feedbacketc.).

VIII.4.2 PeerKoordinatorIn

Nebender FunktionalsPeer, leitetder/diePeerKoordinatorIndasPeerTeam.Er/Sie istHauptan-sprechpartnerInfürdieValidierungseinrichtung,koordiniertundplantdieAktivitätenderPeers,mo-deriertdasPeerReviewundkümmertsichumdasZeitmanagement.Er/Sie istauchverantwortlichfürdieErstellungdesPeerReviewBerichts.

Der/DiePeerKoordinatorInhateinezentraleRolle inne.Er/SiemussdaherübereinhohesMaßanKompetenzinderEvaluierung,Teamführung,Kommunikation,ModerationundimZeitmanagementverfügen.Er/Siemussdahersorgfältigausgewähltwerden.

VIII.4.3 EvaluierungsexpertIn

DieRolledes/derEvaluierungsexpertIn imPeerTeamsollteebenfallsabgedeckt sein,umsicherzu-stellen, dass zumindest eine Person über umfangreiche Expertise in Evaluierung,Moderation undKommunikation verfügt. Diese Rolle kann auch von dem/der Peer KoordinatorIn oder von jedemanderenPeerübernommenwerden.

WenneinPeerTeamnichtsehrerfahrenimBereichderEvaluierungist,sollteder/dieEvaluierungs-expertIndasPeerTeamleitenundden/diePeerKoordinatorIninseinen/ihrenAufgabeunterstützen.IndiesemFallkannder/dieEvaluierungsexpertIndie interne(n)Analysesitzung(en)desPeerTeamsmoderieren,beidenendieErgebnissederPeerTandemsdiskutiertwerdenunddasmündlicheFeed-backvorbereitetwird.Darüberhinauskannder/dieEvaluierungsexpertInauchdieFeedback-Sitzungmoderieren.Er/Siekannauchden/diePeerKoordinatorIn inderErstellungdesPeerReviewBerichts

6Der/DiePeerKoordinatorInkannentwedervonderValidierungseinrichtungselbstodervonderKoordinie-rendenEinrichtung,diedasPeerRevieworganisiert,ernanntwerden.


42

unterstützen.Fallsmöglich,kannder/dieEvaluierungsexpertIndiePeersauchmitspezifischemEvaluie-rungs-Know-howinderVorbereitungsphaseunterstützen,z.B.beimErstellenderInterviewleitfäden.

VIII.4.4 GenderMainstreamingExpertIn

Eswirdbesondersempfohlen,eine/nPeermitspezifischemWissenüberGenderMainstreaming indas Peer Team aufzunehmen. Diese/r Gender Mainstreaming ExpertIn stellt sicher, dass Gender-AspekteimgesamtenProzessberücksichtigtwerden,d.h.vonderPlanungdesPeerReviewsüberdieDatenerhebungund-analysebiszumFeedbackundderBerichtserstellung.

VIII.4.5 Internationale/rPeer

Die Beschäftigung eines/einer internationalen Peer/s ist optional. Für ein transnationales Peer Re-viewistdieRekrutierungeinesinternationalenPeersallerdingsVoraussetzung.

Eine/nPeerauseinemanderenLandeinzuladen,kanneinerseitseinesehrbereicherndeErfahrungfüralleBeteiligtensein–fürden/dieinternationale/nPeer,dieValidierungseinrichtungunddiean-derenPeers.DieKonfrontationmitverschiedenenSystemenundVorgangsweisenkanndasgegen-seitigeVerständnisundden Innovationstransfererhöhen.Darüberhinaus führtdieUnabhängigkeitundDistanzeines internationalenPeers/einer internationalenPeeroft zueinerbesonderenAtmo-sphärevonOffenheitundkritischerReflexion.

Die Beteiligung eines/einer internationalen Peer/s erfordert andererseits jedoch eine sorgfältigeVorbereitungundbestimmteVoraussetzungenaufSeitenderValidierungseinrichtungundderPeers.ZunächstmüssensichallenBeteiligtenbewusstsein,dassdieseinengewissenMehraufwanderfor-dert:DieFragederSprachemussdabeiebensosorgfältigbedachtwerden,wiedieVerschiedenartig-keitderValidierungssystemeundkulturelleUnterschiede.Umeine/ninternationale/nPeereinladenzukönnen,bedarfeszudemzusätzlicherGeldmittel,z.B.fürReise-undÜbersetzungskosten.

Tabelle3:ZusammensetzungdesPeerTeams:Rollen,beruflicherHintergrundundKompetenzenAnzahlderPeers(2-4Peers) BeruflicherHintergrund ErforderlicheKompetenzen

1-2“Echte”Peer(minimum)*

PraktikerInnen/ExpertInnenausanderenValidierungseinrichtungen(BeraterInnen,BewerterInnen,ManagerInnen,QualitätsexpertIn-nenetc.)

• Kenntnisseüberdiezuevaluieren-denQualitätsbereiche

• ErfahrunginderValidierung• ErfahrunginQualitätssicherung-

undQualitätsentwicklung

1“Stakeholder”Peer(optional)

VertreterIneinerexternenAn-spruchsgruppe(Bildungseinrichtung,Wirtschaft,Arbeitsmarkt,Sozialpartner,etc.)


• ErfahrunginQualitätssicherung-undQualitätsentwicklung

1EvaluierungsexpertIn(optional)

ProfessionelleEvaluatorIn,Quali-täts-AuditorInoder–Assessorin(z.B.Forschungsinstitut,Universi-tät,unabhängigeAudit-/Akkredi-tierungseinrichtung,auchauseineranderenValidierungseinrichtung)

• ExpertiseinEvaluation,ModerationundKommunikation

• KenntnisseimBereichValidierung

1GenderMainstreamingExpertIn

Eine/rderobengenanntenZusätzlich• ExpertiseinGenderMainstreaming

1Internationale/rPeer(optional)**

Eine/rderobengenannten,fürgewöhnlicheineandereVali-dierungseinrichtung


• ErfahrunginderValidierung• ErfahrunginQualitätssicherung

undQualitätsentwicklung

*IneinemEuropäischenPeerReviewmussdieHälftePeerTeammüssen“echte”Peerssein.**notwendigfüreintransnationalesEuropäischesPeerReview


43

VIII.5 ErforderlicheKompetenzenundExpertisederPeers

PeerTeamsmüsseninsgesamtüberExpertiseinfolgendenBereichenverfügen:• InderValidierungnicht-formalenundinformellenLernens• inderQualitätssicherungund-entwicklung,• indenzuevaluierendenQualitätsbereichen.

Darüberhinaus sollteein/ePeerüberExpertise imBereichGenderMainstreamingverfügen.Ein/eweitere/rsollte inderLagesein,dieRolledes/derEvaluierungsexpertInzuübernehmen.Dadas indiesemHandbuchbeschriebenePeerReviewVerfahrenalstransnationalesInstrumentkonzipiertist,empfiehltessich,dasszumindestein/ePeerausdemAuslandstammt.EntscheidendfürdieAuswahldes/derinternationalenPeer/ssindseine/ihreinternationalenErfahrungen,interkulturellenKompe-tenzenundSprachkenntnisse.

ZusätzlicheAnforderungenfürdasPeerTeamsinddaher• ExpertiseinGenderMainstreaming,• ExpertiseinderEvaluierung,• internationaleErfahrung.

VIII.6 BewerbungalsPeerDas Handbuch enthält ein Bewerbungsformular für Personen, die Interesse haben, ein/e Peer zuwerdenundüberdieerforderlicheExpertise verfügen.Peers, die aneinemEuropäischenPeerRe-viewteilnehmenwollen,müssendiesesFormularausfüllenundeinreichen.

à DasPeerBewerbungsformularfindetsichinderToolbox.

VIII.7 VorbereitungundSchulungderPeersPeerssindverpflichtet,denSelbstberichtderValidierungseinrichtungzuanalysierenundeinenBei-tragzurVorbereitungdesPeerBesuchszuleisten,indemsieandenTreffenmitVertreterInnenderValidierungseinrichtungunddenanderenPeersteilnehmen,dieAgendafürdenPeerBesucherstel-lenundEvaluierungsfragestellungenfürdasPeerReviewausarbeiten.

DieTeilnahmeaneinemSchulungsprogramm,dasdiePeersaufihreArbeitalsexterneEvaluatorIn-nenvorbereitet, istverpflichtend.DasSchulungsprogrammgibteineEinführungindasPeerReviewalsEvaluierungsmethode,stelltdieverschiedenenPhasendesPeerReviewsvorundklärtdieRollenundAufgabenderPeers.AngehendePeers können zudem inquantitativerundqualitativerDaten-analyse sowie in qualitativen Erhebungsmethoden (z.B. Interviews und Beobachtungen) geschultwerden.EinTraininginSoftSkills,wiez.B.soziale,kommunikativeundmoderierendeKompetenzenrundetdasSchulungsprogrammab.

WenneinPräsenz-Workshopmöglichist,kanndiePeerSchulungauchdazubenutztwerden,umdiePeers in derVorbereitungdes Peer Besuchs zu unterstützen: Peers erhalten dann imRahmenderSchulung z.B.HilfestellungbeiderAnalysedesSelbstberichtsund/oderBeratungbeiderVorberei-tungdesErhebungsdesignsundderPeerBesuchAgenda(z.B.welcheMethodenfürwelcheThemenverwendetwerdenkönnen,wer interviewt/beobachtetwerdensollte,wieFragenfür Interviewleit-fädenundBeobachtungsrasterauszuarbeitensindetc.).


44

VIII.8 Zusammenarbeitmitdem/derPeerReviewOrganisatorIn

DieHauptansprechpersonfürdasPeerTeamimgesamtenProzessistder/diePeerReviewOrganisa-torIn.Er/SiesollteaufVerlangenzusätzlicheUnterlagenzurVerfügungstellen.Zudemister/sie fürdieorganisatorischeVorbereitungunddieDurchführungdesPeerReviewsverantwortlich(EinladungderInterviewteilnehmerInnen,ReservierungderRäumlichkeitenunddererforderlichenAusstattung,LogistikwährenddesgesamtenReviewsetc.).Dasheißt,diezentraleFunktiondes/derPeerReviewOrganisatorInistes,füreinereibungsloseKommunikationzwischenderValidierungseinrichtungunddemPeerTeam(inderRegelinderPersondes/derPeerKoordinatorIn)zusorgen.

Der/Die OrganisatorIn ist nichtMitglied des Peer Teams und gibt auch keine Bewertung über dieevaluiertenBereicheab.Er/SiesolltewährendderInterviewsoderderinternenDiskussioneninner-halbdesPeerTeamsnichtanwesendsein.


45

IX LiteraturundQuellenIX.1 PeerReviewundQualitätssicherunginderBerufsbildungsowieimHochschulbereich

Basel, Sven (2004):Peer-Evaluation inberuflichenSchulenalsBeitrag zur schulischenQualitätsent-wicklung.In:BerufsbildungHeft90(2004),43-45.

Europäische Kommission (1999): Evaluating quality in school education. A European pilot project.FinalReport,ReportpreparedbyJohnMacBeath,DenisMeuret,MichaelSchratz,LarsBoJakobsen.

EuropäischeKommission(2001):EuropeanReportontheQualityofSchoolEducation.SixteenQuali-tyIndicators,ReportbasedontheworkoftheWorkingCommitteeonQualityIndicators.

EuropäischesParlamentundRat(2009):EmpfehlungzurEinrichtungeineseuropäischenBezugsrah-mensfürdieQualitätssicherunginderberuflichenAus-undWeiterbildung(EQAVET).

European Standards and Guidelines for Quality Assurance in the European Higher Education Area(ESG)(2015),Brüssel,Belgien

Gerriets, Elke;Giebenhain,Dagmar;Basel, Sven;Möller,Karl-Heinz (2004):Modellversucheiver, 1.Zwischenbericht"EvaluationimVerbundalsBeitragzurQualitätsentwicklungberuflicherSchuleninregionalenBildungsnetzwerken",HessischesLandesinstitutfürPädagogik,Wiesbaden.

Gutknecht-Gmeiner,Maria(2008):ExterneEvaluierungdurchPeerReview.Qualitätssicherungund-entwicklung inderberuflichenErstausbildung.Wiesbaden:VSVerlag. (Dissertation,UniversitätKla-genfurt2006).

Handbookforacademicreview(2000):publishedbytheQualityAssuranceAgencyforHigherEduca-tion,Gloucester.

Handbook for academic review: England, 2004, for review of directly funded higher education infurthereducationcolleges(2004):publishedbytheQualityAssuranceAgencyforHigherEducation.

Joint Committeeon Standards for Educational Evaluation (1994): Theprogrammeevaluation stan-dards.Howtoassessevaluationsofeducationalprograms,ThousandOaks,Sage.

Keller,Hans(1999):Chancen,MöglichkeitenundGrenzeneinesPeerReviews,ms.,Bülach.

Kozar, Gerhard (1999): Hochschul-Evaluierung - Aspekte der Qualitätssicherung im tertiären Bil-dungsbereich[=SchriftenreihedesFachhochschulrats,Band3],Wien.

PeerAssistanceandPeerReview.AnAFT/NEAHandbook(1998),preparedfor"ShapingtheProfessi-onthatshapesthefuture”.AnAFT/NEAConferenceonTeacherQuality,WashingtonD.C.

EvaluierungsverordnungdesFachhochschulrats(Evaluierungsverordnung5/2004;EvalVO).

Stamm,Margrit;Büeler,Xaver(1999),PeerReviewansechsBernischenSchulen,Aarau.

Strahm,Peter(2004b):ManualPeerReviewIPS2004,ms.,Bern.

The Standing International Conference of Central and General Inspectorates of Education (SICI)(2003):Effectiveschoolself-evaluation.

Thune, Christian; Holm, Tine; Sørup, Rikke; Biering-Sørensen, Mads (2003): Quality procedures inEuropeanHigherEducation.AnENQAsurvey,[=ENQAOccasionalPapers5],DanishEvaluationInsti-tute,EuropeanNetworkforQualityAssuranceinHigherEducation,Helsinki.

IX.2 Validierung(VNFIL)undQualitätssicherungvonVNFIL

Besson,Eric(2008):Valoriserl’acquisdel’expérience:UneévaluationdudispositifdeVAE;Secréta-riatd’étatchargédelaprospective,del’évaluationdespolitiquespubliquesetdudéveloppementdel’économienumérique.


46

Carneiro, Roberto (2011): Accreditation of Prior Learning as a Lever for Lifelong Learning: LessonsLearntfromtheNewOpportunitiesInitiative,Portugal.Portugal:PortugueseCatholicUniversity.

CEDEFOP(2009):EuropäischeLeitlinienfürdieValidierungnichtformalenundinformellenLernens.

CEDEFOP (2010): European Inventory on Validation of Non-formal and Informal Learning. CountryReport:Netherlands.RuudDuvekot

CEDEFOP(2010):EuropeanInventoryonValidationofNon-formalandInformalLearning.CaseStudy:RecognitionofpriorexperientiallearninginHigherEducationinPortugal.

CEDEFOP(2010):EuropeanInventoryonValidationofNon-formalandInformalLearningFRANCE.

CEDEFOP(2015):EuropäischeLeitlinienfürdieValidierungnichtformalenundinformellenLernens

CEDEFOP(2016):EuropeanInventoryonValidationofNon-formalandInformalLearning.

EmpfehlungdesRatesvom20.Dezember2012zurValidierungnichtformalenund informellen Ler-nens(2012/C398/01).

Duvekot,Ruud;Kang,DaeJoong;Murray,Jan(2014):ThepowerofVPL.ValidationofPriorLearningasmulti-targetedapproachforaccesstolearningopportunitiesforall.

Kenniscentrum EVC. (2007): The covenant: A quality code for APL – Identifying and accrediting alifetimeoflearning.

Méhaut Philippe; Lecourt Anne-Juliette (2007): The accreditation of prior learning experience inFrance:Agoodstart,tobecontinued.Discussionpaper.

Lafont,Pascal;Pariat,Marcel(2012):ReviewoftherecognitionofpriorlearninginmemberstatesinEurope.DepartmentofEducationandSocialSciences.UniversityofParisEstCreteil.

OECD(2007):RecognitionofNon-formalandInformalLearning:OECDCountryReports.

ENQA-VET(2008):OnQualityAssuranceproceduresforRecognitionofPriorLearning.Policybrief.

Sánchez Chaparro, Teresa (2008): Recognition of prior learning and the role of quality assuranceagencies.CommissiondesTitresd’Ingénieur(CTI),France.

Van Kleef, Joy (2010). Quality in prior learning assessment and recognition. A background paper.CanadianCanadianInstituteforRecognizingLearning.

IX.3 Gendermainstreaminganddiversity

EuropäischeKommission(1996):EinbindungderChancengleichheitinsämtlichepolitischeKonzepteundMaßnahmenderGemeinschaft[Komm(1996)67endg.].

Leo-Rhynie,Elsa (1999):Gendermainstreaming ineducation:A referencemanual forgovernmentsandotherstakeholders,London.

TreatyontheFunctioningoftheEuropeanUnion,OfficialJournaloftheEuropeanUnionC115/47,9.5.2008.(„TreatyofLisbon“)

CouncilofEurope:GenderMainstreaming,https://www.coe.int/en/web/genderequality/home,31.05.2018


47

IX.4 Websites

IX.4.1 PeerReviewundQualitätssicherungwww.peer-review-education.netwww.peer-review-network.euwww.peerreview.workswww.peer-review-vnfil.euwww.eqavet.eu,31.05.2018s1.teamlearn.de/b-1-eiver,31.05.2018www.qibb.at,31.05.2018www.enqa.eu/,31.05.2018www.qaa.ac.uk,31.05.2018

IX.4.2 Validierungvonnicht-formalemundinformellemLernen

CEDEFOPallgemeineInformationzuValidierung:www.cedefop.europa.eu/en/events-and-projects/projects/validation-non-formal-and-informal-learning,31.05.2018

EuropäischeLeitlinienfürdieValidierungnichtformalenundinformellenLernens,revidierteFassung2015:http://www.cedefop.europa.eu/en/publications-and-resources/publications/4054,31.05.2018

EuropeanInventoryonValidation:2016Update:www.cedefop.europa.eu/en/events-and-projects/projects/validation-non-formal-and-informal-learning/european-inventory,31.05.2018

Building Learning Societies: Promoting validationof learningoutcomesofnon-formal and informallearning:buildinglearningsocieties.org/,31.05.2018

EuropeanAssociationfortheEducationofAdults:www.eaea.org,31.05.2018

IX.5 Projektberichte

IX.5.1 PeerReviewininitialVET

Gutknecht-Gmeiner, Maria; Neubauer, Barbara (2005): Gender Mainstreaming in the LdV ProjectPeerReviewininitialVNFIL,Wien.

Gutknecht-Gmeiner,Maria(2005):PeerReviewinEducation(PartI:InternationalResearchandAna-lysis;PartII:RecommendationsforthedevelopmentoftheEuropeanPeerReviewManual),Vienna,April2005.

Lassnigg,Lorenz;Stöger,Eduard(2005):TransnationalSynopsisReport,Vienna.

Schneider,Claudia(2005):GrundlagendergeschlechtssensiblenQualitätssicherungund-entwicklungin der beruflichen Erstausbildung. Geschlechtergerechte Entwicklung des Peer Review Manuals,Wien.

Speer,Sandra(2007):EvaluationreportoftheLeonardodaVinci-ProjectPeerReviewinInitialVoca-tionalEducationandTraining,Köln.

Stöger,Eduard;Lassnigg,Lorenz(2007):TransferStrategyPaper.PastandFutureDisseminationActi-vitiesandFurtherPlansforImplementingtheEuropeanPeerReviewProcedure,Vienna.


48

IX.5.2 PeerReviewExtended

Gutknecht-Gmeiner,Maria (2007a):PeerReviewand theCQAF.PeerReviewasan innovativeme-thodology for external evaluation inVNFIL and its contribution to the further development of the"Common Quality Assurance Framework" (CQAF). Contributions by Allulli, Giorgio; Koski, Leena;Väyrynen,Pirjo;Molnar-Stadler,Katalin;Camps,Josep;Canyadell,Pere;Vienna.

Gutknecht-Gmeiner,Maria(ed.)(2007b):ImplementingPeerReviewaspartoftheCQAF.ScenariosforPeerReviewImplementationinAustria,Spain(Catalonia),Finland,Hungary,andItaly.Contributi-ons by Koski, Leena; Molnar-Stadler, Katalin; Allulli, Giorgio; Tramontano, Ismene; Camps, Josep;Canyadell,Pere;Vienna.

IX.5.3 PeerReviewExtendedII

Gutknecht-Gmeiner,Maria(ed.)(2008):PeerReviewinderBerufsbildung.ProjekteundErfahrungen–einReader,Wien.

Gutknecht-Gmeiner,Maria(2009a):EuropeanPeerTraining.PartI:PeerCompetenceProfile–Euro-peanPeerTrainingCurriculum.

Gutknecht-Gmeiner,Maria(ed.)(2009b):EuropeanPeerReviewReader.Developmentsandexperi-ences2004-2009,Vienna

IX.5.4 PeerReviewImpact

Gutknecht-Gmeiner,Maria(2010):PeerReviewImpactAnalysisReport.Analysisof14transnationalEuropeanPeerReviews,Vienna.

PeerReviewImpact (2011):PeerReviewImpactGuidelines,PeerReviewImpact -Ensuringthe im-pactofPeerReviewstoimproveprovisionofVETinEurope.

Gutknecht-Gmeiner,Maria(2011):PeerReviewFollow-upGuide.

IX.5.5 EuroPeerGuid

Gutknecht-Gmeiner, Maria (2012): Evaluation Report EuroPeerGuid: European Peer Review inGuidanceandCounsellinginAdultVocationalEducationandTraining–acontributiontoEQARFim-plementation,commissionedbyCECOA,Vienna.

IX.5.6 Europeerguid-RVC

Rochet,Serge;Sprlak,Tomas(2014):Qualityassuranceinrecognitionofpriorlearning/validationofnon-formal&informallearning.Europeerguid-RVCWP2report,CIBCBourgogneSud,Lyon.

Gutknecht-Gmeiner,Maria (2015): Evaluation of pilot Peer Reviews (WP 5). Final Report, Vienna,November2015.

IX.6 PeerReviewManuals

Gutknecht-Gmeiner, Maria; Lassnigg, Lorenz; Stöger, Eduard; de Ridder, Willem; Strahm, Peter;Strahm, Elisabeth; Koski, Leena; Stalker, Bill; Hollstein, Rick; Allulli, Giorgio; Kristensen, Ole Bech(2007):EuropäischesPeerReviewHandbuchfürdieberuflicheErstausbildung.Wien,Juni2007.

Peer Review Extended II (2009): Europäisches Peer Review Handbuch für die berufliche Bildung.Wien.

EuroPeerGuid (2012): European Peer ReviewManual for Educational and Vocational Guidance forAdults.


49

X Glossar

FormativeEvaluation

EineformativeEvaluierungisteineentwicklungsorientierte,begleitendeEvaluierung,diedazudient,denEvaluationsgegenstand zu verbessern (zu „formen“). Dies kann z.B. ein Qualitätsbereich, die gesamteOrganisation,einProgramm,einProjekt,eineIntervention,einePolitikodereinePersonsein.ImFalldesEuropäischenPeerReviewswirdeineformativeEvaluierungvonbestimmtenBereichenoderAbteilungeneinerValidierungseinrichtungdurchgeführt.

DerHauptzweckeinerformativenEvaluierungistes,zurVerbesserungundzunachhaltigerEntwicklungbeizutragen(wohingegeneinesummativeEvaluierungaufQualitätssicherungundKontrolleabzielt). ImEuropäischenPeerReviewrichtensichdieErgebnisseder formativenEvaluierunghauptsächlichandieevaluiertenValidierungseinrichtung,diediesezurinternenQualitätsverbesserungheranzieht.

EuropäischePeerReviewVereinigung(EPRA)

Die Europäische Peer ReviewVereinigung ist eine internationaler Vereinigung. Siewurde 2013 alsgemeinnützigeVereinigungaufBasisdesösterreichischenVereinsrechts gegründet. EPRAentstandausdenEuropäischenPeerReviewProejekten,die zwischen2004und2009durchgeführtwurden:denLeonardodaVinciProjekte„PeerReviewininitialVET“,„PeerReviewExtended“and„PeerRe-viewExtendedII“.

DieEuropäischePeerReviewVereinigunghatessichzumZielgenommen,PeerReviewalsEvaluationdurchKollegInneninBildungseinrichtungeninganzEuropazuverbreiten,unterstützenundweiterzuentwickeln.EPRAkoordinierteineuropäischesPeerReviewNetzwerkundunterstütztundbewertetPeerReviews,vorallemtransnationalePeerReviews.SiebieteteuropäischeTrainingsundSeminarezuPeerReview,unterhälteinEuropäischesPeerRegisterundverleihtdasEuropäischePeerReviewSiegel.www.peer-review-network.eu

EuropäischerBezugsrahmensfürdieQualitätssicherunginderberuflichenAus-undWeiterbildung(EQAVET)

EQAVETwurde2009durchdieEmpfehlungdesEuropäischenParlamentsunddesRateszurEinrich-tungeinesEuropäischenBezugsrahmensfürdieberuflicheAus-undWeiterbildungetabliert,umdieMitgliedstaatendabeizuunterstützten,ihreSystemderberuflichenBildungaufBasiseinesgemein-samen europäischen Referenzrahmens weiterzuentwickeln und einemMonitoring zu unterziehen.EQAVET• umfassteinenZyklusderQualitätssicherungvon,Durchführung,EvaluierungundÜberprüfung

sowieDeskriptorenundReferenzindikatoren;• empfiehlteinenProzessdesMonitoringundderQualitätsverbesserunginKombinationvonin-

ternenundexternenEvaluationsmechanismen,ProzessenderÜberprüfungundderVerbesse-rungen,unterstütztdurchquantitativeMessungenundqualitativeAnalysen;

• unterstütztdieVerwendungvonMessinstrumenten,umdieEffektivitätnachzuweisen;• wirdsowohlaufderEbenevonBerufsbildungssystemen,EinrichtungenderberuflichenBildung

sowieEinrichtungen,dieQualifikationenvergebenangewendet• unterstreichtdieNotwendigkeitvonweitererEntwicklungbasierendaufeinersolidenKoopera-

tionaufEuropäischer,nationaler,regionalerundlokalerEbene;• legteinenSchwerpunktaufdenAustauschvonbesterPraxisnichtnuraufnationaler,sondern

auchaufregionalerundlokalerEbeneinrelevantenNetzwerken,darunterauchdasEuropäischeNetzwerkfürdieQualitätssicherunginderberuflichenBildung(EQAVET),dassmitdemselbenAkronymbezeichnetwirdwiederBezugsrahmen.


50

EvaluierungsexpertIn

Der/Die EvaluierungsexpertIn ist ein/ePeermit spezieller Expertise in der Evaluierungund Zusatz-kompetenzen inKommunikationundModeration.NebenderTätigkeitalsPeerunterstütztder/dieEvaluierungsexpertIndasPeerTeaminFragen,diedieEvaluationbetreffen.DaskanninderVorbe-reitungsphasedieAusarbeitungderInterviewfragenfürdenPeerBesuchbetreffen,dieModerationderinternenDiskussionssitzungendesPeerTeamswährenddesBesuchsoderdieLeitungderFeed-back-Sitzung und der kommunikativen Validierung mit VertreterInnen der ValidierungseinrichtungamEndedesBesuchs.Er/Siekannauchden/diePeerKoordinatorIninderErstellungdesPeerReviewBerichtsanleitenund/oderunterstützen.

ManagementderValidierungseinrichtung

Personen,diefürdieLeitungderEinrichtungverantwortlichsind:EskönnendiesGeschäftsführerIn-nen, aber auchAbteilungsleiterInnenund andereManagerInnen (z.B.QualitätsmanagerInnen, Per-sonalleitungetc.)sein.

KandidatInnenderValidierungvonnicht-formalenundinformellenLernen(VNFIL)

DerBegriff „KandidatInnen“bezeichnetPersonen,dieaneinemProzessderValidierungvonnicht-formaloderinformellerworbenenKompetenzenteilnehmen.AlsSynonymkannauch„Teilnehmen-de“verwendetwerden.

KommunikativeValidierung

DiekommunikativeValidierungwirdinderqualitativenSozialforschungangewandt,umdieValiditätvonErgebnissen zuerhöhen: Feedback zuErgebnissenwirddabei systematisch vonverschiedenenGruppenvonBetroffenenundBeteiligteneingeholt,umdieerhobenenDatenundderenInterpreta-tionzuüberprüfen.EinekommunikativeValidierungkannjederzeitimPeerReviewProzessdurchge-führtwerden,zumeistjedochgegenEndedesBesuchs,z.B.kurzvor,meistwährendoderauchnachderFeedback-SitzungmitderValidierungseinrichtung.

KoordinierendeEinrichtungfürPeerReviews

WenneinegeeigneteEinrichtungundentsprechendeMittelvorhandensind,kanndieKoordinationeinesPeerReviewNetzwerkesvondieserOrganisation/Einrichtungübernommenwerden. ImRahmendiesesHandbuchswirddieseUnterstützungsstrukturals„koordinierendeEinrichtung“bezeichnet.DieSchaffungeinersolchenEinrichtungwirdfürdieKoordinationvonkomplexen(transnationalen)PeerReviewNetz-werkenempfohlen.

Die koordinierende Einrichtung kanneine zentraleRolle in derOrganisationundAbwicklung vonPeerReviewsspielen.SiekannentwedervoneinemNetzwerkvonValidierungseinrichtungenalskoordinie-rendeStellefestgelegtwerden,dasOrganisationsteameines(öffentlichfinanzierten)PilotprojektszuPeerReviewseinodereine(mehroderweniger)unabhängigePeerReviewAgentur.

DerGraddesEinflussesundderUmfangderAufgabendieserkoordinierendenEinrichtungkannunter-schiedlichgestaltetseinundhängtvonderFunktionunddenZuständigkeitenderEinrichtungab:SiekanndieBewerbungenvonPeersabwickeln,eineAuswahlderPeersaufBasiseinesvordefiniertenProfilstref-fen,dasMatchinggeeigneterPeersmitValidierungseinrichtungendurchführen,dieAusarbeitungvonAblaufplänen fürdieReviewsunterstützen,die Informationensammeln,dokumentierenundweiterlei-ten,diePeerSchulungorganisieren,dieteilnehmendenEinrichtungenwährenddesgesamtenProzessesberatensowiedengesamtenProzessimRahmeneinesMonitoringüberwachenundbegleiten.

Auf europäischer Ebene fungiert die Europäische Peer ReviewVereinigung als koordinierende Ein-richtungfürtransnationalePeerReviews.


51

„KritischeFreundInnen“

Synonymfür"Peers".

Peers

Peers sind zumeist KollegInnen aus anderen Validierungseinrichtungen (BeraterInnen/BewerterInnen,ManagerInnen,anderesPersonal).Siesindextern,arbeitenaberinähnlichenBereichenundhabenspezi-fischesFachwissenundKenntnisseüberdiezuevaluierendenQualitätsbereiche.Siesindunabhängigund„gleichgestellt“mitjenenPersonen,derenTätigkeitbewertetwird.

Peerswerdenmanchmalauchals„kritischeFreundInnen“bezeichnet.

PeerReview

PeerReviewisteineFormderexternenEvaluierung,mitdemZiel,diezuevaluierendeEinrichtunginihrerBemühungumQualitätssicherungundQualitätsentwicklungzuunterstützen.

EineGruppevonFachkollegInnenausanderenEinrichtungen, sogenanntePeers,wirdeingeladen,dieQualität inverschiedenenBereichender Institutionzubeurteilen,z.B.dieQualitätdesValidierungspro-zessesineinzelnenAbteilungenoderindergesamtenOrganisation.WährenddesEvaluierungsprozessesbesuchendiePeersdiezuevaluierendeEinrichtung.

PeerReviewOrganisatorIn

Der/Die Peer Review OrganisatorIn ist verantwortlich für die Organisation und den reibungslosenAblaufdesPeerReviewsanderValidierungseinrichtung.Er/Siekümmertsichdarum,dassdiePeersrechtzeitigeingeladenwerden,dassderSelbstberichtfertiggestelltundallenPeerszugesandtwirdunddassderPeerBesuchvorOrtvorbereitetwird.Er/Sie istauchHauptansprechpartnerIn fürdiePeerswährenddesgesamtenPeerReviewVerfahrens.

PeerReviewBericht

DerPeerReviewBerichtistdieschriftlicheDokumentationdesPeerReviews.ErwirdvondenPeerserstellt. Für gewöhnlich verfasst der/die Peer KoordinatorIn in Kooperation mit dem/der Evaluie-rungsexpertIndenBerichtaufBasisderNotizen,diediePeerswährenddesBesuchsgemachthaben,deninternenDiskussionenzwischendenPeersunddenErgebnissenderFeedback-Sitzungbzw.derkommunikativenValidierung.AllePeers leisteneinenBeitrag zumBerichtund tragenalsTeamge-meinsamdieVerantwortungdafür.

PeerTandems

JeweilszweiPeersbildeneinPeerTandem.Eswirdempfohlen,dassbeiallenAktivitätenderDaten-erhebungimmerzweiPeersanwesendsind.DiesstellteinewichtigeVoraussetzungfüreinfairesundausgewogenesVerfahrendar,dabeizweiinvolviertenPersonendieWahrscheinlichkeitvonsubjekti-ven und willkürlichen Beurteilungen wesentlich reduziert werden kann (Vier-Augen-Prinzip). ZweiPersonennehmenzudemmehrwahralseinePerson.InderPraxisbedeutetdies,dasssichdasPeerTeaminPeerTandemsaufteilt.DieDatenerhebungerfolgtdurchparalleleAktivitätenderPeerTan-dems,wodurchderProzessaucheffizienterwird.


52

PeerReviewNetzwerk

Peer Reviewswerden oft imRahmen vonNetzwerken vonEinrichtungen durchgeführt. EinNetzwerkkanneigensfürdieOrganisationvonPeerReviewseingerichtetwerden.AlternativdazukannsichaucheinbestehendesNetzwerkfürdieDurchführungvonPeerReviewsentscheiden.PeerReviewNetzwerkekönnensichalswertvolleStrukturenfürdenAustauschvonguterPraxisundfüreinegemeinsameArbeitanderVerbesserungdesgesamtenValidierungsbereicheserweisen.

Validierungsanbieter/einrichtung

Die Begriffe "Validierungsanbieter" und "Validierungseinrichtung" werden im Europäischen PeerReviewHandbuchsynonymverwendet.

QualitätderValidierungvonnicht-formalemundinformellemLernen(VNFIL)

„Qualität“ isteinallgemeinerundkontextabhängigerBegriff.QualitätkannmitderErreichungvonZielengleichgesetztwerden.AndersausgedrücktbedeutetQualität, inwelchemAusmaßdieErfah-rung (Wirklichkeit)mit den Erwartungen (Zielen) übereinstimmt. Für das Europäische Peer ReviewVerfahrenwurdenwichtigeQualitätsbereichedefiniert,umaufzuzeigen,welcheAspekteeinerEin-richtungfürdieQualitätderValidierungausschlaggebendsind.

SelbstevaluierungderValidierungseinrichtung

Selbstevaluierung isteineEvaluierung,diedurchdieValidierungseinrichtungselbstdurchgeführtwird.SelbstevaluierungstellteinenwichtigenAnsatzdar,umQualitätssicherungundQualitätsentwicklungaufinstitutionellerEbeneinganzEuropazufördern.EinemPeerReviewmusseineSelbstevaluierungvoran-gehen. Die Ergebnisse der Selbstevaluierung stellen die Basis für das Peer Review dar. Siewerden imSelbstberichtdokumentiert.

Selbstbericht

DerSelbstberichtbeinhaltetdieErgebnissederSelbstevaluierungderEinrichtung,dievoreinemPeerReviewdurchgeführtwerdenmuss.DerSelbstberichtbildetdieGrundlagefürdasPeerReview.

Stakeholder/Betroffene und Beteiligte/Anspruchsgruppen inderValidierungDieBegriffeStakeholder,BetroffeneundBeteiligteundAnspruchsgruppenwerdensynonymverwendet.

StakeholderinderberuflichenBildungsind• KandidatInnen• MitarbeiterInnen(ManagerInnen,BeraterInnen/BewerterInnen,administrativesPersonal,• Unternehmen(alsKooperationspartnerInnen inderValidierung,alszukünftigeArbeitgeberund

alsBegünstige/KundenvonPersonalentwicklungdurchValidierung)• Bildungseinrichtungen, diedie Ergebnisse vonValidierungnutzenoderAbsolventInnenals Ler-

nendeaufnehmen,• Sozialpartner• Behördenetc.

Die Einbeziehung verschiedener Anspruchsgruppen in den gesamten Review Prozess wird besondersempfohlen.ErstenserforderteinehochqualitativeEvaluierungdieBeteiligungvonStakeholdernimPro-zess.7ZweitenskommtdenStakeholderneinehoheBedeutungfürdieQualitätssicherungundQualitäts-entwicklunginderValidierungzu.

7Cf.theStandardsforEvaluationofEducationalProgrammesoftheJointCommitteeonStandardsforEducationalEvaluation(1994).


53

SummativeEvaluation

BeidersummativenEvaluation8 gehtesumeinebilanzierende(End)ÜberprüfungderQualitätundNützlichkeitdesEvaluierungsgegenstandes.Dieserkannz.B.einQualitätsbereich,einegesamteOr-ganisation,einProgramm,einProjekt,einProdukt,eine Intervention,einePolitikodereinePersonsein.SummativeEvaluationenzielenaufdieQualitätskontrolleundexterneRechenschaftslegungab.Siebasierenhäufigaufquantitativenundvergleichenden InformationenundenthaltenEmpfehlun-genübermöglicheMaßnahmen,wiez.B.dieBeibehaltung,AusweitungoderReduzierungdesEvalu-ierungsgegenstandes. Sie unterstützen daher auch den Entscheidungsprozess politischer BehördenundFörderstellen.

Triangulation

InderSozialforschungwirddieMethodederEinbeziehungverschiedenerMethodenundInformati-onsquellenfürdieDatenerhebungalsTriangulationbezeichnet.DurchTriangulationwirddieQualitätder Evaluierung in Hinblick auf Objektivität, Zuverlässigkeit und Validität erhöht. Die Berücksichti-gungverschiedener Standpunkte vonunterschiedlichenbetroffenenundbeteiligtenGruppenwäh-renddesPeerBesuchsermöglichtesdenPeers,sicheinpräziseres,passenderesundganzheitlicheresBildzumachen.

VNFILVNFIL istdasAkronym für „Validierungvonnicht-formalemund informellemLernen“bzw.Validie-rungderLernergebnissevonnicht-formalemundinformellemEsgibtvieleSynonyme(v.a.imEnglischen):RPL:RecognitionofPriorLearningAPL:AccreditationofPriorLearningAPEL:AccreditationofPriorExperimentalLearningVPL:ValidationofPriorLearningRVC:Recognition,ValidationandCertification

8Cf.GlossarwirkungsorientierteEvaluation,Univation-InstitutfürEvaluationDr.Beywl&AssociatesGmbH,Köln(2004)res.Eval-Wiki:GlossarderEvaluation(https://eval-wiki.org/glossar/Eval-Wiki:_Glossar_der_Evaluation) andNancyVanNoteChism:PeerReviewofTeaching(1999).

EuropäischesPeerReviewHandbuchfürdieValidierung2018

Europäisches Peer Review Handbuch für die Validierung nicht … · 2018. 8. 14. · Zitati)...

Documents

Transcript of Europäisches Peer Review Handbuch für die Validierung nicht … · 2018. 8. 14. · Zitati)...