Was kann wie evaluiert werden? - sfa-ispa.ch · Methode: Charakteristik der Methode: Varianten der...
Transcript of Was kann wie evaluiert werden? - sfa-ispa.ch · Methode: Charakteristik der Methode: Varianten der...
1
Was kann wieevaluiertwerden?
Holger Schmid, Dr. phil., Vize-Direktor
Schweizerische Fachstelle für Alkohol-und andere Drogenprobleme,
Lausanne
www.sfa-ispa.ch
2
Erwartungen an den Workshop
• Antwort auf die Frage: Was kann wie evaluiert werden?
• Austausch von Erfahrungen• Diskussion rund um die Evaluation• Informationen zur Evaluation
3
Antwort
• Alles kann irgendwie evaluiert werden
• Nicht alles muss evaluiert werden• Präventions- und
Gesundheitsförderungsprogramme sollten nach den höchst möglichen wissenschaftlichen Standards evaluiert werden
4
Nicht alles muss evaluiert werden
Heute wollen wir die Wirkung des Fallschirms testen:
Sie als Versuchsperson wissen nicht, ob sie einen Fallschirm im Rucksack haben, oder einen Stoffballen (Placebo). Auch wir Versuchsleiter wissen nicht welche Bedingung vorliegt (Doppelblindversuch). Sie wurden per Zufall auf die beiden Bedingungen verteilt (Randomisierung).
Nur durch diese Anlage ist die Wirkung des Fallschirms nachzuweisen. Dies ist auch der Standard in den medizinischen Wirkungsforschung.
5
Definition• Evaluation [lat.-engl.], sachgerechte Bewertung. • Evaluation
– Bewertung– irgendeines Beurteilungsgegenstandes– durch irgend jemanden– in irgendeiner Weise– nach irgendwelchen Kriterien
• Evaluationsforschung– Bewertung von– Produkten, Projekten, Programmen, Politiken ...
(auch Institutionen)– durch besonders befähigte Personen– unter Verwendung wissenschaftlicher Methoden
und Verfahren– nach explizit auf Evaluationsobjekt bezogenen
Kriterien / Standards
6
Ziele• Evaluationsforschung zielt auf
– das Konzept (insbesondere Zielsetzungen), – die Struktur (gesetzliche Bestimmungen,
Ausstattung uvm.), – den Prozess (z.B. Ablauf des pädagogischen
Geschehens, Reaktionen der Teilnehmenden darauf) und
– das Ergebnis (kognitive/affektive Effekte bei den Zielgruppen bzw. Änderungen ihres Verhaltens).
7
Evaluationsobjekte• Behandlungen „Treatments“
– Projekte (einzelne Angebote, Hilfen, Interventionen, Aktionen)
– Programme (mehrere Maßnahmen / Projekte)– Politiken (z.B. kommunale Jugendhilfepolitik)
• Organisationen / Systeme (z.B. Jugendzentrum, Rehabilitationseinrichtung)
• Personen / Personal (z.B. Lehr-, Pflegepersonal)• Produkte (z.B. Spielgeräte, Medikamente)• Forschungsergebnisse / Evaluationsstudien zur
methodischen / fachlichen Güteprüfung
8
Unterricht und Training
9
Rollen in der Evaluationsforschung
• Auftraggeber der Evaluation• Programm-
– theoretiker– entwickler– gestalter
• Aus- und Durchführende des Programms• Betroffene (Klient/-innen, Patient/-innen
oder Verbraucher/-innen)• Evaluationsforscher/-innen Beispielbox
Interne vs. externe Evaluation (SFA)
10
Fragen, die vor der Evaluation zu klären sind
• Für wen wird evaluiert? (siehe Rollen oben)
• Warum wird evaluiert? (z.B. Schutz der Betroffenen, Förderung der Gesundheit, politische Profilierung)
• Was wird evaluiert? (Planung, Durchführung, Ergebnisse eines Programms)
• Nach welchen Modellen/Methoden wird evaluiert?
11
Auswahl und Entscheidung über MethodenVertraut werden mit Dienstleistungsprogrammen im Gesundheitssektor
Vertraut werden mit dem zu evaluierenden Programm
Suche ein anderesProjekt
Ist eine Programm-evaluation möglich?
Nein
JaWie können die interessierenden Variablen gemessen werden?
Bestimme den Typ der benötigten Evaluation
12
Messung der Variablen• Vier Variablenbereiche sind mit
empirischen Daten abzubilden1. Programm (Maßnahmen) (uV), 2. Programmziele, 3. Programm-Umwelt (Störvariablen), 4. beabsichtigte und nicht-
beabsichtigte Wirkungen/Effekte (= Kriterien der Zielerreichung) (aV)
13
DatenerhebungsmethodenMethode: Charakteristik der
Methode:Varianten der Methode:
Interview Interpersonelle Rollensituation mit Befrager/-in und Befragtem
- standardisiert- halb-standardisiert- unstandardisiert
Fragebogenerhebung Papier- und Bleistiftverfahren mit Einleitung (was wird untersucht?), demographischen Fragen und den inhaltlichen Fragen
- Fragen mit festgelegten Antwortalternativen
- offene Fragen
objektive Tests und Skalen Verfahren, das nach wissenschaftlichen Kriterien konstruiert wurde
- Intelligenz- & Fähigkeitstests- Tests zur Prüfung von Kenntnissen und Fertigkeiten
- Persönlichkeitstests- Einstellungs- und Wertskalen
Verhaltensbeobachtung Menschliches Verhalten steht im Blickpunkt
- Selbstbeobachtung- Fremdbeobachtung
Projektive Verfahren Verfahren zur Untersuchung der Reaktionen auf unstrukturiertes Reizmaterial
- Assoziationstechniken- Konstruktionsverfahren- Ergänzungsverfahren- Expressive Verfahren
14
DatenerhebungsmethodenMethode: Charakteristik der
Methode:Varianten der Methode:
Inhaltsanalyse Systematische, objektive und quantitative Analyse von sprachlichem oder geschriebenem Material, um Merkmale zu erfassen
- sprachliches Material- geschriebenes Material
Soziometrie Messung zwischenmenschlicher Präferenzen
- Soziomatrizen- Soziogramme- soziometrische Indizes
Semantisches Differential Erfassung der psychologischen Bedeutung von Begriffen
Q-Methodologie Sortieren von Reizobjekten nach einer vorgegebenen Verteilung (Normalverteilung)
Bei allen Methoden stellt sich die Frage nach Objektivität (Unabhängigkeit vom Tester/-in), Reliabilität (Zuverlässigkeit) und Validität (Gültigkeit)
15
Auswahl und Entscheidung über Methoden
Möchte der Auftraggeber Hilfebei der Programmplanung?
Planungsmethode: Bedarfsanalyse; Delphi etc.
Nein
Ja
Möchte der Auftraggeber wissen,ob das Programm nach Plan läuft?
Programmsteuerungs-methode: Prozessevaluation
Nein
Ja
Möchte der Auftraggeber wissen,ob das Programm wirkt?
Programmbewertungs-methode: Ergebnisevaluation
Ja
16
Auswahl und Entscheidung über Methoden
Interessieren die Ergebnisse von Individuen oder Gruppen?
Verlaufskontrolle;Goal-attainment scaling etc.
Gruppen
Individuen
Reicht es, eine Verbesserungzu zeigen?
NichtexperimentelleEvaluationsmethode
Nein
Ja
Sollen nur die offensichtlichsten Gründefür Verbesserung ausserhalb des Programms ausgeschlossen werden?
QuasiexperimentelleEvaluationsmethode
Ja
Nein
Sollen alle möglichen Gründefür Verbesserung ausserhalb des Programms ausgeschlossen werden?
Echte experimentelleMethode
Ja
17
Auswahl und Entscheidung über Methoden
Müssen die Programmkostenberücksichtigt werden?
Ja
Methoden der Kosten-Nutzen-Analyse
Evaluation wie geplant durchführen
Nein
Evaluationsbericht
Anwendung und Umsetzung der Ergebnisse
18
Definieren der Ziele eines Projekts
Beispielbox
BAG: Wirkungsnachweis der Alkoholpolitiken in den Gemeinden
RADIX: Wirkungsnachweis des Projektes „Die Gemeinden handeln!“
Evaluation: Untersuchungsplan ungeeignet für Wirkungsaussagen
• Sammeln, klären, ordnen, schriftlich fixieren. • SMART: Specific – Measurable – Achievable - Relevant – Timely• Ziele der Prozessevaluation
– Ablauf des Projekts– Die Organisation des Projekts– Die Einschätzung der eingesetzten personellen und materiellen Mittel– Den Bekanntheitsgrad, die Akzeptanz, die Inanspruchnahme des Projekts
• Ziele der Ergebnisevaluation– Die Effekte (Wirkung eines Projekts)– Die Effektivität (Grad der Zielerreichung) – Die Veränderung in der Zielgruppe bzgl.
Kenntnissen, Einstellungen und Verhaltensweisen
• Ziele der Kosten-Nutzen-Analyse– Effizienz (Wirtschaftlichkeit)
• Hilfe: http://www.quint-essenz.ch
19
Evaluation in der Prävention• Kriterien zur Aufnahme in Metaanalysen
– Intervention (uV)• Ätiologie- und Interventionstheorie• Inhalt, Setting, Intensität, Dauer und Integrität der
Intervention– Planung und Verlauf
• Populationsgrösse, Verweigerungsraten, AttritionAnalysis
• Randomisierter Kontrollgruppenplan mit Vor- und Nachmessung und Follow-up
– Messung (aV)• Datenquellen, Erhebungsmethoden,
Kriterienvariablen– Ergebnisse
• Resultate inklusive statistischer Effektstärke
20
Randomisierung• Nur durch vergleichbare
Gruppen können die Ergebnisse verallgemeinert werden.
• Grundfrage: Wie können die zwei Gruppen gebildet werden, damit sie vergleichbar sind?
• Goldene Regel: Auswahl nach dem Zufallsprinzip (wie in der Lotterie) schafft vergleichbare Gruppen (Randomisierung)
• Standard in der medizinischen Wirkungsforschung (Therapien, Medikamente usw.)
Beispielbox
ESSKI: 78 Klassen werden zufällig in Kontrollgruppe, Schulintervention, Elternintervention und Schul+Elternintervention zugeteilt
Experiment Nichtrauchen: 180 Lehrpersonen finden sich zur Zuteilung in Experimentalgruppe und Kontrollgruppe bereit
Feelok „Cannabis“: Experimentalgruppe hat mehr Kiffer als Kontrollgruppe => Randomisierung gescheitert
21
Kausalität Bradford Hill* (1965)
1. Stärke der Beziehung2. Wiederholung des Ergebnisses3. Spezifität: Spezifische Ursache hat spezifische
Wirkung4. Zeitliche Beziehung Ursache – Wirkung5. Dosis-Wirkungsbeziehung6. Plausibilität7. Kohärenz mit anderen Forschungsansätzen8. Experimentelle Bestätigung9. Analogie mit ähnlichen kausalen Beziehungen
* Pionier der randomisierten klinischen Studie und zusammen mit Richard Doll der erste, der einen Zusammenhang zwischen Rauchen und Lungenkrebs bewies
22
Literatur• Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für
Sozialwissenschaftler. Berlin: Springer.• Hager, W. (2000): Evaluation psychologischer Interventionsmaßnahmen.
Verlag Hans Huber: Bern.• Meier, C. (1997): Leitfaden für die Selbstevaluation in der Projektarbeit mit
einem Beispiel aus der Suchtprävention. Lausanne: Schweizerische Fachstelle für Alkohol- und andere Drogenprobleme (SFA).
• Mittag, W. & Jerusalem, M. (1997). Evaluation von Präventionsprogrammen. In R. Schwarzer (Hrsg.), Gesundheitspsychologie: ein Lehrbuch. (S. 575-612). Göttingen: Hogrefe.
• Oakley, A., Fullerton, D. & Holland, J., et al. (1995). Sexual health education interventions for young people: a methodological review. British MedicalJournal, 310, 158-162.
• Rossi, P. (1988): Programm-Evaluation. Enke: Stuttgart.• White, D. & Pitts, M. (1998). Education young people about drugs: a
systematic review. Addiction, 93 (10), 1475-1487.• Wittmann, W. (1988): Evaluationsforschung. Springer Verlag: Berlin.• Wottawa, H. (1998): Lehrbuch Evaluation. Verlag Hans Huber: Bern.
23
Internet
• Kompetenzzentrum für Evaluation CCE des BAG: http://www.bag.admin.ch/evaluation/01771/index.html?lang=de
• Schweizerische Evaluationsgesellschaft SEVAL: http://www.seval.ch/de/index.cfm