Nichts ist so praktisch wie eine gute Theorie Kritische ... · Anne Margarian Kritische...

Anne MargarianAnne MargarianAnne MargarianAnne Margarian

Kritische Politikbewertung jenseits der EvidenzAnne MargarianAnne MargarianAnne MargarianAnne MargarianThünen-Institut für Ländliche Räume

Wien, den 2.7.2015Wien, den 2.7.2015Wien, den 2.7.2015Wien, den 2.7.2015

Nichts ist so praktisch wie eine gute TheorieNichts ist so praktisch wie eine gute TheorieNichts ist so praktisch wie eine gute TheorieNichts ist so praktisch wie eine gute Theorie


Theorie der „zwei Welten“Theorie der „zwei Welten“Theorie der „zwei Welten“Theorie der „zwei Welten“

02.07.2015 „Den Wirkungen auf der Spur“ - Frühjahrsworkshop des AK-StrukturpolitikSeite Seite Seite Seite 2222

Wissenschaftl.(middle range)

Theorie

Politik (des muddling

through?)

Forschung legitimiert sich

gegenüber Politik als Geldgeber

Politik legitimiert sich über Forschung

gegenüber Öffentlichkeit


Kontrafaktische Analyse: Minimierung der Kontakte …Kontrafaktische Analyse: Minimierung der Kontakte …Kontrafaktische Analyse: Minimierung der Kontakte …Kontrafaktische Analyse: Minimierung der Kontakte …


Intervention


Theorie

Experimentelle/ kontrafaktische

Wirkungsanalyse


through?)

ZieleZieleZieleZiele

ErgebnisseErgebnisseErgebnisseErgebnisse


Minimaler Informationsbedarf im ExperimentMinimaler Informationsbedarf im ExperimentMinimaler Informationsbedarf im ExperimentMinimaler Informationsbedarf im Experiment


Treatment-Variable

Effekt-Variable

Auch Experimente sind kein Wundermittel – s. Jere R. Behrman and Petra E. Todd, 1999,

Randomness in the experimental samples of PROGRESA, IFPRI; Washington, D.C.


Bewertung ohne Experiment …Bewertung ohne Experiment …Bewertung ohne Experiment …Bewertung ohne Experiment …

… erfordert weitere Informationen:


Selektierende Variable

Mechanismus-Variable (Mediator)

Treatment-Variable

Effekt-Variable

Einfluss-Variable

Nicht inten-dierter Effekt

Einfluss-Variable

Moderator-Variable

Inspiriert durch den Vortrag „Moderne Methoden der Kausalanalyse“

von Prof. Dr. Josef Brüderle, LMU München

Front-Door

Back-Door

ColliderJudea Pearl, 2008 (8. Auflage): Causality: Models, Reasoning, and Inference.

: Kontrolle


Bewertung ohne Experiment … Bewertung ohne Experiment … Bewertung ohne Experiment … Bewertung ohne Experiment …

… erfordert weitere Informationen:


Unternehmens-struktur

Wissens-austausch

Netzwerk-förderung

Arbeits-Plätze

Studienplatz-nachfrage

Hochschul-aktivität

Investitionen

Lokaler Wettbewerb

Innovation

: Kontrolle

Inspiriert durch den Vortrag „Moderne Methoden der Kausalanalyse“

von Prof. Dr. Josef Brüderle, LMU München

Moderator

Front-Door

Back-Door

Collider


Woher kommen die Annahmen?Woher kommen die Annahmen?Woher kommen die Annahmen?Woher kommen die Annahmen?



AlltagstheorienAlltagstheorienAlltagstheorienAlltagstheorien

Alltagstheorien enstammen der unmittelbaren Erfahrung.

Interventionslogiken oder Programmtheorien sind oft Alltagstheorien:

• plausibel und kommunizierbar aber

• unterkomplex und voller verdeckter Annahmen

• Ohne Berücksichtigung weiterer Effekte


Wissens-austausch

Netzwerk-förderung

Arbeits-Plätze

Innovation

Front-Door

„Theory of action“ „Theory of change“


Vereinheitlichte Theorie

Middle Range Theory

Arbeitshypothese

Wissenschaftliche TheorienWissenschaftliche TheorienWissenschaftliche TheorienWissenschaftliche Theorien

„The term [sociological] theory refers to logically interconnected sets of propositions from which empirical uniformities can be derived” (Merton, 1949)

Middel range theory „introduces a ground for prediction which is more secure than mere empirical extrapolation from previously observed trends” (Merton, 1967)



Exkurs Exkurs Exkurs Exkurs interne interne interne interne vs. externe Validitätvs. externe Validitätvs. externe Validitätvs. externe Validität


Korrekte Kausalerklärung für jeden Fall

Mißachtung der Rahmenbedingungen

InterneValidität

Möglich trotz fehlender interner

Validität

Aber dann Gefahr durch unbekannte kritische Faktoren

Externe Validität

InduktionDeduktion


Multi-goal evaluation (Chen and Rossi, 1980)

• Nichts in der Black box

• Teilweise deduktiv

• Externe Validität über Link zu wiss. Theorie

• Basiert auf wiss. Theorie

(Program-)Theory based evaluation (Carol Weiss,

1987)

• Viele Hypothesen in der Black box

• Eher induktiv

• Externe Validität weniger wichtig

• Basiert auf Programm Theorie

Realist evaluation (Pawson and Tilley, 1997)

• Handelnde Akteure in der Black box

• Eher induktiv

• Externe Validität über Vergleich mit anderen Programmen

• Basiert auf Akteurs-Theorien

Unterschiedliche Erwartungen an ProgrammtheorieUnterschiedliche Erwartungen an ProgrammtheorieUnterschiedliche Erwartungen an ProgrammtheorieUnterschiedliche Erwartungen an Programmtheorie



„Komplexitäts„Komplexitäts„Komplexitäts„Komplexitäts----Erhaltungssatz“Erhaltungssatz“Erhaltungssatz“Erhaltungssatz“



Theorie


through?)

Begründete Differenziertheit von

Intervention und Programmtheorie

Reichweite der Theorie der Bewertung


Nichts ist so praktisch wie eine überprüfte TheorieNichts ist so praktisch wie eine überprüfte TheorieNichts ist so praktisch wie eine überprüfte TheorieNichts ist so praktisch wie eine überprüfte Theorie



Wissens-austausch

Arbeits-Plätze

Investitionen

Lokaler Wettbewerb

Innovation


Überprüfung der theoretischen KonsistenzÜberprüfung der theoretischen KonsistenzÜberprüfung der theoretischen KonsistenzÜberprüfung der theoretischen Konsistenz



Wissens-austausch

Arbeits-Plätze

Investitionen

Lokaler Wettbewerb

InnovationNetzwerk-förderung


Erweiterung der Programmlogik entlang der TheorieErweiterung der Programmlogik entlang der TheorieErweiterung der Programmlogik entlang der TheorieErweiterung der Programmlogik entlang der Theorie



Wissens-austausch

Arbeits-Plätze

Investitionen

Lokaler Wettbewerb

InnovationNetzwerk-bildung

Netzwerk-förderung

Koordination (-sprobleme?)

: Kontrolle

Jobless Growth?

Arbeitssparende Technologie?

Produktions-verlagerung?

Internatio-nalisierung?

Andere Maßnahme


Theorie hilft gegen GespensterTheorie hilft gegen GespensterTheorie hilft gegen GespensterTheorie hilft gegen Gespenster


… und verlässt sich nicht auf statistische Effekte.

Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …Der theoriebasierte Ansatz besteht auf kausalen Erklärungen …

… sondern begründete und unbegründete Interventionen.

Es gibt keine „Mitnahmeeffekte“…Es gibt keine „Mitnahmeeffekte“…Es gibt keine „Mitnahmeeffekte“…Es gibt keine „Mitnahmeeffekte“…

… sondern kausale Beziehungen und unerklärte beobachtete Zusammenhänge.

Es gibt keine „BruttoEs gibt keine „BruttoEs gibt keine „BruttoEs gibt keine „Brutto---- und Nettoeffekte“ …und Nettoeffekte“ …und Nettoeffekte“ …und Nettoeffekte“ …

… sondern vielfältige Wirkungen in wechselseitigen kausalenBeziehungen.

Es gibt keine „Synergieeffekte“ …Es gibt keine „Synergieeffekte“ …Es gibt keine „Synergieeffekte“ …Es gibt keine „Synergieeffekte“ …


Ist die Programmtheorie falsch oder die wiss. Theorie?Ist die Programmtheorie falsch oder die wiss. Theorie?Ist die Programmtheorie falsch oder die wiss. Theorie?Ist die Programmtheorie falsch oder die wiss. Theorie?


Wissens-austausch

Arbeits-Plätze

Investitionen

Innovation(Netzwerk-) Förderung

Kapitalmarkt: Kontrolle


Transparenz über die getroffenen Annahmen!Transparenz über die getroffenen Annahmen!Transparenz über die getroffenen Annahmen!Transparenz über die getroffenen Annahmen!


Ergebnis der Diskussion „in a nutshell“:Ergebnis der Diskussion „in a nutshell“:Ergebnis der Diskussion „in a nutshell“:Ergebnis der Diskussion „in a nutshell“:


Die Theorie

schneidet den Begründungsregress ab

schafft Transparenz über Paradigmen und Annahmen.

Die Theorie dient

der Begründung der Intervention

ihrer gezielten Ausrichtung auf die, die ihrer bedürfen

der Ermittlung und Erklärung von Wirkungen, bzw. ihrem Ausbleiben.

Die Theorie ermöglicht

eine fundierte Kritik der Forschung und

eine grundsätzliche Kritik der Politik.


Offenlegung von Annahmen &

Paradigmen relativiert wiss. Antworten

Offenlegung von Zusammenhängen

hinterfragt politische Lösungen

Gefährdet die Relativierung die gegenseitige Gefährdet die Relativierung die gegenseitige Gefährdet die Relativierung die gegenseitige Gefährdet die Relativierung die gegenseitige Legitimierung?Legitimierung?Legitimierung?Legitimierung?



Theorie


through?)Forschung

legitimiert sich gegenüber Politik

als Geldgeber

Politik legitimiert sich über Forschung

gegenüber Öffentlichkeit

ABERABERABERABER


Theoretische Fundierung …Theoretische Fundierung …Theoretische Fundierung …Theoretische Fundierung …


… fördert Transparenz

… ermöglicht den kontinuierlichen Aufbau von Wissen

… ermöglicht grundsätzliche Kritik

… verhindert die gegenseitige Vereinnahmung

… fördert und erfordert gelungene Kommunikation zwischen „zwei

Welten“!


Hohe Transparenz erfordert mehr KommunikationHohe Transparenz erfordert mehr KommunikationHohe Transparenz erfordert mehr KommunikationHohe Transparenz erfordert mehr Kommunikation


InterventionProgramm-

theorie/ Alltagstheorie


Theorie

Experimentelle/ kontrafaktische

Wirkungsanalyse

Theoriebasierte Wirkungsanalyse


through?)

Annahmen Annahmen Annahmen Annahmen und Zieleund Zieleund Zieleund Ziele

Annahmen Annahmen Annahmen Annahmen und Ergebnisseund Ergebnisseund Ergebnisseund Ergebnisse

Nichts ist so praktisch wie eine gute Theorie Kritische ... · Anne Margarian Kritische...

Documents

Transcript of Nichts ist so praktisch wie eine gute Theorie Kritische ... · Anne Margarian Kritische...