Deutsch als Zweitsprache:

Experimentelle MethodenWS 2013/2014

InferenzstatistikTübingen, 28. November 2013

Experimentieren

• Unabhängige Variable(n) (UV) bzw. Faktor(en) bzw. Prädiktor(en)

• Abhängige Variable (AV) bzw. Kriterium• Experiment prüft eine Hypothese über die Wirkung von UV

auf AV:-UV hat eine Wirkung auf AV (ungerichtete Hypothese)-UV hat eine bestimmte Wirkung auf AV (gerichtet Hypothese)-UV hat eine von verschiedenen bestimmten Wirkungen auf AV

Zwischen UV und AV besteht eine gerichtete Beziehung, die kausal interpretiert wird

Experimentieren

• Experiment prüft eine Hypothese über die Wirkung von UV auf AV, z.B.:„Ein Text mit einem Personalpronomen im Deutschen ist akzeptabler, wenn sich das Pronomen auf den salientesten Antezedent bezieht (im Fokus), im Vergleich zu einem weniger salienten Antezedenten (z.B. aktiviert)“

• UV?• AV?

Salienz des AntezedentenAkzeptabilität des Textes

Experimentieren• UV: Salienz des Antezedenten: was tun?• die (Ausprägung der) UV wird im Experiment manipuliert

-Wir brauchen einen Text, der ein Personalpronomen enthält.-Wir brauchen (im minimalen Fall) zwei relevante Antezedenten,

von denen einer der salientere und damit (im minimalen Fall) der salienteste ist.

-Wir brauchen Kenntnis darüber, wie wir die Salienz der Antezedenten über sprachliche Mittel entsprechend manipulieren können (Anm.: diese Kenntnis muss nicht umfassend sein).

-Wir brauchen eine Möglichkeit, die Anbindung des Pronomens so zu manipulieren, dass sich das Pronomen wahlweise auf den salientesten Antezedenten oder den weniger salienten Antezedenten bezieht.

-Wir wollen Alternativerklärungen für einen stützenden Befund soweit wie möglich ausschließen, z.B. durch das Manipulieren oder Kontrollieren zusätzlicher relevanter Variablen.

Experimentieren• AV: Akzeptabilität des Textes: was tun?• die (Ausprägung der) AV wird im Experiment beobachtet,

genauer: gemessen!-Wie können wir die Akzeptabilität eines Textes beobachten?-Antwort: gar nicht

•Lösung: Operationalisierung der Hypothese durch Angabe einer Messvorschrift für die AV

Experimentieren• „Ein Text mit einem Personalpronomen im Deutschen ist

akzeptabler, wenn sich das Pronomen auf den salientesten Antezedent bezieht (im Fokus), im Vergleich zu einem weniger salienten Antezedenten (z.B. aktiviert)“

• Operationalisierung der Hypothese: Akzeptabilitätsurteil

• „Ein Text mit einem Personalpronomen im Deutschen wird als akzeptabler beurteilt, wenn sich das Pronomen auf den salientesten Antezedent bezieht (im Fokus), im Vergleich zu einem weniger salienten Antezedenten (z.B. aktiviert)“

Experimentieren• „Ein Text mit einem Personalpronomen im Deutschen wird als

akzeptabler beurteilt, wenn sich das Pronomen auf den salientesten Antezedent bezieht (im Fokus), im Vergleich zu einem weniger salienten Antezedenten (z.B. aktiviert)“

• Experimentieren: wozu? Intuition der (Armchair-) Linguisten!

• „Ein Text mit einem Personalpronomen im Deutschen wird von Muttersprachlern des Deutschen als akzeptabler beurteilt, wenn sich das Pronomen auf den salientesten Antezedent bezieht (im Fokus), im Vergleich zu einem weniger salienten Antezedenten (z.B. aktiviert)“

• Die Hypothese formuliert eine Aussage über eine Population, hier: darüber, wie sich Muttersprachler des Deutschen verhalten

Experimentieren• Die Hypothese formuliert eine Aussage über eine Population• Im Experiment können wir nur eine Stichprobe beobachten, die

repräsentativ für die Population sein soll (Zufallsstichprobe)• Können wir von den Beobachtungen in der Stichprobe darauf

schließen (= inferieren), was in der Population der Fall ist?• z.B.: wenn der vorhergesagte Mittelwertsunterschied in der

Stichprobe beobachtet wird, ist er dann in der Population vorhanden?

• Was könnte dagegen sprechen?• Es könnte der Fall sein, dass der Mittelwertsunterschied in der

Stichprobe nicht dadurch zustande kam, weil er in der Population existiert (H1), sondern er könnte zufällig entstanden sein (H0)

Experimentieren• Alternativhypothese H1:• „Ein Text mit einem Personalpronomen im Deutschen wird von

Muttersprachlern des Deutschen als akzeptabler beurteilt, wenn sich das Pronomen auf den salientesten Antezedent bezieht (im Fokus), im Vergleich zu einem weniger salienten Antezedenten (z.B. aktiviert)“

• Nullhypothese H0:• „Ein Text mit einem Personalpronomen im Deutschen wird von

Muttersprachlern des Deutschen NICHT als akzeptabler beurteilt, wenn sich das Pronomen auf den salientesten Antezedent bezieht (im Fokus), im Vergleich zu einem weniger salienten Antezedenten (z.B. aktiviert)“

• Wie kann es passieren, dass der Mittelwertsunterschied in der Stichprobe zufällig entsteht?

Experimentieren• Wie kann es passieren, dass der Mittelwertsunterschied in

der Stichprobe zufällig entsteht?• Antwort: beim Messen (Messfehler; Störvarianz)

ExperimentierenMessen: vom empirischen Relativ zum numerischen Relativ• Ein empirisches Relativ besteht aus einer Menge von Elementen, denen

Merkmalsausprägungen eigen sind, sowie ihren Relationen zueinander.• Über die Relationen zwischen den Merkmalsausprägungen (von UV und

AV) macht die Hypothese eine Aussage• Beim Messen wird das empirische Relativ in ein numerisches Relativ

abgebildet, auf dem statistische Berechnungen durchgeführt werden können.

• Exkurs Skalenniveau: Vom Messen hängt ab, welche Interpretationen des numerischen Relativs zulässig sind:

-Nominalskala: x1 = x2, x1 ≠ x2

-Ordinalskala: x1 < x2, x1 > x2

-Intervallskala: (x1 ─ y1 = x2 ─ y2), (x1 ─ y1 < x2 ─ y2), (x1 ─ y2 > x2 ─ y2)-(Verhältnisskala): hat einen Nullpunkt → Verhältnisse interpretierbar

Experimentieren• Wie kann es passieren, dass der Mittelwertsunterschied in

der Stichprobe zufällig entsteht?• Antwort: beim Messen (Messfehler; Störvarianz)• Der Messwert setzt sich zusammen aus dem wahren Wert

plus dem Fehler ε• z.B. Akzeptabilitätsurteil = Akzeptabilität + Fehler ε• Annahme: ε ist normalverteilt

Experimentieren• z.B. Akzeptabilitätsurteil = Akzeptabilität + Fehler ε• Annahme: ε ist normalverteilt

• Verteilung der Population der Akzeptabilitätsurteile mit dem Mittelwert μ0 und der Fehlervarianz σ0

• Der Mittelwert μ0 entspricht dem wahren Wert des Akzeptabilitätsurteils der Akzeptabilität

μ0

Experimentieren• Der Mittelwert μ0 entspricht der Akzeptabilität• Hypothese für Mittelwertsunterschied für Texte mit Pronomen mit

salienten Antezedenten und weniger salienten Antezedenten besagt: es gibt zwei verschiedene Populationen von Akzeptabilitätsurteilen mit den Mittelwerten μ1 und μ2

μ1 μ2

Experimentieren• Seien die Stichprobenmittelwerte und hypothesenkonform• H1: die beiden Stichproben stammen aus verschiedenen Populationen• H0: beide Stichproben stammen aus derselben Population, der

Mittelwertsunterschied in den Stichproben ist durch Zufall entstanden

μ0 μ1 μ2

Modell H0 Modell H1

Experimentieren• Seien die Stichprobenmittelwerte und hypothesenkonform• Je größer der Mittelwertsunterschied zwischen und je kleiner die Varianzen

in den Populationen im Modell H1, desto geringer ist die Wahrscheinlichkeit, dass der Mittelwertsunterschied zufällig zustandekam.

• Allgemeiner Zusammenhang: Je größer die Varianz, desto schlechter wird der Populationsmittelwert durch die Stichprobe geschätzt (Standardfehler)

• Allgemeiner Zusammenhang: Je größer die Stichprobe, umso besser werden die Populationsparameter geschätzt

μ0 μ1 μ2

Modell H0 Modell H1

Experimentieren• (Student-) t-Verteilung: Wahrscheinlichkeitsverteilung der Mittelwerte der

Stichproben des Umfangs n aus einer Standardnormalverteilung• Standardnormalverteilung = Normalverteilung mit μ = 0 und σ = 1

𝑡−Test f ü r 2unabhängige Stichproben:𝑡=(𝑥1−𝑥2)σ̂(𝑥1−𝑥2)

σ̂(𝑥1−𝑥2)=√∑𝑖=1

𝑛1

(𝑥 𝑖1−𝑥1❑)2+∑

𝑖=1

𝑛2

(𝑥 𝑖2− 𝑥2❑)2

(𝑛1−1 )+ (𝑛2−1 )·( 1𝑛1

+ 1𝑛2

)

• Standardfehler des Mittelwerts (korrigierte gemittelte Stichprobenvarianzen)

Experimentieren• (Student-) t-Verteilung: Wahrscheinlichkeitsverteilung der Mittelwerte der

Stichproben des Umfangs n aus einer Standardnormalverteilung• Standardnormalverteilung = Normalverteilung mit μ = 0 und σ = 1

• t-Wert erlaubt Aussage darüber, wie wahrscheinlich es ist, dass ein Stichprobenmittelwertsunterschied bei gegebenem Standardfehler mit gegebenen Freiheitsgraden (Stichprobenumfang n – 1) im Modell H0 vorkommt.

Experimentieren• t-Wert erlaubt Aussage darüber, wie wahrscheinlich es ist, dass ein

Stichprobenmittelwertsunterschied bei gegebenem Standardfehler mit gegebenen Freiheitsgraden (Stichprobenumfang n – 1) im Modell H0 vorkommt.

• Diese Wahrscheinlichkeit entspricht der Irrtumswahrscheinlichkeit, vom Stichprobenmittelwert auf das Populationsmodell H1 zu schließen, obwohl das Populationsmodell H0 zutrifft

• Diese Wahrscheinlichkeit heißt -Fehler• Die Inferenzstatistik minimiert den -Fehler: ein Mittelwertsunterschied gilt

dann als statstisch signifikant, wenn der -Fehler kleiner als 5% ist: p < .05

Experimentieren• Varianzanalyse: Generalisierung des t-Tests• Varianzanalytisch gesprochen: Modell H1 wird angenommen, wenn die

durch H1 aufgeklärte Varianz relativ zur Fehlervarianz (Varianz in H0) signifikant groß ist

μ0 μ1 μ2

Modell H0 Modell H1