Softwaretechnik

Prof. Dr. Rainer Koschke

Fachbereich Mathematik und InformatikArbeitsgruppe Softwaretechnik

Universitat Bremen

Wintersemester 2013/14

Uberblick I

Statistik bei kontrollierten Experimenten

Statistik bei kontrollierten Experimenten

Statistik bei kontrollierten ExperimentenHypothesen und StichprobenVerteilungenExperimente mit einem SampleExperimente mit zwei SamplesVerteilungsfreier U-TestWiederholungsfragen

3 / 37

Hypothese und statistischer Test

DefinitionStatistische Hypothese: Aussage uber eine statistischePopulation, die man auf Basis beobachteter Daten zu bestatigenoder zu falsifizieren versucht.

Hypothese:

”Die durchschnittliche Lange von Methoden in Java ist großer als

50 [loc]“

4 / 37

Vorgehen

1 Nimm an, dass die zu testende Hypothese wahr ist.

2 Untersuche die Konsequenzen dieser Annahme in Bezug aufdie Sampling-Verteilung, die von der Wahrheit der Hypotheseabhangt.

→ Falls die beobachteten Daten eine großeEintrittswahrscheinlichkeit haben, ist die Hypothese bestatigt.

→ Falls die beobachteten Daten eine sehr kleineEintrittswahrscheinlichkeit haben, gilt die Hypothese alswiderlegt.

→ Signifikanzniveau α legt die Wahrscheinlichkeit fest, ab derdie Hypothese als widerlegt betrachtet wird (konkreterSchwellwert: kritischer Wert).

Konvention: α = 0, 05 oder α = 0, 01

5 / 37

α ist die Wahrscheinlichkeit, eine eigentlich richtige Nullhypothese irrtumlich abzulehnen.

Nullhypothese und alternative Hypothese

DefinitionNullhypothese H0: die zu testende Hypothese.Alternative Hypothese H1: die Gegenthese zu H0.

Meist: H1 ist das, woran der Experimenator wirklich glaubt.→ Experiment soll H0 widerlegen.

6 / 37

Gerichtete und ungerichtete Hypothese

DefinitionUngerichtete Alternativhypothese: Nullhypothese postuliertkeinerlei Effekt.

Gerichtete Alternativhypothese: Nullhypothese postuliert keinenoder gegengerichteten Effekt.

Beispiel ungerichtete Alternativhypothese:

H1 = Pair-Programming und Single-Programmingunterscheiden sich in Qualitat.

H0 = Pair-Programming und Single-Programming lieferngleiche Qualitat.

Beispiel gerichtete Alternativhypothese:

H1 = Pair-Programming liefert bessere Qualitat alsSingle-Programming.

H0 = Pair-Programming liefert gleiche oder schlechtereQualitat als Single-Programming.

7 / 37

Die Nullhypothese druckt inhaltlich immer aus, dass Unterschiede, Zusammenhange, Veranderungen oderbesondere Effekte in der interessierenden Population uberhaupt nicht und/oder nicht in der erwarteten Richtungauftreten. Im Falle einer ungerichteten Forschungs- bzw. Alternativhypothese postuliert die Nullhypothese keinerleiEffekt. Im Falle einer gerichteten Alternativhypothese geht die Nullhypothese von keinem oder einemgegengerichteten Effekt aus.

– Bortz und Doring (2006)

Hypothesen und Stichproben

Sample = Population ⇒ absolute Wahrheit

Sample ⊂ Population ⇒ ?

Problem:

Jede Hypothesenuberprufung liefert statistischen Kennwert(z.B. Durchschnitt) fur ein bestimmtes Sample.

Wiederholung mit anderen Subjects/Objects liefertwahrscheinlich nicht exakt denselben Kennwert.

→ Kennwert ist Zufallsvariable1

Feststellung, ob Kennwert extrem oder typisch ist, ist ohneKenntnis der Verteilung der Zufallsvariablen unmoglich.

1Funktion, die den Ergebnissen eines Zufallsexperiments Werte (so genannteRealisationen) zuordnet.

8 / 37

Verteilungen

DefinitionVerteilung einer Variablen: beschreibt, welche Werte die Variableannehmen kann und wie oft sie das tut.

Gleichverteilung Normalverteilung

9 / 37

Haufige Kennwerte einer Verteilungen

Gegeben: n Datenpunkte x1, x2, . . . xn einer Variablen X.

Durchschnitt oder arithmetisches Mittel x = 1n ·∑n

i=1 xi

Varianz s2x = 1

n−1 ·∑n

i=1(xi − x)2

Standardabweichung sx =√s2x

10 / 37

Varianz und Freiheitsgrad

Varianz s2x = 1

n−1 ·∑n

i=1(xi − x)2

Warum Durchschnitt mit 1n−1 ?∑n

i=1(xi − x) = 0

→ (xn − x) kann berechnet werden, wenn x1, x2, . . . , xn−1

bekannt sind

→ nur n − 1 Summanden in∑n

i=1(xi − x)2 konnen frei variieren

→ n − 1 ist der Freiheitsgrad: Anzahl frei variierbarer Variablen

11 / 37

Der Freiheitsgrad besagt, wie viele der Variablen xi geandert werden konnen, so dass die Gleichung∑ni=1(xi − x) = 0 immer noch gilt.

Ein Beispiel: Wir haben die Werte 1,2,3 (also n = 3) mit x = 2. Jetzt andern wir einen Wert z.B. 1→ 0. Damitaber die Gleichung wieder gilt, mussen wir die restlichen xi entsprechend andern, damit weiterhin x = 2 gilt. Wirkonnten das durch 3→ 4 erreichen.Nun stellt sich die Frage, wie viele der xi maximal andern konnen. Wenn wir alle beliebig andern, kann es sein, dassx = 2 nicht mehr gilt. Wenn wir nur n − 1 andern, dann konnen wir xn so passend wahlen, dass wieder x = 2 gilt.Also ist der Freiheitsgrad n − 1. Da wir n − 1 Werte und x kennen, konnen wir den Wert xn daraus berechnen.

Verteilung von Population und Sample

H1: Durchschnittliche Lange von Java-Methoden µ > 50H0: Durchschnittliche Lange von Java-Methoden µ ≤ 50

Gegeben:

Populations-Verteilung: Kennwerteverteilung der Population Pmit Durchschnitt µ und Standardabweichung σ

Sample-Verteilung: Kennwerteverteilung der Stichproben Xmit Durchschnitt x und Standardabweichung sx

Annahmen:

σ ist bekannt

P hat Normalverteilung

Daraus folgt: X ist normalverteilt mit x = µ und sx = σ√n

.

12 / 37

Verteilung von Population und Sample

Warum gilt: x = µ?

Sample-Große ist n.Jeder beobachtete Wert xi (1 ≤ i ≤ n) ist eine Messung von einemzufallig ausgewahlten Element aus P.→ Jede Einzelmessung ist eine Zufallsvariable Xi , deren Verteilungder von P entspricht.

x = 1n · (X1 + X2 + . . .Xn)

Wenn µ der Durchschnitt von P ist, dann ist µ der Durchschnittder Verteilung jeder Beobachung Xi .

µx = 1n · (µX1 + µX2 + . . . µXn) = 1

n · (µ+ µ+ . . . µ) = µ

13 / 37

Verteilung von Population und Sample

Warum gilt: σx = σ√n

?

Regeln fur Varianzen (a, b sind Konstanten, X ,Y Zufallsvariablen):

σ2a+bX = b2σ2

X

σ2X+Y = σ2

X + σ2Y

Damit:

σ2x = σ2

1n·(X1+X2+...Xn)

= ( 1n )2 · (σ2

X1+ σ2

X2+ . . . σ2

Xn)

Weil jede Einzelbeobachtung Xi aus P stammt, gilt σ2Xi

= σ2 unddamit:

σ2x = ( 1

n )2 · (σ2 + σ2 + . . . σ2) = σ2

n und σx =√σ2x = σ√

n

14 / 37

Verteilung von Population und Sample

H1: Durchschnittliche Lange von Java-Methoden µ > 50H0: Durchschnittliche Lange von Java-Methoden µ ≤ 50

Gegeben:

Populations-Verteilung: Kennwerteverteilung der Population Pmit Durchschnitt µ und Standardabweichung σ

Sample-Verteilung: Kennwerteverteilung der Stichproben Xmit Durchschnitt x und Standardabweichung sx

Annahmen:

σ ist bekannt

P hat Normalverteilung

Daraus folgt: X ist normalverteilt mit x = µ und sx = σ√n

.

15 / 37

Beispiel

H0 : µ = 50.

Sei tatsachlich beobachteter Wert (Messung) fur x = 54 mitσ = 10 und Sample-Große n = 25.

Passt das noch zu H0 mit Signifikanzniveau α = 0, 01?

x ist normalverteilt mit µ = 50 und σ2x = 10√

25= 2: N(50, 2)

Die Standardnormalverteilung N(0, 1) ist tabelliert. Mitz-Transformation kann jede Normalverteilung auf N(0, 1)zuruckgefuhrt werden:

zx =x − µσx

16 / 37

BeispielWahrscheinlichkeit, einen Wert zx = 54−50√

2≈ 1, 41 oder großer in

N(0, 1) zu finden = Flacheninhalt zwischen 1,41 und ∞ in N(0, 1)

Laut Tabelle fur N(0, 1): 1− 0, 9207 = 0, 0793 > 0, 01 = α.

→ H0 wird nicht abgelehnt17 / 37

Wir fragen nach der Wahrscheinlichkeit, mit der Stichprobenergebnisse auftreten konnen, wenn die Nullhypothesegilt. Wir betrachten nur diejenigen Ergebnisse, die bei Gultigkeit der Nullhypothese hochstens mit einerWahrscheinlichkeit von α (z.B. 1 % oder 5 %) vorkommen. Gehort das gefundene Stichprobenergebnis zu diesenErgebnissen, ist das Stichprobenergebnis

”praktisch“ nicht mit der Nullhypothese zu vereinbaren. Wir entscheiden

uns deshalb dafur, die Nullhypothese abzulehnen und akzeptieren die Alternativhypothese als Erklarung fur unserUntersuchungsergebnis.

– Bortz und Doring (2006)Laut Tabellierung von N(0, 1) ist die Flache von (−∞, 1, 41] = 0, 9207.

Beispieluntersuchung

Hypothese:”Pair-Programming unterscheidet sich in

durchschnittlicher Fehlerdichte #FehlerLOC von Single-Programming.“

Design:

Object: Anforderungsspezifikation

Subjects: 31 professionelle Entwickler

Blocking:

Treatment X: eine Gruppe (10 × 2) wendet Pair-ProgramminganTreatment Y: eine Gruppe (11 × 1) wendet Pair-Programmingnicht an

→ ein Faktor, zwei Treatments

18 / 37

Experiment mit zwei Samples: t-Test

Gegeben: Zwei unabhangige Samples:

X = x1, x2, . . . xn mit Durchschnitt x und Varianz s2x

Y = y1, y2, . . . ym mit Durchschnitt y und Varianz s2y

H0: Mittelwerte von X und Y sind gleich: µx − µy = 0.

Annahmen:

Population zu X ist normalverteilt mit Durchschnitt µx undVarianz σ2

x ,Population zu Y ist normalverteilt mit Durchschnitt µy undVarianz σ2

y

und σ2x = σ2

y .

Aber: Varianz σ2x von X und Y ist unbekannt.

19 / 37

Experiment mit zwei Samples: t-Test

Mittelwert von x − y ist gleich dem Mittelwert von µx − µy .

Folgt aus:

Additionsregel fur Mittelwerte

und Mittelwert von jedem Messwert x ist der Mittelwertseiner Population µ

20 / 37

Experiment mit zwei Samples: t-Test

Varianz von x − y ist:

σ2x

n+σ2y

m

Folgt aus Additionsregel fur Varianzen.

21 / 37

Experiment mit zwei Samples: t-Test

Satz: Wenn beide Populationen normalverteilt sind, dann ist dieVerteilung von x − y auch normalverteilt.

z-Transformation einer Zufallsvariablen hatStandardnormalverteilung N(0, 1):

z =(x − y)− (µx − µy )√

σ2xn +

σ2y

m

22 / 37

Experiment mit zwei Samples: t-Test

Annahme war: beide Populationen haben gleiche Varianzσ2ε = σ2

x = σ2y

Varianz von σ2ε kann geschatzt werden durch zusammengelegte

Varianzen s2p als gewichteter Durchschnitt:

s2p =

(n − 1)s2x + (m − 1)s2

y

(n − 1) + (m − 1)

Damit ist z-Transformation fur die Schatzung:

t =(x − y)− (µx − µy )√

s2p

n +s2p

m

→ t folgt Students t-Verteilung mit (n− 1) + (m− 1) = n + m− 2Freiheitsgraden (df)

23 / 37

Die Annahme ist, dass die Samples beide eine gemeinsame homogene Varianz haben. Dann kann diese geschatztwerden, indem die Informationen beider Samples gebundelt werden. Die Schatzung ist dann der gewichteteDurchschnitt der einzelnen Varianzen beider Sample-Varianzen. Die Gewichte hierfur sind die jeweiligenFreiheitsgrade n − 1 und m − 1. Sp ist dann die gebundelte Varianz.Der Freiheitsgrad von Sp ist (n − 1) + (m − 1) = n + m − 2.

Students t-Verteilung (df = Freiheitsgrad)

24 / 37

Students t-Verteilung

Ungerichtete H1 ≡ µ1 6= µ2 ∧ H0 ≡ µ1 = µ2→ zweiseitiger Test

Gerichtete H1 ≡ µ1 > µ2 ∧ H0 ≡ µ1 ≤ µ2→ einseitiger Test

25 / 37

Ungerichtete Alternativhypothese H1 ≡ µ1 6= µ2: Nullhypothese postuliert keinerlei Effekt H0 ≡ µ1 = µ2.

Gerichtete Alternativhypothese H1 ≡ µ1 > µ2: Nullhypothese postuliert keinen oder gegengerichteten EffektH0 ≡ µ1 ≤ µ2.

Gerichtete Hypothesen werden anhand der Verteilung uber einseitige und ungerichtete Hypothesen uber zweiseitigeTests gepruft. Bei einem zweiseitigen Test markieren die Werte t(α/2) und -t(α/2) diejenigen t-Werte einert-Verteilung, die von den Extremen der Verteilungsflache jeweils α/2 % abschneiden.

Zusammenfassung des Vorgehens beim t-Test

Eingabe: Zwei unabhangige Samples x1, x2, . . . xn undy1, y2 . . . ym

Annahme: Populationen zu X und Y sind normalverteilt undhaben gleiche Varianz

H0: Mittelwerte von X und Y sind gleich: µx − µy = 0

Transformation von H0: t0 = x−ysp×

√1n

+ 1m

wobei sp =√

(n−1)s2x +(m−1)s2

y

(n−1)+(m−1)

und s2x und s2

y sind die individuellen Sample-Varianzen

t0 folgt bei Gultigkeit von H0 einer t-Verteilung mit n + m− 2Freiheitsgraden

Kriterium (zweiseitig, mit Signifikanzniveau α):H0 ablehnen, wenn |t0| > tα/2,n+m−2

26 / 37

BeispielmessungenTreatment X = Pair-Programming, Treatment Y = keinPair-Programming

i Treatment X: xi Treatment Y: yi1 3,24 3,442 2,71 4,973 2,84 4,764 1,85 4,965 3,22 4,106 3,48 3,057 2,68 4,098 4,30 3,699 2,49 4,21

10 1,54 4,4011 3,49

n=10 m=11x = 2, 835 y = 4, 1055

S2x = 0, 6312 S2

y = 0, 411227 / 37

Das sind fiktive Daten.

Beispielauswertung mit t-Test

sp =√

(n−1)s2x +(m−1)s2

y

(n−1)+(m−1)

=√

(10−1)·0,6312+(11−1)·0,4112(10−1)+(11−1) = −0, 564

t0 = x−ysp×

√1n

+ 1m

= 2,835−4,1055

−0,564×√

110

+ 111

= −5, 642

Freiheitsgrade: df = 10 + 11− 2 = 19→ tα/2,n+m−2 = t0,05/2,10+11−2 = 2, 093

|t0| = 5, 642 > t0,05/2,10+11−2 = 2, 093 → H0 ablehnen

28 / 37

Siehe z.B. http://www.math.unb.ca/~knight/utility/t-table.htm fur eine Tabelle der Students t-Verteilung.

Exakter U-Test von Mann-Whitney

Gegeben: zwei unabhangige Samples x1, x2, . . . xn und y1, y2, . . . ymmit Ordinalskalenniveau.

Annahme: Beide Samples stammen von Populationen mit dergleichen Verteilung.

Keine Annahme uber diese Verteilung.

1 Daten beider Samples werden vereinigt und geordnet.2 Jeder Wert xi wird mit jedem Wert yj verglichen:

Gi = Anzahl der yj < xiLi = Anzahl der yj > xi

3 Summiere:

G =∑

1≤i≤n Gi

L =∑

1≤i≤n LiU = min(L,G )

29 / 37

Gruppe xi bzw. yi Gi Li

X 1.54 11 0X 1.85 11 0X 2.49 11 0X 2.68 11 0X 2.71 11 0X 2.84 11 0Y 3.05X 3.22 10 1X 3.24 10 1Y 3.44X 3.48 9 2Y 3.49Y 3.69Y 4.09Y 4.10Y 4.21X 4.30 4 7Y 4.40Y 4.76Y 4.96Y 4.97∑

99 11

30 / 37

Signifikanztest zum exakten U-Test von Mann-Whitney

Es gibt(n+m

m

)=(n+m

n

)mogliche Rangfolgen.

Erwartungswert fur U bei Ho : µU = (n + m)/2.

Je weiter beobachtetes U vom Erwartungswert abweicht,desto unwahrscheinlicher ist H0.Einseitiger Test:

ZU = Anzahl moglicher Kombinationen, die einen U-Wertliefern, der nicht großer als U ist.P = ZU/

(n+mm

)Zweiseitiger Test:

Z ′U = Anzahl moglicher Kombinationen, die einen U-Wertliefern, der nicht kleiner als max(L,G ) ist.P = (ZU + Z ′U)/

(n+mm

)Lehne H0 ab, wenn P ≤ α.

Kritischer Wert (der zur Ablehnung von H0 fuhrt) kann inTabelle des U-Tests fur kleine Samples nachgeschlagenwerden.Im Beispiel: kritischer Wert = 26 fur α = 0, 05→ H0 wird abgelehnt wegen U < 26

31 / 37

Tabellen fur den kritischen Wert bei gegebenem Signifikanzniveau fur den U-Test lassen sich im Web finden, indemman nach den Stichwortern

”table u test“ sucht. Z.B.: math.usask.ca/~laverty/S245/Tables/wmw.pdf

Es wird vorausgesetzt, dass keine identischen Messwerte (”Bindungen“oder

”Rangbindungen“) auftreten. Falls

Bindungen vorhanden sind, werden den Werten die mittleren Rangzahlen zugewiesen.

Weiterfuhrende Literatur

Empirische Methoden

Endres und Rombach (2003) beschreiben wesentlicheempirische Kenntnisse in der Software-Technik und brecheneine Lanze fur die empirische Forschung in diesem Gebiet.

Lienert (1973) beschreibt verteilungsfreie(nicht-parametrische) statistische Tests

Prechelt (2001) beschreibt empirische Methoden in derSoftwaretechnik (deutschsprachig, leider vergriffen und wirdnicht mehr neu aufgelegt)

Wohlin u. a. (2000) beschreibt empirische Methoden in derSoftwaretechnik

Christensen (2007) beschreibt experimentelle Methoden imAllgemeinen

32 / 37

Weiterfuhrende Literatur

Statistik in der Empirie

Bortz u. a. (2008) beschreiben experimentelle Designs undihre statistischen (nicht-parametrischen, d.h. verteilungsfreien)Auswertungen

Winner u. a. (1991) beschreiben experimentelle Designs undihre statistischen (parametrischen) Auswertungen

Moore u. a. (2009) geben eine allgemeine Einfuhrung inStatistik

33 / 37

Wiederholungs- und Vertiefungsfragen

Was ist ein statistische Hypothese? Wie wird sie uberpruftund welche Rolle spielt dabei das Signifikanzniveau (derkritische Wert)?

Welche Arten von Hypothesen gibt es?

Mit welchen Maßen werden Population und Sample meiststatistisch charakterisiert?

Was versteht man unter einem parametrischen bzw.nichtparametrischen Test?

Erlautern Sie das Prinzip des t-Tests.

Erlautern Sie das Prinzip des exakten U-Tests vonMann-Whitney.

34 / 37

1 Bortz und Doring 2006 Bortz, Jurgen ; Doring, Nicloa:Forschungsmethoden und Evaluation. vierte Auflage. Springer,2006. – ISBN 978-3-540-33305-0

2 Bortz u. a. 2008 Bortz, Jurgen ; Lienert, Gustav A. ;Bohnke, Klaus: Verteilungsfreie Methoden in der Biostatistik.zweite Ausgabe. Springer Verlag, 2008. – ISBN 3540675906

3 Christensen 2007 Christensen, Larry B.: ExperimentalMethodology. 10th edition. Pearson International Edition, 2007.– ISBN 0-205-48473-5

4 Dzidek u. a. 2008 Dzidek, Wojciech J. ; Arisholm, Erik ;Briand, Lionel C.: A Realistic Empirical Evaluation of theCosts and Benefits of UML in Software Maintenance. In: IEEETransactions on Software Engineering 34 (2008), May/June,Nr. 3

5 Endres und Rombach 2003 Endres, Albert ; Rombach,Dieter: A Handbook of Software and Systems Engineering.Addison Wesley, 2003

35 / 37

6 Knight und Leveson 1986 Knight, J.C. ; Leveson, N.G.:An Experimental Evaluation of the Assumption of Independencein Multiversion Programming. In: IEEE Transactions onSoftware Engineering 12 (1986), Januar, Nr. 1, S. 96–109

7 Lienert 1973 Lienert, G.A.: Verteilungsfreie Methoden in derBiostatistik. Meisenheim am Glan, Germany : Verlag AntonHain, 1973. – wird leider nicht mehr aufgelegt

8 Moore u. a. 2009 Moore, David S. ; McCabe, George P. ;Craig, Bruce A.: Introduction to the Practice of Statistics.sixth edition. W.H. Freeman and Company, 2009

9 Muller 2006 Muller, Matthias M.: Do Programmer Pairsmake different Mistakes than Solo Programmers? In: Conferenceon Empirical Assessment In Software Engineering, April 2006

10 Prechelt 2001 Prechelt, Lutz: Kontrollierte Experimente inder Softwaretechnik – Potenzial und Methodik. Springer, 2001

11 Tichy 1998 Tichy, Walter: Should computer scientistsexperiment more? In: IEEE Computer 31 (1998), Mai, Nr. 5,S. 32–40

36 / 37

12 Winner u. a. 1991 Winner, B.J. ; Brown, Donald R. ;Michels, Kenneth M.: Statistical Principles in ExperimentalDesign. 3rd edition. McGraw-Hill, 1991 (Series in Psychology)

13 Wohlin u. a. 2000 Wohlin, Claes ; Runeson, Per ; MagnusC. Ohlsson, Martin H. und ; Regnell, Bjorn ; Wesslen,Anders: Experimentation in Software Engineering – AnIntroduction. Kluwer Academic Publishers, 2000. – ISBN0-7923-8682-5

14 Yin 2003 Yin, Robert K.: Applied Social Research MethodsSeries. Bd. 5: Case Study Research. 3rd edition. SAGEPublications, 2003. – ISBN 0-7619-2553-8

37 / 37