Woher kommen Software-Fehler?

Woher kommen Software-Fehler?Andreas Zeller • Universität des Saarlandes

Eine F-16(Nördliche Halbkugel)

Eine F-16(Südliche Halbkugel)

F-16 Fahrgestell

Flughafen Denver

Airport opened 16 mos later;Software firm (BEA) got bankruptOverall damage 1.8 bln

// Get #years, #days since 1980days = ...;year = 1980;while (days > 365) { if (IsLeapYear(year)) { if (days > 366) { days -= 366; year += 1; } } else { days -= 365; year += 1; }}

Der erste Bug9. September 1947

bug.aj@interface A {}

aspect Test { declare @field : @A int var* : @A; declare @field : int var* : @A;

interface Subject {}

public int Subject.vara; public int Subject.varb;}

class X implements Test.Subject {}

Diagnose Erkennen Vorbeugen

Woher kommen Software-Fehler? • Andreas Zeller, Universität des Saarlandes

bug.aj@interface A {}

aspect Test { declare @field : @A int var* : @A; declare @field : int var* : @A;

interface Subject {}

public int Subject.vara; public int Subject.varb;}

class X implements Test.Subject {}

java.util.NoSuchElementException at java.util.AbstractList$Itr .next(AbstractList.java:427) at org.aspectj.weaver.bcel.BcelClassWeaver .weaveAtFieldRepeatedly (BcelClassWeaver.java:1016)

ajc Stack Trace

weaveAtFieldRepeatedly

for (Iterator iter = itdFields.iterator(); iter.hasNext();) { ... for (Iterator iter2 = worthRetrying.iterator(); iter.hasNext();) { ... }}

Lenhof, Hans-Peter,, +49 681 302-65501, lenhof@cs.uni-sb.deLindig, Christian, +49 681 9558506, +49 681 302 5590, lindig@cs.uni-sb.deMehlmann, Martin,,, mehlmann@st.cs.uni-sb.deMeyer zu Tittingdorf, Friederike, +49 6895 890055, +49 681 302-58099, meyer@cs.uni-sb.deMileva, Yana,, +49 681 302-63020, mileva@cs.uni-sb.deMüller-Perich, Elisabeth,, +49 681 302-5050, sekr.techfak@rz.uni-sb.deNir-Bleimling, Naomi,, +49 68130265011, naomi@wjpserver.cs.uni-sb.deOffergeld, Thilo,, +49 681 302-6595, t.offergeld@univw.uni-sb.dePC, CC 2006,,, cc2006pc@st.cs.uni-sb.dePaul, Wolfgang, +4968151825, +49 6813022556, wjp@cs.uni-sb.dePremraj, Rahul, +55 5596955511, +49 681 302-65015, premraj@cs.uni-sb.deReindel, Erich, +49 6551 912852, +49 681 302-58091, reindel@cs.uni-sb.deSchuler, David,, +49 681 302-63026, schuler@st.cs.uni-sb.deSchuler, Erika,, +49 6813025069, schuler@tf.uni-sb.deSchäfer, Christa, +49 6895 51165, +49 68130265011,Security, AG,,, security@st.cs.uni-sb.deSeidel, Raimund, +49 6895 585698, +49 681 302-5515, rseidel@cs.uni-sb.deSekretariat, Sekretariat,, +49 681 302-65011, office@st.cs.uni-sb.deSliwerski, Jacek, +491551555208,, sliwers@st.cs.uni-sb.deSlusallek, Philipp, +49 6826 1 88 51 52, +49 681 302-5850, slusallek@cs.uni-sb.deSlusallek USA, Philipp, +1 650 591 9186, +1 508 586 2588, slusallek@cs.uni-sb.deSmolka, Gert, +49 681 582550, +49 681 302-5511, smolka@ps.uni-sb.deSoftware-Evolution, AG,,, softevo@st.cs.uni-sb.deThiel, Frank,,, hausmeister@cs.uni-sb.deWeiß, Cathrin,,, weiss@st.cs.uni-sb.deWilhelm, Reinhard,, +49 681 302-5599, wilhelm@cs.uni-sb.deZeller, Andreas,,, zeller@cs.uni-sb.deZeller, Andreas, +49 681 5510565, +49 681 302-65011, zeller@cs.uni-sb.deZimmermann, Tom, +49 851 51552 (Eltern), +1 505 210 9550, zimmerth@cs.uni-sb.de

mozilla.csv

• Proceed by binary search. Throw away half the input and see if the output is still wrong.

• If not, go back to the previous state and discard the other half of the input.

Vereinfachen

mozilla.csv

✘✔✘✘✘✔

Fehlerursache

Problem:Vereinfachen von Hand

ist grausam!

Delta Debugging

Delta Debugging isoliert automatisch Fehlerursachen:

Eingaben: 1 von 436 Kontakten in Columba

Änderungen: 1 von 8,721 Änderungen in GDB

Threads: 1 von 3.8 bio Thread-Wechsel in Scene.java

➔ Automatisierte Fehlersuche

Problem:Benutzeraktionen simulieren

ist umständlich!

v: Vector

Vector()add()

remove()

remove() ↯Isolieren Relevanter Aufrufe

Schritt 1: Aufzeichnen

remove()

Event log contains 32 interactions

EventLog

v: Vector

Isolieren Relevanter AufrufeSchritt 2: Abspielen

EventLog

Vector()add()

remove()

remove() ↯

v: Vector

Isolieren Relevanter AufrufeSchritt 3: Vereinfachen

EventLog

Vector()add()

remove()

remove() ↯

Isolieren Relevanter AufrufeSchritt 4: Testfall erzeugen

↯TexttestVector(){ Vector v = new Vector(); v.remove(obj);}

Columba ContactModel

c: ContactModel

ContactModel()setSortString()

setNickName()

setFamilyName()

setFormattedName()

setGivenName()

und 18732 weitere…

ContactModel()getPreferredEmail() c: ContactModel↯

Columba ContactModel

Unit Test

testContactModel(){ ContactModel c = new ContactModel(); String s = c.getPreferredEmail();}

getPreferredEmail public String getPreferredEmail() { Iterator it = getEmailIterator();

// get first item IEmailModel model = (IEmailModel) it.next();

// backwards compatiblity // -> its not possible anymore to create a // contact model without email address if (model == null) return null;

return model.getAddress(); }

Delta Debugging

Delta Debugging isoliert automatisch Fehlerursachen:

Eingaben: 1 von 436 Kontakten in Columba

Änderungen: 1 von 8,721 Änderungen in GDB

Threads: 1 von 3.8 bio Thread-Wechsel in Scene.java

➔ Automatisierte Fehlersuche

Aufrufe: 2 von 18738 Methodenaufrufen99,8%Verringerung des

Suchraums

#1 inSoftware Engineering BooksAlgorithms BooksSoftware Design Books

• Ungültige Benutzung von Iteratoren:vor next() sollte hasNext() kommen

• hasNext() ist operationale Vorbedingung

AspectJ Columba

Problem:Vorbedingungen spezifizieren

ist aufwändig!

OP-Miner

Programm iter.hasNext () iter.next ()

Benutzungsmodelle

hasNext ≺ nexthasNext ≺ hasNextnext ≺ hasNextnext ≺ next

Temporale Eigenschaften

hasNext ≺ nexthasNext ≺ hasNext

Muster

hasNext ≺ nexthasNext ≺ hasNext✓

Anomalien

OP-Miner

Benutzungsmodelle

Muster

Anomalien

Methodenmodelle

public Stack createStack () {Random r = new Random ();int n = r.nextInt ();Stack s = new Stack ();int i = 0;while (i < n) {s.push (rand (r));i++;

}s.push (-1);return s;

Methodenmodelle

Random r = new Random ();

Methodenmodelle

int n = r.nextInt ();

Stack s = new Stack ();

int i = 0;

i < n i++;

s.push (rand (r));

Methodenmodelle

int i = 0;

i < n i < n i++;

s.push (-1); s.push (rand (r));

Methodenmodelle

int i = 0;

i < n i < n i++;

Methodenmodelle

int i = 0;

i < n i < n i++;

Benutzungsmodelle

s.<init>()

s.push (_)

int i = 0;

i < n i < n i++;

Benutzungsmodelle

s.push (rand (r));

Benutzungsmodelle

r.<init> ()

r.nextInt ()

Utils.rand (r)

OP-Miner

Benutzungsmodelle

Muster

Anomalien

OP-Miner

Benutzungsmodelle

Muster

Anomalien

Anomalien entdecken

open()

hello()

parse()

start ≺stop

lock ≺unlock

eof ≺close

Ein Defekt

for (Iterator iter = itdFields.iterator(); iter.hasNext();) { ... for (Iterator iter2 = worthRetrying.iterator(); iter.hasNext();) { ... }}

sollte iter2 sein

Noch ein Defekt

public void visitNEWARRAY (NEWARRAY o) { byte t = o.getTypecode (); if (!((t == Constants.T_BOOLEAN) || (t == Constants.T_CHAR) || ... (t == Constants.T_LONG))) { constraintViolated (o, "(...) '+t+' (...)"); }} sollte “+t+” sein

Name internalNewName (String[] identifiers) ... for (int i = 1; i < count; i++) { SimpleName name = new SimpleName(this); name.internalSetIdentifier(identifiers[i]); ... } ...}

Ein Fehlalarm

sollte unverändertbleiben

Ein Code Smellpublic String getRetentionPolicy (){ ... for (Iterator it = ...; it.hasNext();) { ... = it.next(); ... return retentionPolicy; } ...}

sollte repariert werden

AspectJ

Defekte Code smells Fehlalarme

Fehler findenTable 2: Summary of the results for the experiment subjects. (See Section 5.2 for a discussion.)

# Violations

Program Total Investigated # Defects # Code smells # False positives Efficiency

A��-Rʙ�� 0.8.2 25 25 2 13 10 60%A��ʜ� T�� 6.0.16 55 55 0 9 46 16%Aʀɢ�UML 0.24 305 28 0 12 16 43%A��J 1.5.3 300 300 16 42 242 19%A��ʀ�� 2.5.0.0 315 85 1 26 58 32%C�ʟ��ʙ� 1.2 57 57 4 15 38 33%�E�ɪ� 4.2 11 11 0 4 7 36%

1,068 562 23 121 417 26%

public String getPreferredEmail () {Iterator it = getEmailIterator ();IEmailModel = (IEmailModel) it.next ();...

Figure 17: Another defect in C�ʟ��ʙ�. Missing call to hasNextcauses this method to throw an exception in certain circum-stances and thus cause a failure.

protected void loadPluginList () {...List bits = new ArrayList ();while (...) {

...if (...) {

bits.add (...);break;

}else {

bits.add (...);...

}}String version = (String) bits.get (0);String cvs_version = (String) bits.get (1);String name = (String) bits.get (2);...

Figure 18: A defect in A��ʀ��. The code does not check thesize of the bits list before accessing its elements. This methodwas fixed in version 2.5.0.2.

5.3 Limitations and Threats to Validity

The most important limitation of our approach is that it needs sub-stantial code bases to learn from. While this limitation can be par-tially circumvented (e.g. if one wants to use some library and wantsOP-Mɪɴ�ʀ to check if one is not making any mistakes, one can usesomeone else’s program to learn from), it is an unavoidable pricefor the ability to tap into developers’ knowledge and experiencethat is contained in those code bases. Also, OP-Mɪɴ�ʀ is only use-ful for single-threaded programs, but it can handle the whole J��language, including the exception handling.

We have identified the following potential threats to validity:

• We have investigated seven programs with different applica-tion domains, sizes and maturity and our results seem fairlyconsistent across those programs. However, it is possiblethat they do not generalize to arbitrary projects; proprietary,closed-source programs may have very different properties.

• The tools we have used (JADET and C�ʟɪʙʀɪ) could be de-fective. We think this is very improbable, especially for C�ʟ-ɪʙʀɪ, whose implementation is publicly available [28]. As forJADET as well as the OP-Mɪɴ�ʀ code, we have used andthoroughly validated it, so we believe that any defects left af-fect only a small number of OUMs and violations and thusdo not spoil the results overall.

• The results of the categorization process performed on vio-lations might depend on the expertise of the human apply-ing the approach. However, if anything, this would makeour results better than reported—because we have markedviolations as defects only if we were completely sure thatthey are indeed defects (e.g. by crashing the program, mak-ing sure the contract was violated, seeing the code changedin the way suggested by OP-Mɪɴ�ʀ, etc.). An experienceddeveloper may spot potential problems where we see falsepositives.

6. RELATED WORK

To the best of our knowledge, the present work is the first to takean operational view at preconditions—learning and checking whatneeds to be done to call a function. However, there are several otherapproaches that learn from existing code or that detect defects.

6.1 Learning from Code

Ernst et al. [15] have written the seminal work on inferring invari-ants dynamically using DAIKON. Later Hangal and Lam [22] cre-ated DIDUCE that detects and checks invariants. Csallner et al. [9]created DʏSʏ, which uses dynamic analysis together with symbolicexecution to discover relevant invariants. Flanagan and Leino [17]created H��ɪɴɪ which infers ESC/J�� [18] annotations from theprogram. These approaches can only produce axiomatic precon-ditions. Ramanathan et al. [35] produce axiomatic preconditions,unordered usage information (“this value was also used as a param-eter of the following functions: . . . ”), origin information and con-straints on method calls of the form “a call to g is always precededby a call to f”. However, these constraints are “must” as opposed toours “may” and are created separately from the static informationmentioned earlier. The upshot of this is that the interplay betweenmethods that can be represented is more limited than what OPs canrepresent. They used their approach to find defects, too, but un-fortunately did not report on the rate of false positives. Ray-YaungChang et al. [7] presented an approach for revealing neglected con-ditions in programs: they can learn so-called conditional rules andthen look for their violations.

OP-Miner

OP-Miner lernt operationale Vorbedingungen – wie man Argumente gewöhnlich konstruiert

Lernt aus gewöhnlicher Benutzung – allgemein und projektspezifisch

Vollautomatisch

Dutzende bestätigter Fehler gefunden

C-Projekte

50,000,000

100,000,000

150,000,000

200,000,000

Codezeilen

201,321,237

Ein Defektconspire-0.20 (IRC client)

static int dcc_listen_init (…) {dcc->sok = socket (…);if (…) {while (…) {… = bind (dcc->sok, …);

}/* with a small port range, reUseAddr is needed */setsockopt (dcc->sok, …, SO_REUSEADDR, …);

}listen (dcc->sok, …);

}muss vor bind() stehen

Problem:Wie können wir aus

unseren Fehlern lernen?

Fehler Versionen

Fehler auf Code abbilden

Fehler in AspectJ

Sicherheitslückenin Firefox

Woher kommen diese Fehler?

Sind es die Entwickler?

Macht Erfahrung einen Unterschied?

Je mehr Erfahrung, desto

mehr Fehler!

Oder die Geschichte?

Wir haben hier viele Fehler gefunden…

Dann sind dort noch mehr!

Wie steht es mit Metriken?

Korrelieren Metriken mit Fehlerdichte? Manchmal!

Programmiersprache?

Sind gotos schädlich?

Keine Korrelation!

Ok. Problembereich?

Welche Tokens sind relevant?

import • extends • implements

nsIPrivateDOMEvent.h

nsReadableUtils.h

✘✘

Vorhersage Komponente Tatsache

1 nsDOMClassInfo 3

2 SGridRowLayout 95

3 xpcprivate 6

4 jsxml 2

5 nsGenericHTMLElement 8

6 jsgc 3

7 nsISEnvironment 12

8 jsfun 1

9 nsHTMLLabelElement 18

10 nsHttpTransaction 35

• Wissen, wo die Fehler sind

• Kalibrieren der Fehlervorhersage

• Wissen, wo die nächsten Fehler sind

• Vollautomatisch!

Fehler Versionen

• enthalten komplette Projektgeschichte

• gepflegt durch Programmierumgebungen

• automatischer Zugang

• frei verfügbar durch Open-Source Projekte

Software-Archive

Fehler VersionenAufwand Navigation Chatse-mail

Modelle Specs Code Traces Profile Tests

Fehler VersionenAufwand Navigation Chatse-mail

Modelle Specs Code Traces Profile Tests

Daten sammeln

Studien

Rosenberg, L. and Hyatt, L. “Developing An Effective Metrics Program”European Space Agency Software Assurance Symposium, Netherlands, March, 1996

Make thisActionable!

ZELLER

FAILA Guide to Systematic Debugging

A N D R E A S Z E L L E R

WHY PROGRAM

S FAIL

WHY PROGRAMS

Woher kommen Software-Fehler?

Technology

Transcript of Woher kommen Software-Fehler?

überzeugungstäter: Abuelo · wissen, woher während der spanischen Erntezeit über 80% des Steinobstes (Nektarinen, Pfirsiche, Pflaumen) in den Marktläden kommen. Die Genossenschaft

Auf den Punkt GebrAcht. - cdn-fipa.testapp.intersales.decdn-fipa.testapp.intersales.de/fipa-insights-deutsch.pdf · Auf den Punkt GebrAcht. es kommt nicht darauf an, woher wir kommen.

Leitbild in 10 Sätzen. Woher wir kommen Jesus Christus Unser Mittelpunkt ist Gott, wie er sich in Jesus Christus zeigt, der gekreuzigt wurde und auferstanden.

math bulletin · Woher kommen Sie ursprünglich? ... Es kommt natürlich auf die Vorlesung drauf an. ... - Differentialrechnung mehrerer Variablen

Woher kommen wir Wolfram Rosenkranz

Woher kommen obst und gemüse?€¦ · Bei den meisten frischen Obst- und Gemüsearten muss das ursprungsland angegeben werden, außer bei Früh- und speisekartoffeln, frischen Bananen,

Woher kommen unsere Staatsschulden ?

Die Huysburg - seit Jahrhunderten ein Ort mit christlichem · gehört“, zuhause sein kann. ... ohne dass wir wissen, woher sie kommen. ... Verbundensein mit Gott. Es zeigt sich

BEST PRACTICE Leads generieren im B2B - pinuts.de · 7 Von Suchmaschine bis Newsletter: Woher kommen meine Besucher? ... daher führt der Weg zunehmend über relevante Inhalte mit

Patho- PTBS Genese „Die merken sowieso nichts!“ · „Ich habe das Gefühl….“ Erfahren, woher Emotionen kommen, warum sie wichtig sind und wozu Verleugnung und Verneinung

AMI Marktvortrag Woher kommen die Spargelkunden der … › mam › cms07 › iem › dateien › ...Der Markt im Wandel –Wohin geht die Reise beim Spargel? 12. PRODUKTTAG SPARGEL

Cyber-physische Systeme und Automatisierungstechnik Woher kommen Sie? Was machen Sie?

A Quadrilateral Rendering Primitive Kai Hormann Papa, woher kommen eigentlich Shrek und Nemo ? TU Clausthal.

Sales Strategien mit Google Andreas - ITB Kongress · Sie bekommen Backlinks … Keine Aussagen! • Wie viele Links pro Monat? • Woher kommen die Links? und • WER ERSTELLT diese

Woher kommen Kohlenstoff, Eisen und Uran?

Woher unsere Bücher kommen - E-LISeprints.rclis.org/17241/1/Ottermann_Woher_unsere_Buecher... · 2012. 12. 17. · Woher unsere Bücher kommen Woher unsere Bücher kommen – oder:

100 Prozent Erneuerbare Energien Woher kommen die Zweifel? Wie kann man sich eine eigene Meinung bilden? Hier könnte Ihr Verein genannt werden Vortrag.

Geschäftliche Begegnungen - Schubert-Verlag...Susanne Raven Deutsch als Fremdsprache Lösungsschlüssel Geschäftliche Begegnungen Sprachniveau B1+ Kapitel 1 1b 1. Woher kommen Sie?

Woher wir kommen Geschichte † Kultur † Brauchtum ...tla/e_kammweg_de/10_Flyer_Sudeten... · Geschichte † Kultur † Brauchtum Menschenrechte † Volksgruppenrechte Die Sudetendeutschen

Woher kommen Software-Fehler - Universität des Saarlandes