Diplomarbeit

Evaluation normativer Strategien des verteilten Reputationssystem EVIDIRS

cand. Dipl. Inform. Stefan Fähnrich

Betreuer: Philipp ObreiterGutachter: Prof. Dr.-Ing. Klemens Böhm

Im Rahmen des DIANE-ProjektsUniversität Karlsruhe, Fakultät für Informatik, IPD

2

Motivation

??

?

Problem: nicht alle Teilnehmer sind vertrauenswürdig

3

Normatives EVIDIRS

• Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur

?

?

Ziel: Evaluation

Beweismittel-verwaltung

Entscheidungs-findung

Glaubens-bildung

Aktion

Quittung

Vertrag

Transaktions-protokoll

4

Existierende Evaluationswerkzeuge

DIANEmu Simuliert Ad hoc Netz Java basiert Campusszenario Bewegungsmuster &

PartionierungSimulative Cooperation Tournament (SCT)

EVIDIRS Simuliert Ablauf

Hypothesentester automatisierter Ablauf einer

bzw. mehrerer Hypothesen

Problem: woher kommen die Gegenstrategien?

5

Problemansatz

• Finden von Gegenstrategien erforderlich• Effektive Lösung zur Suche notwendig

• Idee: Turnier entwickeln– Teilnehmer als Versuchspersonen– Erzeugen immer neuer Gegenstrategien– Durch neue Teilnehmer immer neue Einsichten– Gegenstrategien werden im SCT getestet– Computerstrategien im Turnier integrieren

6

Gliederung

Motivation und Ziel• Evaluationsprozess• Entwicklung eines Werkzeugs:

Interactive Cooperation Tournament• Finden und Bewerten von Gegenstrategien• Gesamtevaluation von EVIDIRS• Zusammenfassung und Ausblick

7

Evaluationsprozess

Finden von Gegenstrategien

Analyse der Gegenstrategien

Interactive Cooperation Tournament

Simulative Cooperation Tournament

Hypothesentester

Gesamtevaluation

Integrieren

Auswahl

formulieren

9

Anforderungen an das Interactive Cooperation Tournament

Teilnehmer müssen gutes Grundverständis des Systems haben

Leicht erlernbar

Intuitive Bedienbarkeit

FAQ Forum Glossar

Avatare

Transaktionswerte

Zuordnung

Ticker

Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken

10

Anforderungen an das Interactive Cooperation Tournament

Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken

Teilnehmer müssen motiviert sein, um erfolgreich zu sein

Während des Turniers Nach dem Turnier

11

Prozessschritt 1: Finden von Gegenstrategien

• Gelegenheitsspieler: 30• Langfristige Teilnehmer: 10• Turnierlänge: 30 Minuten – 2 Stunden• Es konnten viele erfolgreiche Gegenstrategien extrahiert werden

Klassifizierung der Strategien

kurzfristig langfristig

hoherSchaden

geringerSchaden

Clever Defector

Temptation Defector

All Defector

Normative Retailiator ( p=0.30 )

Distrust Distributor

Context Defector ( p=30 )

Probability Defector ( p=0.99 )

Probability Defector ( p=0.05 )

Skimming Trust Defector ( p=0.70 )

End of Stay Defector

Normativer

Newcomer Defector

Discrimatory Defector ( p=0.15 )

12

Klassifizierung der Strategien

kurzfristig langfristig

hoherSchaden

geringerSchaden

Clever Defector

Temptation Defector

All Defector

Normative Retailiator ( p=0.30 )

Distrust Distributor

Context Defector ( p=30 )

Probability Defector ( p=0.99 )

Probability Defector ( p=0.05 )

Skimming Trust Defector ( p=0.70 )

End of Stay Defector

Normativer

Newcomer Defector

Discrimatory Defector ( p=0.15 )

Prozessschritt 1: Finden von Gegenstrategien

Betrugskriterien Context Defector: Wert Distrust Distributor: Bürgen Newcomer Defector: Typ

Nur Eigeninteresse All Defector: rein ausbeutend Clever Defector: eigene Anfragen

Betrugskriterien Skimming Trust: Vertrauenswert End of Stay: Verweildauer Probability Defector: Zufallswert Normative Retailiator: Typ Discrimatory Defector: Typ (ID)

13

• Ziel: bei gegebenen Rahmenbedingungen beste Gegenstrategie auszuwählen

• Methode: Bewertung der Gegenstrategien hinsichtlich der Rahmenbedingungen

• Betrachtete Dimensionen: Normativer Anteil, Kosten/Nutzen Verhältnis, Anzahl Transaktionen, Potientielle Partner, Rauschen

Prozessschritt 2: Bewerten von Gegenstrategien

14

Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10%

Prozessschritt 2: Bewerten von Gegenstrategien

-25

-20

-15

-10

-5

0

5

10

5 10 15 20 40

Transaktionen pro Teilnehmer

Ko

sten

der

No

rmat

ivit

ät

All Defector

Clever Defector

Probabilistic Defector(p=0.10)

Skimming Trust Defector

Distrust Distributor

Discrimatory Defector(p=0.3)

-10-8-6-4-202468

10

5 10 15 20 40

Transaktionen pro Teilnehmer

Ko

sten

der

No

rmat

ivit

ät

Clever Defector

Skimming Trust Defector

Distrust Distributor

Discrimatory Defector(p=0.3)

Betrachtete Dimension: Anzahl Transaktionen

Resultat: die erfolgreichsten Gegenstrategien

15

-25-20-15-10-505

10152025

5 10 15 20 40

Transaktionen pro Teilnehmer

Ko

sten

der

No

rmat

ivit

ät

All Defector

Clever Defector

Probabilistic Defector(p=0.10)

Skimming TrustDefector

Distrust Distributor

Discrimatory Defector(p=0.3)

Prozessschritt 2: Bewerten von Gegenstrategien

-25

-20

-15

-10

-5

0

5

10

5 10 15 20 40

Transaktionen pro Teilnehmer

Ko

sten

der

No

rmat

ivit

ät

All Defector

Clever Defector

Probabilistic Defector(p=0.10)

Skimming Trust Defector

Distrust Distributor

Discrimatory Defector(p=0.3)

Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10%

Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 3 Nutzen: 50, Kosten: 17 Rauschen: 10%

Variation der Transaktionspartner

16

Prozessschritt 2: Bewerten von Gegenstrategien

Auswahlmodul Entscheidungsbaum Übergangsfunktionen

StrategienRahmenbedingungen

Auswahlmodul

Strategie 1

Strategie 2

Strategie n

•

• •

•

• •

Integration der Bewertungen

Verbesserung:

17

Prozessschritt 3: Gesamtevaluation

Grundeinstellungen: Teilnehmer: 100 Transaktionspart.: 10 Nutzen: 5, Kosten: 1 Rauschen: 10%

0.1 0.5 0.95.0

20

35

Betrachtete Dimensionen: Anteil Normativer Transaktionen

Hypothese:Kosten der Normativität < 3 Transaktionen

18

Zusammenfassung

• Motivation - Repuationssystem notwendig um Betrüger zu erkennen.

• Entwicklung des Interactive Cooperation Tournaments als Werkzeug zum Finden von Gegenstrategien.

• Evaluationsprozess Finden von Gegenstrategien Bewerten der Gegenstrategien Gesamtevaluation

19

Ausblick

Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf

Untersuchung von schwachen Identitäten interessant

Psychologische Aspekte

Modellierung der Verteilungsfunktionen für Güter interessant (Monoplystellung, etc...)

20

Ende und Diskussion

Vielen Dank für die Aufmerksamkeit

21

Anhang

22

Gesamtevaluation

Kombinierbar-keit

Probabilistic Defector

Context Defector

Skimming Trust Defector

Normative Retailiator

Distrust Distributor

End of Stay

Discrimatory Defector

Newcomer Defector

Probabilistic Defector -

Context Defector -

Skimming Trust Defector

-

Normative Retailiator -

Distrust Distributor -

End of Stay -Discrimatory Defector -

Newcomer Defector -

Temptation Defector

< >< >

< >< >

< >< >

< >

< >< >

< >

< >< >< >< >

>< >

< >< >

<

< >

< >> >

>

>

< >>

>

>

> > > >>

>

29

Anteil Normativer - Transaktionszahl

Normative 10%

0

5

10

15

20

5 10 15 20 40

Transaktionen pro Teilnehmer

Co

mp

lian

ce C

ost

s

All Defector

Clever Defector

Prob Defector a=10

Skimming Trust 0.7

Distrust Distributor

DiscrimantoryDefector p=0.3

Normative 50%

-6-4-202468

101214

5 10 15 20 40

Transaktionen pro Teilnehmer

Co

mp

lian

ce C

ost

s

All Defector

Clever Defector

Prob Defector a=10

Skimming Trust 0.7

Distrust Distributor

DiscrimantoryDefector p=0.3

-25

-20

-15

-10

-5

0

5

10

5 10 15 20 40

Transaktionen pro TeilnehmerK

ost

en d

er N

orm

ativ

ität

All Defector

Clever Defector

Probabilistic Defector(p=0.10)

Skimming Trust Defector

Distrust Distributor

Discrimatory Defector(p=0.3)

30

Robustheit gegenüber destruktiven Gegenstrategien

Grundeinstellungen: Teilnehmer: 50 % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10

5 10 15 20 30

Transaktionen pro Teilnehmer

Tra

nsa

ktio

nsw

ert

Normative n=0.1

Uncooperative n=0.00

Uncooperative n=0.10

Uncooperative n=0.20

Clever Defectorn=0.10

Probabilistic Defectora=0.95,n=0.10

31

Robustheit gegenüber destruktiven Gegenstrategien

Grundeinstellungen: Populations: 50 Rauschen: 10% % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10

0

0.1

0.2

0.3

0.4

0.5

0.6

5 10 15 20 30

Transaktionen pro Teilnehmer

Ver

trau

ensw

ert

Clever Defector

Probabilistic Defectora=0.95

Uncooperative

Normative (g=10)

Normative (g=1)

32

Maximaler Anteil Uncooperative

Vertrauensgewicht 1

0

0.1

0.2

0.3

0.4

0.5

0.6

5 10 15 20 30

Ver

trau

ensw

ert

Uncooperative 20%

Uncooperative 40%

Uncooperative 60%

Grundeinstellungen: Populations: 50 Rauschen: 10% mögliche Transaktionspartner: 1

Vertrauensgewicht 10

0

0.1

0.2

0.3

0.4

0.5

0.6

5 10 15 20 30

Vert

rau

en

sw

ert

20% Uncooperative

40% Uncooperative

60% Uncooperative

80% Uncooperative

33

• Integration der Gegenstrategien in einen automatischen Auswerter

Profiler Strategien

Benchmark

Designpoint

Prozessschritt 1: Finden von Gegenstrategien

34

Unterschiede Simulator - ICT

• Vereinfachung– Geld statt Partneraktion– Keine Inkonsistenzen– Keine Eigenwechsel

• Änderungen– Beweismittelspeicherung

• Weitere Unterschiede– Partionierung nur emuliert– Skalierbarkeit

35

ICT

• Teilnehmeranzahl: 30• Langfristige Teilnehmer: 10• Turnierlänge: 30 Minuten – 2 Stunden

Anforderungen:• Teilnehmer über längeren Zeitraum zu

motivieren.• Alle Module müssen vermittelt werden• Kein Siegereffekt

36

ICT3 – Näher Betrachtet

Intuitive Bedienbarkeit

Avatare

Transaktionswerte

Zuordnung

Leicht erlernbar FAQ Forum Glossar

Feedback/Motivation Statusfigur als Feedback

Highscore

Ticker

37

Ausblick

Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf

Vertrauenswerte sehr unintuitiv Bürgschaften sehr wichtig Informationsaufbereitung für Menschen

Untersuchung von schwachen Identitäten interesant (bereits im ICT und Simulator integriert)

38

ICT 3 – Näher Betrachtet (1)

ICT SCT

Transaktionsentscheidung aufsparbar Jetzt oder nie

Transaktionsablauf nacheinander

Partitionierung emuliert (zufällig) simuliert

(durch Bewegung)

Nachrichtenversand nur bei neuen Transaktionsmöglichkeiten

andauernd

Produktion + -Beweismittelspeicherung Unlimitiert Fixed

(Least Recently Used)

Eigenwechsel - +Anzahl Actions in return Eine viele

Inkonsistenz möglich - +Systemgröße beschränkt beliebig

Partneraktion Geld (bzw. Calorien) Aktion

menschliche Teilnehmer + -

39

Klassifizierung der Gegenstrategien (2)

Name Transaktions-werte

Vertrauens-werte

Eigene Bürgen

Bürgen des Gegenübers

Shadow of the future

Partner

Probabilistic Defector

- - - - - -

Context Defector

- - - - -

Skimming Trust Defector

- - - - -

Normative Retailiator

- - - - -

Distrust Distributor

- - - - -

End of Stay - - - - -

Discrimatory Defector

- - - - -

Newcomer Defector

- - -

Temptation Defector

40

Gefundene Gegenstrategien

Clever Defector Temptation Defector Skimming Trust Defector End of Game Defector Context Defector Batch Defector -> neues Problem Probability Defector Distrust Distributor Normative Retailiator Newcomer Defector

41

Kalorientabelle

9696Banane

5040Apfel

16080Donut

211160Eis

5527,5Karotte

333308Pommes

259246Hamburger

816272Pizza

240266Kuchen

Portion100g

42

UbiBay

43

Testen der Einstellungen

An

zah

l Tra

nsa

kti

on

en

Normative

20% 100%60%

100

55

1

Ab 50 Transaktionen testen

44

6 Wege Protokoll

Vertrag

Quittung

Aktion

Aushandeln

45

Trust Kernel

46

Literatur

H. Frey, D. Gorgen, J. K. Lehnert, and P. Sturm. Erfahrungsberichtzur praktischen umsetzung eines auktionssystems für großfächige mo-bile multihop ad-hoc-netzwerke. In GI Betriebssysteme, Frühjahrstre®en2003, Erlangen, April, 2003.

C. M. Jonker, J. J. P. Schalken, J. Theeuwes, and J. Treur. Humanexperiments in trust dynamics. In iTrust, pages 206{220, 2004.

S. Buchegger, L. Boudec, and J.-Y. L. Boudec. Core: A collaborativereputation mechanism to enforce node cooperation in mobile ad hoc net-works. In Proceedings of The 6th IFIP Communications and MultimediaSecurity Conference, Portorosz, Slovenia, September 2002.

S. Buchegger and J.-Y. L. Boudec. Performance analysis of the confidantprotocol: Cooperation of nodes - fairness in dynamic ad-hoc networks.In Proceedings of MobiHoc, 2002.

P. Obreiter, S. Fähnrich, and J. Nimis. How social structure improvesdistributed reputation systems - three hypotheses. In Third Intl. Work-shop on Agents and Peer-to-Peer Computing (AP2PC'04), To appear inpost-proceedings, New York, 2004.

47

Interactive Cooperation Tournament

• Erstellen einer Webapplikation– Turnier welches Simulator nachempfunden ist

– Miterleben des Ablaufs

– Menschliche Teilnehmer als „Mitarbeiter“

Anfänglich gut Akzeptanz – Aber kein „Langzeitspaß“

ICT 1 rein textbasiert

Avatare, Partitionierung, Computerspieler

Neues Design, FAQ und Glossar

ICT 2

ICT 3

Zu komplex

Sehr gute Akzeptanz

48

Motivation

Autonome mobile Geräte bilden spontan ein offenes Kommunikations-Netz mit Selbstverwaltung

Teilnehmer möchten Dienste in Anspruch nehmen

Reputationssystem soll Robustheit sichern

Problem:Ändern der Einstellungen führt eventuell zu neuen Problemen

Finden von neuen Gegenstrategien

Testen von Gegenstrategien

49

50

51

Normatives EVIDIRS

• Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur

• Normen als Handlungsvorschriften

Vertrag

Transaktionsprotokoll

Reputationssystem

Teilnehmer

Beweismittelverwalter

Aktion

Quittung