DA Abschlußpräsentation 2006
-
Upload
derdoc -
Category
Technology
-
view
313 -
download
0
description
Transcript of DA Abschlußpräsentation 2006
PlanetenWachHundNetzPlanetenWachHundNetz
Instrumenting Infrastructure for PlanetLab
Instrumenting Infrastructure for PlanetLab
2
OutlineOutline
◊ Motivation◊ Hindernisse◊ Bekannte Ansätze◊ Unsere Lösung◊ Evaluation◊ Zusammenfassung
◊ Motivation◊ Hindernisse◊ Bekannte Ansätze◊ Unsere Lösung◊ Evaluation◊ Zusammenfassung
3
MotivationMotivation
◊ Context: Verteilte Anwendung• P2P (File-sharing), PlanetLab, SETI ...
◊ Monitoring• Statistics• Log collection
◊ Context: Verteilte Anwendung• P2P (File-sharing), PlanetLab, SETI ...
◊ Monitoring• Statistics• Log collection
4
Probleme und AuswegeProbleme und Auswege
◊ “Central warehousing” nicht scalierbar• “Push”: logs alle 5 min werden an
zentralen Server geschickt• “Pull”: nur auf Anfrage
Daten müssen “en-route” reduziert werden• Reduction-tree• Distributed parallel prefix (MapReduce)
◊ “Central warehousing” nicht scalierbar• “Push”: logs alle 5 min werden an
zentralen Server geschickt• “Pull”: nur auf Anfrage
Daten müssen “en-route” reduziert werden• Reduction-tree• Distributed parallel prefix (MapReduce)
5
Andere LösungenAndere Lösungen
◊ Reduction-Trees auf P2P◊ Basieren auf “structured overlays”1) Finger-table based Tree (FTT)
• Unregelmäßig
2) Key-based Tree (KBT)• Nur ein globaler Tree
Beide nicht locality-aware
◊ Reduction-Trees auf P2P◊ Basieren auf “structured overlays”1) Finger-table based Tree (FTT)
• Unregelmäßig
2) Key-based Tree (KBT)• Nur ein globaler Tree
Beide nicht locality-aware
6
Structured Overlay (DHT)Structured Overlay (DHT)
◊ Key-based routing (KBR)• Vergebe lange bit strings (keys/IDs)• Nodes teilen key-space unter sich auf• Garantiertes routing zum “Besitzer” in
log(n)◊ Durch Route zu “näherer” Node
◊ Distributed Hashtable (DHT)• Put, Get (Hashtable Semantik)• Bucket beim Besitzer des Hash
◊ Key-based routing (KBR)• Vergebe lange bit strings (keys/IDs)• Nodes teilen key-space unter sich auf• Garantiertes routing zum “Besitzer” in
log(n)◊ Durch Route zu “näherer” Node
◊ Distributed Hashtable (DHT)• Put, Get (Hashtable Semantik)• Bucket beim Besitzer des Hash
7
DHT Beispiel: ChordDHT Beispiel: Chord
◊ 160 bit Ids, representiert in einem Kreis
◊ Fingertables speichern Zeiger
◊ 160 bit Ids, representiert in einem Kreis
◊ Fingertables speichern Zeiger
8
Chord: LookupChord: Lookup
◊ Benutze fingertable um zur nahsten bekannten node zu springen
◊ Benutze fingertable um zur nahsten bekannten node zu springen
9
Finger-table based Tree (FTT)Finger-table based Tree (FTT)◊ Vereinigung aller
Wege zu einer bestimmten ID• Abhängig von allen
Fingertables Braucht
Benachrichtigung in jedem Hop
◊ Vereinigung aller Wege zu einer bestimmten ID• Abhängig von allen
Fingertables Braucht
Benachrichtigung in jedem Hop
10
Key-based Tree (KBT)Key-based Tree (KBT)
◊ Tree auf Key-space gemappt• “virtuelle” interne Nodes
representieren prefixes• “physikalische” nodes
sind Blätter• Subtree enthält alle
Teilnehmer, die prefix entsprechen
• Algorithmus entscheidet, wer Vater wird
◊ Tree auf Key-space gemappt• “virtuelle” interne Nodes
representieren prefixes• “physikalische” nodes
sind Blätter• Subtree enthält alle
Teilnehmer, die prefix entsprechen
• Algorithmus entscheidet, wer Vater wird
11
Unser AnsatzUnser Ansatz
◊ Hybrid zwischen FTT und KBT KBT mit “root” node
o Ein Tree pro queryo Stochastisch balancierto Root-ID legt Tree eindeutig fest
• Coral für Ortsinformationo Bildet “cluster”
◊ Hybrid zwischen FTT und KBT KBT mit “root” node
o Ein Tree pro queryo Stochastisch balancierto Root-ID legt Tree eindeutig fest
• Coral für Ortsinformationo Bildet “cluster”
12
Key-based MapReduce (KMR)Key-based MapReduce (KMR)
◊ Phys. Root node◊ In jedem level
genaues Bit des root negiert
◊ Phys. Root node◊ In jedem level
genaues Bit des root negiert
13
KMR: AnwendungKMR: Anwendung
◊ “Down”: Interne nodes senden eine Nachricht an jeden Bruder
◊ “Up”: Nur eine Nachricht an Vater
◊ Nachricht landet bei “nahster” node
◊ “Down”: Interne nodes senden eine Nachricht an jeden Bruder
◊ “Up”: Nur eine Nachricht an Vater
◊ Nachricht landet bei “nahster” node
14
EvaluationEvaluation
◊ PlanetenWachHundNetz (PWHN)• Application-level monitoring software• Service für PlanetLab• Testet KMR und FFT• auf Coral und (Free-) Pastry
• Reduzierung durch 3 Executables von User :• Eingabe (Init)• Reduzieren (Update)• Ausgabe (Eval)
◊ PlanetenWachHundNetz (PWHN)• Application-level monitoring software• Service für PlanetLab• Testet KMR und FFT• auf Coral und (Free-) Pastry
• Reduzierung durch 3 Executables von User :• Eingabe (Init)• Reduzieren (Update)• Ausgabe (Eval)
15
ZusammenfassungZusammenfassung
◊ Context: Verteilte Anwendung◊ Motivation: Logging, monitoring◊ Problem: Hot-spots, dynamisches p2p◊ FTT/KBT: Lösungen auf DHTs nicht
scalierbar◊ KMR: Hybrid zwischen FTT und KBT◊ PWHN: Evaluation auf PlanetLab
◊ Context: Verteilte Anwendung◊ Motivation: Logging, monitoring◊ Problem: Hot-spots, dynamisches p2p◊ FTT/KBT: Lösungen auf DHTs nicht
scalierbar◊ KMR: Hybrid zwischen FTT und KBT◊ PWHN: Evaluation auf PlanetLab
Fragen ?Fragen ?