Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Charakterisierung der freigegebenen Dateien im modernen Gnutella

Yu, Xiao Tai25.02.2009

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 2

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Agenda

EinführungMessungAnalyseErgebnisse

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 3

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Gnutella

P2P-FilesharingPopulares Overlay-NetzwerkBrowse-Host Feature

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 4

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Zweischichtige Overlay-Topologie

Obere Schicht UltrapeersLegacy-Peers

Untere SchichtLeaf-Pears

Verbunden mit Ultrapeers

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 5

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Messung

CrawlerSnapshotsSharing-Listen

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 6

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Snapshots

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 7

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Das Tool CruiserTopologie-Crawl

Für Topologie15 min

Inhalt-Craw Für Sharing-Listen5,5 Stunden

Präzise SnapshotsZwei mal Topologie-Crawl Langfristige vs. Kurzfristige Peers

200,000 Peers

•Master/Slave-Architektur•6 Off-The-Shelf

1GHz

GNU/Linux

Geräten

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 8

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Analyse

Statische AnalyseTopologische AnalyseDynamische Analyse

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 9

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Distribution-Funktionen

Power-Law-DistributionF(x) = axk + o(xk)Kleiner Anteil häufig, großer Anteil selten

Zipf-DistributionRankedKleiner Anteil häufig, großer Anteil selten

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 10

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Power-Law-Distribution

Freigegebene Speichergröße

Bis zu 100GB, aber selten

häufig 100MB

y = C x-a bedeutet log(y) = log(C) - a log(x)

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 11

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Zipf-Distribution

Popularität

10 Millionen Dateien

stabil innerhalb 4 Monanten

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 12

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Popularität der freigegebenen Dateitypen

Multimedia-Dateien (93%) populärste MP3

1/3 SpeicherplatzVideodateien:

1/10 weniger als Audiodateien, aber 25% Bytes mehrPopularität und Speichergröße verdreifacht

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 13

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Ergebnisse der statischen Analyse

Free-RidersAnteil 13%Keine Relation zwischen Sharing und Peertyp

Ultrapeers vs. Leaf-Peers

Anzahl und SpeichergrößePower-Law-Distribution

PopularitätZipf-Distribution

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 14

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Topologische Analyse

Verteilung der freigegebenen Dateien auf die Overlay-TopologieGemeinsamkeit zwischen Peers

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 15

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Cumulative Distribution Function (CDF)

Verteilung der freigegebenen Dateien auf die Overlay-TopologieCDF: Suche 5 Kopien einer Datei5 CDF: 5 ExamplareY:100 PeersX: minimale Suchanfragen

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 16

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Gemeinsamkeit zwischen Peers

3 CDF: 1, 2 und 3-HopsY:100 PeersX: Gemeinsamkeit

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 17

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Ergebnisse der topologischen Analyse

Churn ist dominantSharing-Listen zufällig auszuwählenDateien zur Simulation für P2P-Filesharing zufällig zu verteilen

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 18

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Dynamische Analyse

Änderungen der freigegebenen DateienPopularitätsänderungenEntwicklung der Popularitätsänderungen

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 19

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Änderungen der freigegebenen Dateien

4 CDF: 2 Std., 6 Std., 1 T. und 1 W.

Y: 3000 PeersX: Änderungen der Dateien

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 20

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Popularitätsänderungen –

ein Tag

Änderungen an einem TagX: 50,000 RankY: Popularitätsänderung

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 21

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Popularitätsänderungen –

Tage

Im kurzen ZeitraumCDF: 6 Std. und1, 2, 3 TageY: Top-1000 populärsten DateienX: Popularitätsänderung

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 22

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Popularitätsänderungen –

1 Woche

Verteilung auf Top 10, 100, 1000 und 10000 populärsten DateienÄnderungen in 8 Tagen

Abgesehen vom Rausch sind die Änderungen stabil

Top 10-10,000 populärsten DateienX: TageY: Popularitätsänderungen

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 23

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Entwicklung der Popularitätsänderungen –

Tage

Top-10 populärsten DateienX: TageY: Popularitätsänderungen

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 24

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Entwicklung der Popularitätsänderungen –

Monate

Top-10 populärsten DateienX: TageY: Popularitätsänderungen

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 25

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Ergebnisse der dynamischen Analyse

Änderungenpopulärsten Dateien größerschneller mit der Zeitgroß über Monateklein innerhalb einer Woche

Caching bandbreitesparende Strategie

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 26

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Zusammenfassung

Das moderne GnutellaMessungsmethodeAnalyse

Anzahl, Speichergröße, Dateitypen und PopularitätTopologische AnalyseÄnderungen der freigegebenen Dateien

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 27

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Literatur VerzeichnisD.Stutzbach and R.Rejaie: "Characterizing the Two-Tier Gnutella Topology", S. Zhao, D. Stutzbach & R. Rejaie: "Characterizing Files in theModern Gnutella Network: A Measurement Study“Verteilungsfunktionen: http://www.hpl.hp.com/research/idl/papers/ranking/ranking.htmlEin ultimatives P2P-Buch ist gewünscht

Überblick des weiten Bereichs von P2PStand der TechnikenArchitekturKonzepte des Designs

Charakterisierung der freigegebenen Dateienim modernen Gnutella - 28

Technische Universität BerlinFakultät IV – Elektrotechnik und InformatikSeminar: Internet MeasurementIntelligent Networks / Intelligente Netze (INET)Research Group of Prof. Anja Feldmann, Ph.D.

Vielen Dank

im modernen Gnutella

Charakterisierung der freigegebenen Dateien