Proseminar über Algorithmen Sommersemester 2009 04. Juni...

Proseminar über Algorithmen (SS09)

Fingerprinting

Proseminar über AlgorithmenSommersemester 2009

04. Juni 2009Tim Mecking


Übersicht● Einleitung● Fingerprint Algorithmus● Hashing● Fazit


Einleitung● Alice wohnt in

Adelaide (Australien)● Bob wohnt in

Barnsley (UK)● Kommunikation nur

über Telefon möglich


Einleitung● Beide haben sich das gleiche

Lexikon gekauft.

● Sind die Texte identisch?

● 12 Bände

● 1500 Seiten / Band

● 2800 Zeichen / Seite

● 50000000 Zeichen insgesamt

● Text auch auf CD-ROM


Fingerprint Algorithmus● Texte als Folge von Zahlen


Fingerprint Algorithmus

ASCII Code20 30 40 60 70

+ 32 48 64 96 1120 0 20 32 30 48 0 40 64 @ 60 96 ` 70 112 p1 1 21 33 ! 31 49 1 41 65 A 61 97 a 71 113 q2 2 22 34 " 32 50 2 42 66 B 62 98 b 72 114 r3 3 23 35 # 33 51 3 43 67 C 63 99 c 73 115 s4 4 24 36 $ 34 52 4 44 68 D 64 100 d 74 116 t5 5 25 37 % 35 53 5 45 69 E 65 101 e 75 117 u6 6 26 38 & 36 54 6 46 70 F 66 102 f 76 118 v7 7 27 39 ' 37 55 7 47 71 G 67 103 g 77 119 w8 8 28 40 ( 38 56 8 48 72 H 68 104 h 78 120 x9 9 29 41 ) 39 57 9 49 73 I 69 105 i 79 121 yA 10 2A 42 * 3A 58 : 4A 74 J 6A 106 j 7A 122 zB 11 2B 43 + 3B 59 ; 4B 75 K 6B 107 k 7B 123 {C 12 2C 44 , 3C 60 < 4C 76 L 6C 108 l 7C 124 |D 13 2D 45 - 3D 61 = 4D 77 M 6D 109 m 7D 125 }E 14 2E 46 . 3E 62 > 4E 78 N 6E 110 n 7E 126 ~F 15 2F 47 / 3F 63 ? 4F 79 O 6F 111 o 7F 127 �


Fingerprint Algorithmus● Texte als Folge von Zahlenmacbookpro:~ sptim$ echo -n "Adelaide" | hexdump -C00000000 41 64 65 6c 61 69 64 65 |Adelaide|00000008

● TAd = (65,100,101,108,97,105,100,101)

macbookpro:~ sptim$ echo -n "Barnsley" | hexdump -C00000000 42 61 72 6e 73 6c 65 79 |Barnsley|00000008

● TBa = (66,97,114,110,115,108,101,121)


Fingerprint Algorithmus● Modulare Arithmetik

● x ist kongruent zu y modulo m wenn x – y durch m teilbar ist:

● Für eine ganze Zahl x ist [x] die Kongruenzklasse modulo m.

● Eine Kongruenzklasse kann verschiedene Notationen haben:

● Es gelten:

x≡ y mod m⇔m∣x− y

∀ x∈ℤ ,∀ n∈ℕ : [ x]=[xmn]

[ x ][ y ] = [x y ][ x] [ y ] = [ xy]


Fingerprint Algorithmus● Formel zur Berechnung eines Fingerabdrucks

des Textes T=(a1,a

2,...,a

n-1,a

n) bezüglich modulo m:

● Die zufällig gewählte Zahl r sollte größer als 0 und kleiner als m sein

● Es lassen sich m – 1 sinnvolle Fingerabdrücke berechnen

FPmT , r =a1⋅rna2⋅r

n−1an−1⋅r2an⋅r

1mod m


Fingerprint Algorithmus● Pseudocode

procedure FP(m,T,r):

fp=0

for i from 1 to length(T):

fp=((fp + T[i]) * r) mod m

return fp


Fingerprint Algorithmusr=16

A 65 ((0+65)*16) mod 17 = (14*16) mod 17 = 3d 100 ((3+100)*16) mod 17 = (1*16) mod 17 = 16e 101 ((16+101)*16) mod 17 = (15*16) mod 17 = 2l 108 ((2+108)*16) mod 17 = (8*16) mod 17 = 9a 97 ((9+97)*16) mod 17 = (4*16) mod 17 = 13i 105 ((13+105)*16) mod 17 = (16*16) mod 17 = 1d 100 ((1+100)*16) mod 17 = (16*16) mod 17 = 1e 101 ((1+101)*16) mod 17 = (0*16) mod 17 = 0

FP 17

(T Ad

, 16)

T Ad

ai




FP 17

(T Ad

, 15)

T Ad

ai




FP 17

(T Ad

, 14)

T Ad

ai




FP 17

(T Ad

, 13)

T Ad

ai




FP 17

(T Ad

, 12)

T Ad

ai




FP 17

(T Ad

, 11)

T Ad

ai




FP 17

(T Ad

, 10)

T Ad

ai




FP 17

(T Ad

, 9)

T Ad

ai




FP 17

(T Ad

, 8)

T Ad

ai




FP 17

(T Ad

, 7)

T Ad

ai




FP 17

(T Ad

, 6)

T Ad

ai




FP 17

(T Ad

, 5)

T Ad

ai




FP 17

(T Ad

, 4)

T Ad

ai




FP 17

(T Ad

, 3)

T Ad

ai




FP 17

(T Ad

, 2)

T Ad

ai




FP 17

(T Ad

, 1)

T Ad

ai



B 66 ((0+66)*16) mod 17 = (15*16) mod 17 = 2a 97 ((2+97)*16) mod 17 = (14*16) mod 17 = 3r 114 ((3+114)*16) mod 17 = (15*16) mod 17 = 2n 110 ((2+110)*16) mod 17 = (10*16) mod 17 = 7s 115 ((7+115)*16) mod 17 = (3*16) mod 17 = 14l 108 ((14+108)*16) mod 17 = (3*16) mod 17 = 14e 101 ((14+101)*16) mod 17 = (13*16) mod 17 = 4y 121 ((4+121)*16) mod 17 = (6*16) mod 17 = 11

FP 17

(T Ba

, 16)

T Ba

ai




FP 17

(T Ba

, 15)

T Ba

ai




FP 17

(T Ba

, 14)

T Ba

ai




FP 17

(T Ba

, 13)

T Ba

ai




FP 17

(T Ba

, 12)

T Ba

ai




FP 17

(T Ba

, 11)

T Ba

ai




FP 17

(T Ba

, 10)

T Ba

ai




FP 17

(T Ba

, 9)

T Ba

ai




FP 17

(T Ba

, 8)

T Ba

ai




FP 17

(T Ba

, 7)

T Ba

ai




FP 17

(T Ba

, 6)

T Ba

ai




FP 17

(T Ba

, 5)

T Ba

ai




FP 17

(T Ba

, 4)

T Ba

ai




FP 17

(T Ba

, 3)

T Ba

ai




FP 17

(T Ba

, 2)

T Ba

ai




FP 17

(T Ba

, 1)

T Ba

ai


Fingerprint Algorithmus● Ein Algorithmus der Zufallszahlen benutzt ist

ein randomisierter Algorithmus● Zwei Klassen von randomisierten Algorithmen:

● Las Vegas: Laufzeit abhängig von Zufallszahl (Beispiel: randomisiertes Quicksort)

● Monte Carlo: Ergebnis abhängig von Zufallszahl (Beispiel: randomisierter Primzahltest)


Fingerprint Algorithmus● Monte Carlo Algorithmen

● Korrektes Ergebnis (viel) wahrscheinlicher● Mehrfaches Anwenden mit verschiedenen

Zufallswerten erhöht diese Wahrscheinlichkeit● Oftmals Bool'sches Ergebnis● Oftmals ein Ergebnis sicher korrekt


Fingerprint Algorithmus● Fingerprinting Satz:

Wenn TA und T

B verschiedene Texte

(Zahlenfolgen) der Länge n sind, und wenn m eine Primzahl ist, die größer ist als die größte Zahl in T

A und T

B, dann können von den m

Zahlenpaaren

höchstens n viele aus gleichen Zahlen bestehen

FPmT A , r ,FPmT B , r , r=0,1 , ,m−1


Fingerprint Algorithmus● Nach dem Fingerprinting Satz liegt die

Wahrscheinlichkeit einen Unterschied nicht zu erkennen bei höchstens

● Durch Einschränkung des Wertebereichs von r auf Werte >0 verringert sich die Wahrscheinlichkeit auf höchstens

● Errechnet man k Fingerabdrücke für verschiedene r Werte ergibt sich eine Wahrscheinlichkeit von höchstens

nm

n−1m−1

nm

n−1m−1

k

nm k


Fingerprint Algorithmus● Beispiel Alice und Bob

● Textgröße (ca.) n = 50.000.000 Zeichen bzw. 50 MB● Primzahl m = 1.037.482.333● Zufallszahl r min. 1 und max. m – 1 = 1.037.482.332

● Fingerabdruck FPr min. 0 und max. m – 1 =

1.037.482.332● Anzahl der zu übermittelnden Ziffern max. 38● Wahrscheinlichkeit Unterschiede nicht zu finden

max. n−1m−1

≈50000000

1000000000=

5100


Fingerprint Algorithmus● 1 Fingerabdruck:

● Weniger als 40 Dezimalziffern mitzuteilen● Irrtumswahrscheinlichkeit kleiner als 5%

● 2 Fingerabdrücke:● Weniger als 60 Dezimalziffern mitzuteilen● Irrtumswahrscheinlichkeit kleiner als 0,25%

● 3 Fingerabdrücke:● Weniger als 80 Dezimalziffern mitzuteilen● Irrtumswahrscheinlichkeit kleiner als 0,0125%


Fingerprint Algorithmus

„n ist _“

n=n'„k ist _“

„FP ist _“

ja

„m ist _, r1 ist _, ..., r

k ist _“

FP=FP'

mehr FPs

ja

ja

„ungleich“

nein

nein

„kein Unterschiedgefunden“nein

Sucht m und r1-r

k

Berechnen FPs


Fingerprint Algorithmus● Ergebnis wenn m > 10n und...

● ...Texte identisch:● Immer „Kein Unterschied gefunden“

● ...Texte verschieden:● Wahrscheinlichkeit für „Kein Unterschied gefunden“

ist höchstens

● daher „Ungleich“ sehr wahrscheinlich

n−110 n−1

k

n10 n k

=1

10k


Fingerprint Algorithmus● Mitzuteilende Dezimalziffern wenn m > 10n und

Irrtumswahrscheinlichkeit höchstens 10-k

● Bei 10-facher Textlänge erhöht sich die Anzahl der Dezimalziffern um 2 + 2k

⌊ log10n⌋2⋅22k


Fingerprint Algorithmus● Optimierung: Alle k Fingerabdrücke während einer

Iteration über den Text berechnen● Pseudocode:

procedure FP(m,T,R): for i from 1 to length(R): fp[i]=0 for i from 1 to length(T): for j from 1 to length(R): fp[j]=((fp[j] + T[i]) * R[j]) mod m return fp


Hashing● Zur Verifikation sowie Identifikation von Daten

und Dateien werden oftmals Fingerabdrücke verwendet.

Jedoch...


Hashing


Hashing● Hash Tabellen

● Dynamische Verwaltung von Daten● Ein Datum wird über einen Schlüssel angesprochen● Hash Funktion berechnet Schlüssel aus Datum● Wörterbuch Operationen: INSERT, DELETE,

SEARCH


Hashing● Hash Tabelle mit

Verkettung● Werte: 12, 20, 46, 66,

72, 106 und 1003● Hash Funktion:

0123456789

20

12 721003

66 46 106

f x =xmod 10


Hashing● Liefert die Hash Funktion für verschiedene

Daten den gleichen Schlüssel liegt eine Hash Kollision vor

● Beim Hash Verfahren mit Verkettung werden die Daten in einer verketteten Liste (Linked List) abgelegt. Dadurch können mehrere Werte unter einem Schlüssel eingefügt werden

● Offene Hash Verfahren berechnen beim Auftreten von Kollisionen alternative Schlüssel

f x = f x ' ∧x≠ x '


Hashing● Bei offenem Hashing benutzt man eine

Funktion fi(x) um den Schlüssel zu finden, wobei

man i so lange inkrementiert bis man einen offenen Platz in der Hash Tabelle gefunden hat

● Mögliche Kollisionsstrategien bei offenem Hashing (m ist die Größe der Hash Tabelle):● Lineares Sondierenc ist Konstante, c und m sind teilerfremd

● Quadratisches Sondieren

f i x= f x c⋅i mod m

f i x= f x i2mod m


Hashing● Hash Funktion: Abbildung einer Bitfolge

beliebiger Länge auf eine Bitfolge fester Länge

● Kollisionsfreie Hash Funktion nicht möglich, da Eingabemenge unendlich und Ausgabemenge endlich

● Anzahl möglicher Kollisionen schrumpft bei Erhöhung von k

f : {0 ,1}*{0 ,1}k


Hashing● Einfache Hash Funktionen wie f(x)=x mod m

eignen sich nicht zur Erstellung von Fingerabdrücken

● „Sichere“ Hash Funktionen verhindern, dass die Eingabedaten gezielt manipuliert werden können, ohne dass ein anderer Schlüssel berechnet wird


Hashing● Anforderungen an sichere Hash Algorithmen

1) Effizienz f(x) muss für jedes x effizient zu berechnen sein

2) Eingabebeständigkeit

3) Zweiteingabebeständigkeit

4) Kollisionsbeständigkeit



1) Effizienz

2) Eingabebeständigkeit Es darf nicht (leicht) möglich sein für ein gegebenen Hash Schlüssel h die Eingabe x zu berechnen, so dass



f x =h



1) Effizienz


3) Zweiteingabebeständigkeit Es darf nicht (leicht) möglich sein für eine gegebene Eingabe x eine zweite Eingabe x' zu berechnen, die zu einer Hash Kollision führt:


x≠ x '∧ f x = f x '



1) Effizienz



4) Kollisionsbeständigkeit Es darf nicht (leicht) möglich sein für ein gegebenen Hash Schlüssel h zwei Eingaben x und x' zu berechnen, so dass x≠ x '∧ f x =h∧ f x ' =h


Hashing● MD5 Message Digest

● RFC 1321● 128 Bit = 16 Byte Hash Schlüssel● Erster Kollisionsangriff 2004 von Xiaoyun Wang and

Hongbo Yu● Verbesserter Angriff 2007 von Marc Stevens● NICHT (MEHR) SICHER


Hashing● US Secure Hash Algorithm

● RFC 3174● 160 Bit = 20 Byte Hash Schlüssel● Bisher keine Angriffe bekannt● Nachfolger SHA-2 Familie und SHA-3


Fazit● Keine absolute Sicherheit

● Wenn eine gewisse Fehlerwahrscheinlichkeitwerden kann, kann man den FingerprintAlgorithmus für Dateivergleiche verwenden● Die Wahrscheinlichkeit lässt sich beeinflussen durch

geschickte Wahl der Primzahl m, sowie durch das Berechnen von k verschiedenen Fingerabdrücken

● Soll die gezielte Manipulation an den zu überprüfenden Daten verhindert werden, kann ein Hash Algorithmus verwendet werden● MD5 Fingerprints sind jedoch nicht geeignet

nm k

Proseminar über Algorithmen Sommersemester 2009 04. Juni...

Documents

Transcript of Proseminar über Algorithmen Sommersemester 2009 04. Juni...