Sprachenerkenner

www-lib

SquidSquid

Neighbors

Internet

PerlCrawler

Vorgeparsed-tesFile für den

Sprachenerkenner

www-lib

Squid

HTML-Parser

Einlesen derKonfiguration

Crawlerdurchläuft dieverschiedenen

Seiten

Benutzer-eingaben

Datenbank über die Positondes Crawlers

Regeln zum Parsen derSeiten

Regeln zum Durchsuchendes Internets

Fetcher

Internet

Hoover

Fetcher Fetcher

Fetcher

Fetcher

Internet

FetcherController

HypertextDokumente- Inhalt- Beinhaltete Links

HooverController

Anfragen

Fetcher

HypertextDokumente- Inhalt- Beinhaltete Links

Anfragen

Fetcher

HypertextDokumente- Inhalt- Beinhaltete Links

Anfragen

HooverController

Configuration File General Scanner

FetcherController

Sites sorted by nextaccessdate

SiteDictionary

SiteScanner

SiteDictionary

SiteScanner

SiteDictionary

SiteScanner

Sites Dictionary

fetched PagesExterne Fetcher

Fetcher Array

Externe Fetcher

Externe Fetcher

Netzwerk

Persistent SitesDictionary

Hoover

Fetcher

LokalesNetzwerk

ThreadController

HTMLScanner

Worker

HTMLScanner

Worker

HTMLScanner

Worker

Internet

0

.32

.65

.98

1.3

1 2 3 4 5

Übe

rtag

ene

Dat

en in

Meg

abyt

e

Zeit t in Minuten

Objective-C

Perl hot cache

Perl cold cache

0

10

20

30

40

50

60

70

80

1 2 3 4 5 6 7 8 9 10

15

20

Nur Daten

Objekte

Übe

rtag

ene

Dat

en in

Meg

abyt

e

Zeit t in Minuten

0.0001

0.000137382

0.000188739

0.000259294

0.000356225

0.00048939

0.000672336

0.000923671

0.00126896

0.00174333

0.00239503

0.00329034

0.00452035

0.00621017

0.00853168

0.011721

0.0161026

0.0221222

0.030392

0.0417532

0.0573615

0.0788046

0.108264

0.148735

0.204336

0.280722

0.385662

0.529832

0.727895

1

0 .5 1 1.5 2 2.5 3 3.5 4 4.5 5

Position des Wortes in der Wortliste in Tausend

Fre

quen

zhäu

figke

it de

s W

orte

s in

10%

englishdeutsch

dänisch

finnisch

Zipfpunkt

0

70

140

210

280

350

Zipf

Zipf und Trigramm

Anz

ahl d

er e

rkan

nten

Sät

ze

100Prozentsatz der erkannten Sprache

Hypertextdokument

DDieser Text handelt über das Lebenund den Tod am Beispiel einesgroßen Komponisten - hier sei erwäh

Hypertextdokument

C

Mehr Informationenüber das Leben vonMozart

Hypertextdokument

BHypertextdokument

A

Hier findenSie etwas

über Mozart

BekannteKomponisten z.B.

Mozart

Hypertextdokument

DDieser Text handeltüber das Leben vonMozart und dessenfrühen Tod.

Hypertextdokument

C

Lebensläufe bekannterKomponisten

Mehr Informationenüber das Leben vonMozart

Hypertextdokument

B

Die kleine NachtmusikDie Enführung aus dem Serail

Hypertextdokument

A

Das Leben von Brahms

Biographienvon anderenKomponisten

bekannte Werke

Herzlich Willkommen im Fachbereich 07 -Informatik / Mathematik!

Dies ist der Hypermedia-Informationsserver des Fachbereiches 07 an der Fachhochschule München. Das Informationssystem ist einTeil des internationalen World Wide Web.

Grußwort des Dekans

Der Fachbereich 07 - Informatik / Mathematik

Aktuelle Informationen, Termine und Veranstaltungen

Internet-Services des FB 07

Impressum, München, 17. Februar 1995

[english] [FHM] [Index] [Suchen] [Brief senden]