Folie 1

Screen Scraping Fr Frhaufsteher

Folie 2

Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 3

Ziele Verstndnis fr Screen Scraping entwickeln Niemand wird hier und heute zum Profi! Nachdenken ber eigene Webseitenverbesserungen und Abwehrmethoden ;) 3 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 4

Methoden Scripte (wie bsp. PHP) und / oder Software

Folie 5

Script Methode Download einer Website Cookie(s) verwalten Mit Redirects umgehen SSL Anfrage Proxies / verschiedene IP Adressen benutzen Informationen mittels REGEX, Xpath auslesen Evtl. Formulareingaben emulieren 5 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 6

scrapen nicht mal eben so?

Folie 7

Stadtbranchenbuch 7

Folie 8

GoYellow 8

Folie 9

Factory-Outlets.org 9

Folie 10

Schwierigkeiten nderungen am Webseiten Design Ladeseiten zwischen Formular abschicken und Ausgabe JavaScript Dynamisch modifizierte Formulare durch JS Ajax Plugin: Flash, Java 10 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 11

Sicherheitsmechanismen Sperrung unser Server IP Adresse Captchas Zufllig erzeugte Formularfelder 11 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 12

Die Lsung Einen Browser nutzen

Folie 13

Scrapen mit Browsern Die Seiten werden im Browser gerendert 13 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 14

iMacro Kostenloses Firefox Addon Kostenpflichtige Scripting Version (mit ein paar Extras) 14

Folie 15

iMacro Browserplugin (Firefox & IE) oder als Standalone Software Lst alle schwierigen Flle Ajax Javascript Flash! In Verbindung mit so gut wie jeder Scriptsprache nutzbar 15 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 16

iMacro Beispiele StudiVZ Scraper Bookmark Submitter Captchas lsen 16 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 17

StudiVZ Scraper 17 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 18

Bookmark Submitter in PHP Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010 18

Folie 19

Bookmark Submitter 19 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010 Nur fr SEO Campixx 2010 Teilnehmer

Folie 20

Mglichkeiten: Captcha lsen mit iMacro Hndische Eingabe whrend das Macro luft Human > kostet Arbeitszeit OCR Erkennung Computer > Evtl. Fehlerhaft API Services Human / Computer 20 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 21

Captcha lsen mit iMacro 21 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010

Folie 22

Fragen?