Screen Scraping F¼r Fr¼haufsteher. Agenda Was ist Screen Scraping Methoden Beispiele...

download Screen Scraping F¼r Fr¼haufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt

of 22

  • date post

    06-Apr-2015
  • Category

    Documents

  • view

    106
  • download

    0

Embed Size (px)

Transcript of Screen Scraping F¼r Fr¼haufsteher. Agenda Was ist Screen Scraping Methoden Beispiele...

  • Folie 1
  • Screen Scraping Fr Frhaufsteher
  • Folie 2
  • Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 3
  • Ziele Verstndnis fr Screen Scraping entwickeln Niemand wird hier und heute zum Profi! Nachdenken ber eigene Webseitenverbesserungen und Abwehrmethoden ;) 3 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 4
  • Methoden Scripte (wie bsp. PHP) und / oder Software
  • Folie 5
  • Script Methode Download einer Website Cookie(s) verwalten Mit Redirects umgehen SSL Anfrage Proxies / verschiedene IP Adressen benutzen Informationen mittels REGEX, Xpath auslesen Evtl. Formulareingaben emulieren 5 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 6
  • scrapen nicht mal eben so?
  • Folie 7
  • Stadtbranchenbuch 7
  • Folie 8
  • GoYellow 8
  • Folie 9
  • Factory-Outlets.org 9
  • Folie 10
  • Schwierigkeiten nderungen am Webseiten Design Ladeseiten zwischen Formular abschicken und Ausgabe JavaScript Dynamisch modifizierte Formulare durch JS Ajax Plugin: Flash, Java 10 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 11
  • Sicherheitsmechanismen Sperrung unser Server IP Adresse Captchas Zufllig erzeugte Formularfelder 11 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 12
  • Die Lsung Einen Browser nutzen
  • Folie 13
  • Scrapen mit Browsern Die Seiten werden im Browser gerendert 13 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 14
  • iMacro Kostenloses Firefox Addon Kostenpflichtige Scripting Version (mit ein paar Extras) 14
  • Folie 15
  • iMacro Browserplugin (Firefox & IE) oder als Standalone Software Lst alle schwierigen Flle Ajax Javascript Flash! In Verbindung mit so gut wie jeder Scriptsprache nutzbar 15 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 16
  • iMacro Beispiele StudiVZ Scraper Bookmark Submitter Captchas lsen 16 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 17
  • StudiVZ Scraper 17 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 18
  • Bookmark Submitter in PHP Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010 18
  • Folie 19
  • Bookmark Submitter 19 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010 Nur fr SEO Campixx 2010 Teilnehmer
  • Folie 20
  • Mglichkeiten: Captcha lsen mit iMacro Hndische Eingabe whrend das Macro luft Human > kostet Arbeitszeit OCR Erkennung Computer > Evtl. Fehlerhaft API Services Human / Computer 20 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 21
  • Captcha lsen mit iMacro 21 Screen Scraping Christian Schmidt www.christian.to - SEO Campixx 2010
  • Folie 22
  • Fragen?