Evandro Souza

Web Scraping

O que é?

Web harvesting

Web data-extraction

Web crawler

Web Spider Robot

Knowbot

Web Scraping

O que é?

Web harvesting

Web data-extraction

Web crawler

Web Spider Robot

Knowbot

Web Scraping

Técnica para mapear\rastrear informações de web sites.Objetivos: • Navegar em páginas web de forma automatizada.• Mapeia todos os links das URLs recursivamente.• Utilizado normalmente em “motores de busca”.

Técnica para extrair informações de web sites.

Web scraping - Para que serve?• Transformar dados de web sites em estrutura de dados.

• Automatizar tarefas em web sites (simular um usuário)

Qualquer aplicação que necessite de dados extraidos de web sites:

Pesquisas academicas, marketing e ciêntifica

Análise de Mercado

Comparação de preços

Data mining

Casos de uso

Ferramentas

FiddlerFirefox\Chrome Dev tools

ConhecimentosRegular Expression XPath

Necessidadehttps://www.jucerja.rj.gov.br/JucerjaPortalWeb/Paginas/Informacoes/TabelaPrecosPWJ.aspx

Análise

• Fiddler• Dev Tools

Extrair HTML

• Requisições HTTP

Transformar

• HTML Parser• XPath• Regex

Os 3 passos

Exemplos C#HttpWebRequest/HttpWebResponse + Html Agility pack

Exemplos C#HttpWebRequest/HttpWebResponse + Html Agility pack

Exemplos C#HttpWebRequest/HttpWebResponse + Html Agility pack

Exemplos C#Scrapy Sharp

Exemplos C#Scrapy Sharp

Exemplos C#Scrapy Sharp

Exemplos C#HttpWebRequest/HttpWebResponse + AngleSharp

Obrigado!evandroferreiras

evandroferreiras

evandroferreiras