A Web scraping é a arte de extrair dados de um site em um formato automatizado e bem estruturado. Pode haver diferentes formatos para os dados do scraping , como Excel, CSV e muitos outros. Alguns casos de uso prático da Web scraping são pesquisa de mercado, monitoramento de preços, inteligência de preços, pesquisa de mercado e geração de leads. A Web scraping é uma técnica instrumental para fazer o melhor uso dos dados publicamente disponíveis e tomar decisões mais inteligentes. Portanto, é ótimo que todos conheçam pelo menos os conceitos básicos da Web scraping para se beneficiarem dela.
Agora já vimos como funciona o processo da Web scraping . Vamos começar com a codificação,
Na maioria dos casos, o Colab vem com pacotes de terceiros já instalados. Mas, ainda assim, se as instruções de importação não estiverem funcionando, você pode resolver esse problema instalando alguns pacotes com os seguintes comandos,
pip install requests
pip install html5lib
pip install bs4solicitações de importação
URL = "http://www.values.com/inspirational-quotes"
r = requests.get(URL)
print(r.content)Ele exibirá a saída do formulário,
Vamos tentar entender esse trecho de código,
importar solicitações
from bs4 import BeautifulSoup
URL = "http://www.values.com/inspirational-quotes"
r = requests.get(URL)
soup = BeautifulSoup(r.content, 'html5lib') # Se essa linha causar um erro, execute 'pip install html5lib' ou instale o html5lib
print(soup.prettify())Ele fornece uma saída muito longa; algumas das capturas de tela estão anexadas abaixo.
Um dos melhores aspectos do Beautiful Soup é que ele foi desenvolvido com base nas bibliotecas de análise de HTML, como html5lib, html.parse, lxml etc., o que permite que o objeto do Beautiful Soap e a especificação da biblioteca de análise sejam criados simultaneamente.
No código acima, criamos o objeto Beautiful Soup passando dois argumentos:
Por fim, soup.prettify() é impresso, dando à árvore de análise uma representação visual do conteúdo HTML bruto.
Agora é hora de extrair alguns dos dados úteis do conteúdo HTML. Os objetos soup contêm os dados na forma de estrutura aninhada, que podem ser extraídos de forma programática. No nosso caso, estamos acessando scraping uma página da Web que consiste em algumas citações. Portanto, criaremos um programa que resolve essas citações. O código é apresentado a seguir,
#Python program to scrape website
#and save quotes from website
import requests
from bs4 import BeautifulSoup
import csv
URL = "http://www.values.com/inspirational-quotes"
r = requests.get(URL)
soup = BeautifulSoup(r.content, 'html5lib')
quotes=[] # a list to store quotes
table = soup.find('div', attrs = {'id':'all_quotes'})
for row in table.findAll('div', attrs = {'class':'col-6 col-lg-3 text-center margin-30px-bottom sm-margin-30px-top'}):
quote = {}
quote['theme'] = row.h5.text
quote['url'] = row.a['href']
quote['img'] = row.img['src']
quote['lines'] = row.img['alt'].split(" #")[0]
quote['author'] = row.img['alt'].split(" #")[1]
quotes.append(quote)
filename = 'inspirational_quotes.csv'
with open(filename, 'w', newline='') as f:
w = csv.DictWriter(f,['theme','url','img','lines','author'])
w.writeheader()
for quote in quotes:
w.writerow(quote)Antes de prosseguir, é recomendável examinar o conteúdo HTML da página da Web, que imprimimos usando o método soup.prettify(), e tentar encontrar um padrão para navegar até as citações.
Agora explicarei como fazer isso no código acima,
Se navegarmos pelas aspas, descobriremos que todas elas estão dentro de um contêiner div cujo id é "all_quotes". Portanto, encontraremos esse elemento div (denominado tabela no código) usando o método find():
table = soup.find('div', attrs = {'id':'all_quotes'})O primeiro argumento dessa função é a tag HTML que precisa ser pesquisada. O segundo argumento é um elemento do tipo dicionário para especificar os atributos adicionais associados a essa tag. O método find() retorna o primeiro elemento correspondente. Você pode tentar table.prettify() para ter uma ideia melhor do que esse trecho de código faz.
Se nos concentrarmos no elemento table, o contêiner div conterá cada citação cuja classe seja quote. Portanto, faremos um loop em cada contêiner de div cuja classe seja quote.
Aqui, o método findAll() é muito útil, pois é semelhante ao método find() no que diz respeito aos argumentos, mas a principal diferença é que ele retorna uma lista de todos os elementos correspondentes.
Estamos iterando em cada citação usando uma variável chamada linha.
Vamos analisar um exemplo de conteúdo de linha HTML para entender melhor:
Agora, considere o seguinte trecho de código:
for row in table.findAll('div', attrs = {'class':'col-6 col-lg-3 text-center margin-30px-bottom sm-margin-30px-top'}):
quote = {}
quote['theme'] = row.h5.text
quote['url'] = row.a['href']
quote['img'] = row.img['src']
quote['lines'] = row.img['alt'].split(" #")[0]
quote['author'] = row.img['alt'].split(" #")[1]
quotes.append(quote)
filename = 'inspirational_quotes.csv'
with open(filename, 'w', newline='') as f:
w = csv.DictWriter(f,['theme','url','img','lines','author'])
w.writeheader()
for quote in quotes:
w.writerow(quote)Além disso, também podemos adicionar, remover, modificar e acessar os atributos da tag. Fizemos isso tratando a tag como um dicionário:
quote['url'] = row.a['href']Por fim, geraremos um arquivo CSV, que será usado para salvar nossos dados.
nome do arquivo = 'inspirational_quotes.csv'Nomeamos nosso arquivo como inspirational_qoutes.csv e salvamos nele todas as citações para serem usadas também no futuro. Aqui está a aparência do nosso arquivo inspirational_quotes.csv,
No resultado acima, mostramos apenas três linhas, mas, na realidade, há 33 linhas. Isso significa que extraímos uma quantidade considerável de dados da página da Web apenas com uma simples tentativa.
Alguns dos cenários do mundo real em que a Web scraping poderia ser de grande utilidade são,
Fazer a pesquisa de mercado correta é o elemento mais importante de todo negócio em andamento e, portanto, requer informações altamente precisas. A análise de mercado está sendo alimentada por um grande volume de dados, de alta qualidade e altamente perspicazes na Web scraping, que podem ser de diferentes tamanhos e formatos. Esses dados podem ser uma ferramenta muito útil para a realização de inteligência comercial. O foco principal da pesquisa de mercado está nos seguintes aspectos comerciais:
A Web scraping pode ser uma técnica muito útil e proveitosa para criar as listagens de acordo com os tipos de negócios, por exemplo, imóveis e lojas de comércio eletrônico. Uma ferramenta da Web scraping pode ajudar a empresa a pesquisar milhares de listagens de produtos da concorrência em sua loja e reunir todas as informações necessárias, como preços, detalhes do produto, variantes e avaliações. Isso pode ser feito em apenas algumas horas, o que pode ajudar ainda mais a criar suas próprias listagens, concentrando-se assim mais nas demandas dos clientes.
A Web scraping ajuda várias empresas a coletar e comparar informações e fornecer esses dados de forma significativa. Vamos considerar os sites de comparação de preços que extraem avaliações, recursos e todos os detalhes essenciais de vários outros sites. Esses detalhes podem ser compilados e adaptados para facilitar o acesso. Assim, uma lista pode ser gerada a partir de diferentes varejistas quando o comprador pesquisa um determinado produto. Portanto, a Web scraping facilitará muito o processo de tomada de decisão para o consumidor, mostrando várias análises de produtos de acordo com a demanda do consumidor.
O site scraping pode ajudar a agregar as informações e exibi-las de forma organizada para o usuário. Vamos considerar o caso dos agregadores de notícias. A Web scraping será usada das seguintes maneiras,
Portanto, neste artigo, fizemos uma análise detalhada de como a Web scraping funciona, considerando um caso de uso prático. Também fizemos um exercício muito simples sobre a criação de um simples raspador da Web em Python. Agora você pode scrape qualquer outro site de sua escolha. Além disso, também vimos alguns cenários do mundo real nos quais a Web scraping pode desempenhar um papel importante. Esperamos que você tenha gostado do artigo e que tudo tenha sido claro, interessante e compreensível.