Neste artigo, criaremos um raspador da Web para scrape os artigos de notícias mais recentes de diferentes jornais e armazená-los como texto. Passaremos pelas duas etapas a seguir para ter uma análise detalhada de como todo o processo é feito.
Fique à vontade para acessar qualquer seção para saber mais sobre como executar o site scraping para artigos de notícias usando python
Se quisermos retirar informações importantes de qualquer site ou página da Web, é importante saber como esse site funciona. Quando acessamos o URL específico usando qualquer navegador da Web (Chrome, Firefox, Mozilla etc.), essa página da Web é uma combinação de três tecnologias,
Essas três linguagens de programação nos permitem criar e manipular os aspectos de uma página da Web.
Suponho que você conheça os conceitos básicos de uma página da Web e de HTML para este artigo. Alguns conceitos de HTML, como divs, tags, cabeçalhos etc., podem ser muito úteis na criação desse raspador da Web. Você não precisa saber tudo, mas apenas os conceitos básicos do design da página da Web e como as informações estão contidas nela, e estamos prontos para começar.
O Python tem vários pacotes que nos permitem scrape informações de uma página da Web. Continuaremos com o BeautifulSoup porque ele é uma das bibliotecas Python mais famosas e fáceis de usar para a Web scraping.
O BeautifulSoup é melhor para analisar o conteúdo HTML de um URL e acessá-lo com tags e rótulos. Portanto, será conveniente extrair determinados trechos de texto do site.
Com apenas 3 a 5 linhas de código, podemos fazer a mágica e extrair qualquer tipo de texto do site de nossa escolha da Internet, o que o torna um pacote fácil de usar e poderoso.
Começaremos pelo básico. Para instalar o pacote da biblioteca, digite o seguinte comando em sua distribuição Python,
pip install beautifulsoup4Também usaremos o "módulo requests", pois ele fornece à BeautifulSoup o código HTML de qualquer página. Para instalá-lo, digite o seguinte comando em sua distribuição Python,
pip install requestsEsse módulo de solicitações nos permitirá obter o código HTML da página da Web e navegar por ela usando o pacote BeautfulSoup. Os dois comandos que tornarão nosso trabalho muito mais fácil são
find_all(element tag, attribute): Essa função usa tag e atributos como parâmetros e nos permite localizar qualquer elemento HTML de uma página da Web. Ela identificará todos os elementos do mesmo tipo. Em vez disso, podemos usar find() para obter apenas o primeiro.
get_text(): Depois de localizarmos um determinado elemento, esse comando nos permite extrair o texto interno.
Para navegar pelo código HTML da nossa página da Web e localizar os elementos que desejamos scrape, podemos usar a opção "inspecionar elemento" clicando com o botão direito do mouse na página ou simplesmente pressionando Ctrl+F. Isso permitirá que você veja o código-fonte da página da Web.
Quando localizarmos os elementos de interesse, obteremos o código HTML com o módulo de solicitações e, para extrair esses elementos, usaremos o BeautifulSoup.
Se inspecionarmos o código HTML dos artigos de notícias, veremos que o artigo na página inicial tem uma estrutura como esta,
The title has <h2> element with itemprop=”headline” and class=”articulo-titulo” attributes. It has an href attribute containing the text. So we will now extract the text using the following commands:
importar solicitações
from bs4 import BeautifulSoupQuando obtivermos o conteúdo HTML usando o módulo de solicitações, poderemos salvá-lo na variável coverpage:
# Solicitação
r1 = requests.get(url)
r1.status_code
# Salvaremos na coverpage o conteúdo da página de rosto
coverpage = r1.contentEm seguida, definiremos a variável soup,
# Criação da sopa
soup1 = BeautifulSoup(coverpage, 'html5lib')Na linha de código a seguir, localizaremos os elementos que estamos procurando,
# Identificação de notícias
coverpage_news = soup1.find_all('h2', class_='articulo-titulo')Usando final_all, estamos obtendo todas as ocorrências. Portanto, ele deve retornar uma lista na qual cada item é um artigo de notícias,
Para poder extrair o texto, usaremos o seguinte comando:
coverpage_news[4].get_text()Se quisermos acessar o valor de um atributo (no nosso caso, o link), podemos usar o seguinte comando,
coverpage_news[4]['href']Isso nos permitirá obter o link em texto simples.
Se você tiver entendido todos os conceitos até este ponto, poderá acessar o site scrape com qualquer conteúdo de sua escolha.
A próxima etapa envolve acessar cada conteúdo do artigo de notícias com o atributo href, obter o código-fonte para localizar os parágrafos no código HTML e, finalmente, obtê-los com o BeautifulSoup. É o mesmo processo que descrevemos acima, mas precisamos definir as tags e os atributos que identificam o conteúdo do artigo de notícias.
O código para a funcionalidade completa é fornecido abaixo. Não explicarei cada linha separadamente, pois o código é comentado; é possível entendê-lo claramente lendo os comentários.
number_of_articles = 5# Listas vazias para conteúdo, links e títulos
news_contents = []
list_links = []
list_titles = []
for n in np.arange(0, number_of_articles):
# somente artigos de notícias (há também álbuns e outras coisas)
if "inenglish" not in coverpage_news[n].find('a')['href']:
continue
# Obter o link do artigo
link = coverpage_news[n].find('a')['href']
list_links.append(link)
# Obtenção do título
title = coverpage_news[n].find('a').get_text()
list_titles.append(title)
# Leitura do conteúdo (dividido em parágrafos)
article = requests.get(link)
article_content = article.content
soup_article = BeautifulSoup(article_content, 'html5lib')
body = soup_article.find_all('div', class_='articulo-cuerpo')
x = body[0].find_all('p')
# Unificação dos parágrafos
list_paragraphs = []
for p in np.arange(0, len(x)):
paragraph = x[p].get_text()
list_paragraphs.append(paragraph)
artigo_final = " ".join(list_paragraphs)
news_contents.append(final_article)Vamos colocar os artigos extraídos no seguinte:
# df_features
df_features = pd.DataFrame(
{'Article Content': news_contents
})
# df_show_info
df_show_info = pd.DataFrame(
{'Article Title': list_titles,
'Article Link': list_links})
df_featuresdf_show_infoPara definir uma experiência melhor para o usuário, também mediremos o tempo que um script leva para obter as notícias. Definiremos uma função para isso e a chamaremos. Novamente, não explicarei cada linha de código, pois o código está comentado. Para ter uma compreensão clara, você pode ler os comentários.
def get_news_elpais():
# url definition
url = "https://elpais.com/elpais/inenglish.html"
# Request
r1 = requests.get(url)
r1.status_code
# We'll save in coverpage the cover page content
coverpage = r1.content
# Soup creation
soup1 = BeautifulSoup(coverpage, 'html5lib')
# News identification
coverpage_news = soup1.find_all('h2', class_='articulo-titulo')
len(coverpage_news)
number_of_articles = 5
# Empty lists for content, links and titles
news_contents = []
list_links = []
list_titles = []
for n in np.arange(0, number_of_articles):
# only news articles (there are also albums and other things)
if "inenglish" not in coverpage_news[n].find('a')['href']:
continue
# Getting the link of the article
link = coverpage_news[n].find('a')['href']
list_links.append(link)
# Getting the title
title = coverpage_news[n].find('a').get_text()
list_titles.append(title)
# Reading the content (it is divided in paragraphs)
article = requests.get(link)
article_content = article.content
soup_article = BeautifulSoup(article_content, 'html5lib')
body = soup_article.find_all('div', class_='articulo-cuerpo')
x = body[0].find_all('p')
# Unifying the paragraphs
list_paragraphs = []
for p in np.arange(0, len(x)):
paragraph = x[p].get_text()
list_paragraphs.append(paragraph)
final_article = " ".join(list_paragraphs)
news_contents.append(final_article)
# df_features
df_features = pd.DataFrame(
{'Content': news_contents
})
# df_show_info
df_show_info = pd.DataFrame(
{'Article Title': list_titles,
'Article Link': list_links,
'Newspaper': 'El Pais English'})
return (df_features, df_show_info)Um datacenter dedicado proxy tem vários recursos, como largura de banda ilimitada e conexões simultâneas, HTTP proxies dedicado para facilitar a comunicação e autenticação de IP para maior segurança. Com 99,9% de tempo de atividade, você pode ter certeza de que o data center dedicado sempre funcionará durante qualquer sessão. Por último, mas não menos importante, o ProxyScrape oferece excelente atendimento ao cliente e o ajudará a resolver seu problema dentro de 24 a 48 horas úteis.
O outro recurso do proxy residencial do ProxyScrapeé um recurso rotativo. Um proxy rotativo ajuda a evitar um banimento permanente da sua conta porque o proxy residencial muda dinamicamente o seu endereço IP, dificultando que o servidor de destino verifique se você está usando um proxy ou não.
Além disso, os outros recursos de um proxy residencial são: largura de banda ilimitada, juntamente com conexão simultânea, HTTP/s dedicado proxies, proxies em qualquer sessão de tempo devido aos mais de 7 milhões de proxies no pool proxy , autenticação de nome de usuário e senha para maior segurança e, por último, mas não menos importante, a capacidade de alterar o servidor do país. Você pode selecionar o servidor desejado anexando o código do país à autenticação do nome de usuário.
Em seguida, o melhor seria alterar o servidor proxy com base no país. Basta acrescentar o ISO_CODE do país no final da autenticação de IP ou da autenticação de nome de usuário e senha.
Neste artigo, vimos os conceitos básicos da Web scraping compreendendo os conceitos básicos do design e da estrutura do fluxo da página da Web. Também tivemos uma experiência prática com a extração de dados de artigos de notícias. A Web scraping pode fazer maravilhas se for feita corretamente. Por exemplo, um modelo totalmente otimizado pode ser criado com base em dados extraídos que podem prever categorias e mostrar resumos ao usuário. A coisa mais importante a fazer é descobrir seus requisitos e entender a estrutura da página. O Python tem algumas bibliotecas muito poderosas e fáceis de usar para extrair os dados de sua escolha. Isso tornou a Web scraping muito fácil e divertida.
É importante observar que esse código é útil para extrair dados dessa página da Web específica. Se quisermos fazer isso de qualquer outra página, precisaremos otimizar nosso código de acordo com a estrutura dessa página. Mas, depois que soubermos como identificá-los, o processo será exatamente o mesmo.