As pessoas podem facilmente coletar e scrape informações de várias fontes, como Facebook, Reddit e Twitter. Você pode pensar em um scraper como uma ferramenta especializada que extrai dados de uma página da Web com precisão e rapidez. As APIs scraping ajudam os scrapers a evitar que sejam banidos por técnicas antiscraping que os sites colocam. No entanto, é caro usar APIs em comparação com uma ferramenta proxy gerenciada por você mesmo.
O Reddit tem uma API chamada Python Reddit API Wrapper, abreviada para PRAW, para rastrear dados. Neste blog, mostrarei as etapas de como acessar o scrape Reddit usando python. Mas, antes disso, você precisa saber por que precisa acessar o scrape Reddit.
Se falarmos sobre o design do Reddit, ele é dividido em várias comunidades conhecidas como "subreddits". Você pode encontrar qualquer subreddit de seu tópico de interesse na Internet. Os pesquisadores sociais executam análises, fazem inferências e implementam planos de ação quando extraem discussões do Reddit sobre um determinado tópico.
Você pode scrape muitos pontos de dados do Reddit, como:
Você pode scrape qualquer informação do Reddit relevante para sua empresa devido às seguintes necessidades:
Por exemplo,
O Reddit scraping usa raspadores da Web (programas de computador) para extrair dados disponíveis publicamente do site do Reddit. Você precisa usar os raspadores do Reddit por causa das limitações que você enfrenta ao usar a API oficial do Reddit. No entanto, se você usar o web scraper que não usa a API do Reddit para extrair dados do Reddit, violará os termos de uso do Reddit. Mas isso não significa que a Web scraping seja ilegal.
Para ter uma sessão scraping sem problemas, você terá que evitar os sistemas antiscraping implementados pelo Reddit. As técnicas antiscraping mais comuns usadas pelo Reddit são:
Você pode resolver o problema do rastreamento de IP com a ajuda do proxies e da rotação de IP. Por outro lado, você pode resolver o problema dos Captchas usando soluções de Captcha, como o 2Captcha.
Há cinco maneiras de acessar o scrape Reddit, e elas são:
Vamos ver como podemos acessar scrape Reddit usando a API do Reddit com a ajuda das etapas a seguir.
Primeiro, importaremos os módulos internos do Pandas, ou seja, datetime, e dois módulos de terceiros, PRAW e Pandas, conforme mostrado abaixo:
import praw
import pandas as pd
import datetime as dtVocê pode acessar os dados do Reddit usando o Praw, que significa Python Reddit API Wrapper. Primeiro, você precisa se conectar ao Reddit chamando a função praw.Reddit e armazenando-a em uma variável. Em seguida, você deve passar os seguintes argumentos para a função.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS', \
user_agent='YOUR_APP_NAME', \
username='YOUR_REDDIT_USER_NAME', \
password='YOUR_REDDIT_LOGIN_PASSWORD')subreddit = reddit.subreddit('Nootropics')Cada subreddit tem as cinco maneiras diferentes abaixo para organizar os tópicos criados pelos Redditors:
Você pode obter os tópicos mais votados como:
top_subreddit = subreddit.top()Você obterá um objeto semelhante a uma lista com os 100 principais envios em r/Nootropics. No entanto, o limite de solicitações do Reddit é 1000, portanto, você pode controlar o tamanho da amostra passando um limite para .top as:
top_subreddit = subreddit.top(limit=600)Você pode scrape os dados que desejar. No entanto, estaremos scraping as informações abaixo sobre os tópicos:
Faremos isso armazenando nossos dados em um dicionário e, em seguida, usando um loop for, conforme mostrado abaixo.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Agora, podemos acessar scrape os dados da API do Reddit. Anexaremos as informações ao nosso dicionário por meio da iteração do nosso objeto top_subreddit.
for submission in top_subreddit:
topics_dict["id"].append(submission.id)
resumo_de_tópicos["título"].append(submissão.título)
resumo_tópicos["pontuação"].append(submissão.pontuação)
resumo_tópicos["criado"].append(submissão.criado)
topics_dict["body"].append(submission.selftext)Agora, colocamos nossos dados em Dataframes do Pandas, pois os dicionários do Python não são fáceis de ler.
topics_data = pd.DataFrame(topics_dict)É muito fácil criar arquivos de dados em vários formatos no Pandas, portanto, usamos as seguintes linhas de código para exportar nossos dados para um arquivo CSV.
topics_data.to_csv('FILENAME.csv', index=False)Você sabe que o Reddit não é um site muito rigoroso quando se trata de restrições de uso do proxy . Mas você pode ser pego e penalizado se automatizar suas ações no Reddit sem usar o proxies.
Então, vamos dar uma olhada em alguns dos melhores proxies para o Reddit que se enquadram em duas categorias:
Veja a seguir alguns dos principais sites residenciais e de data center proxies para o Reddit.
ProxyScrape fornece três tipos de serviços a seus usuários, a saber
Você precisa do proxies quando estiver trabalhando com algumas ferramentas automáticas no Reddit. Isso ocorre porque o Reddit é um site muito sensível que detecta facilmente ações automáticas e bloqueia o acesso do seu IP à plataforma. Portanto, se você estiver automatizando algumas das tarefas, como votos, postagens, ingresso/descanso de grupos e gerenciamento de mais de uma conta, definitivamente precisará usar proxies para evitar resultados ruins.
Você pode optar pelo scraping manual se os requisitos do Reddit scraping forem pequenos. Mas se os requisitos forem grandes, você terá de aproveitar as metodologias scraping automatizadas, como as ferramentas scraping da Web e os scripts personalizados. Os raspadores da Web provam ser eficientes em termos de custo e recursos quando seus requisitos diários de scraping estão dentro de alguns milhões de posts.
Então, vamos dar uma olhada em alguns dos melhores raspadores do Reddit como a melhor solução para scrape grandes quantidades de dados do Reddit.