Quando você scrape dados de sites de grande escala, é muito provável que não tenha precisado enfrentar um CAPTCHA para provar que é um ser humano. Como um raspador da Web, você já deve saber por que os profissionais de segurança cibernética foram forçados a inventá-los. Eles eram o resultado de seus bots automatizando infinitas solicitações de sites para acessá-los. Assim, até mesmo os usuários genuínos tiveram que enfrentar CAPTCHAs que aparecem em diferentes formas. No entanto, é possível contornar os CAPTCHAs, seja você um raspador da Web ou não, o que seria o objetivo deste artigo. Mas, primeiro, vamos nos aprofundar no que são os CAPTCHAs.
CAPTCHA significa Completely Automated Public Turing Test to tell Computers and Humans Apart (Teste de Turing Público Completamente Automatizado para Diferenciar Computadores e Humanos). Esse é um acrônimo bem longo, não é? Agora você deve estar se perguntando o que significa a última parte desse acrônimo, Teste de Turing - bem, é um teste simples para determinar se um humano ou um bot está interagindo com uma página da Web ou um servidor da Web.
Afinal de contas, um CAPTCHA diferencia humanos de bots, ajudando os analistas de segurança cibernética a proteger os servidores da Web contra ataques de força bruta, DDoS e, em algumas situações, a Web scraping.
Vamos descobrir como os CAPTCHAs diferenciam os humanos dos bots.
É possível encontrar os CAPTCHAs nos formulários de um site, incluindo formulários de contato, registro, comentários, inscrição ou check-out.
Os CAPTCHAs tradicionais incluem uma imagem com letras, números ou ambos esticados ou borrados em uma caixa com cor de fundo ou fundo transparente. Em seguida, você precisa identificar os caracteres e digitá-los no campo de texto que se segue. Esse processo de identificação de caracteres é mais fácil para os humanos, mas um pouco complicado para um bot.
Por outro lado, alguns bots avançados podem interceptar letras distorcidas com a ajuda do aprendizado de máquina ao longo dos anos. Como resultado, algumas empresas, como o Google, substituíram os CAPTCHAs convencionais por CAPTCHAs sofisticados. Um exemplo disso é o ReCAPTCHA, que você descobrirá na próxima seção.
O ReCAPTCHA é um serviço gratuito oferecido pelo Google. Ele solicita que os usuários marquem caixas em vez de digitar texto, resolver quebra-cabeças ou equações matemáticas.
Um ReCAPTCHA típico é mais avançado do que as formas convencionais de CAPTCHAs. Ele usa imagens e textos do mundo real, como semáforos nas ruas, textos de jornais antigos e livros impressos. Como resultado, os usuários não precisam depender de CAPTCHAs antigos com texto borrado e distorcido.
Há três tipos significativos de testes ReCAPTCHA para verificar se você é um ser humano ou não:
Esses são os ReCAPTCHAs que solicitam que os usuários marquem uma caixa de seleção, "Não sou um robô", como na imagem acima. Embora possa parecer a olho nu que até mesmo um robô poderia concluir esse teste, vários fatores são levados em consideração:
Se o ReCAPTCHA não conseguir verificar se você é um ser humano, ele apresentará outro desafio.
Esses ReCAPTCHAs fornecem aos usuários nove ou dezesseis imagens quadradas, como pode ser visto na imagem acima. Cada quadrado representa uma parte de uma imagem maior ou imagens diferentes. O usuário deve selecionar quadrados que representem objetos específicos, animais, árvores, veículos ou semáforos.
Se a seleção do usuário corresponder às seleções de outros usuários que realizaram o mesmo teste, o usuário será verificado. Caso contrário, o ReCAPTCHA apresentará um teste mais desafiador.
Você sabia que o ReCAPTCHA pode verificar se você é um ser humano ou não sem usar caixas de seleção ou qualquer interação com o usuário?
Ele certamente o faz considerando o histórico de interação do usuário com sites e o comportamento geral do usuário enquanto está on-line. Na maioria dos cenários, com base nesses fatores, o sistema seria capaz de determinar se você é um bot.
Se isso não for feito, você voltará a usar qualquer um dos dois métodos mencionados anteriormente.
Os CAPTCHAs podem ser acionados se um site detectar atividades incomuns que se assemelhem ao comportamento de bots; esse comportamento incomum inclui solicitações ilimitadas em frações de segundos e cliques em links em uma taxa muito maior do que a dos humanos.
Então, alguns sites teriam automaticamente CAPTCHAs instalados para proteger seus sistemas.
No que diz respeito aos ReCAPTCHAs, não está exatamente claro o que os aciona. Entretanto, as causas gerais são os movimentos do mouse, o histórico de navegação e o rastreamento de cookies.
Agora você tem uma visão geral clara do que são CAPTCHAs e Rechaptchas, como eles funcionam e o que os aciona. Agora é hora de ver como os CAPTCHAs afetam a Web scraping.
Os CAPTCHAs podem atrapalhar o scraping na Web, pois os bots automatizados realizam a maioria das operações do scraping . Entretanto, não fique desanimado. Conforme mencionado no início deste artigo, há maneiras de superar os CAPTCHAs ao acessar scraping a Web. Antes de abordá-las, vamos nos concentrar no que você precisa saber antes de scrape.
Ao se conectar a um site, você envia informações sobre o seu dispositivo para o site de conexão. Eles podem usar essas informações para personalizar o conteúdo de acordo com as especificações de seu dispositivo e o rastreamento de métricas. Portanto, quando eles descobrem que as solicitações são do mesmo dispositivo, qualquer solicitação que você enviar posteriormente será bloqueada.
Outro fato de que você deve estar ciente é que o site de destino não colocou seu endereço IP na lista negra. É provável que eles coloquem seu endereço IP na lista negra quando você enviar muitas solicitações com seu scraper/crawler.
A rotação dos cabeçalhos HTTP e proxies (mais sobre isso na próxima seção) com um pool garantirá que vários dispositivos acessem o site de diferentes locais. Portanto, você poderá continuar acessando scraping sem interrupções causadas por CAPTCHAs. Dito isso, é preciso garantir que você não esteja prejudicando o desempenho do site de forma alguma.
Além dos fatores-chave acima, você precisa conhecer os CAPTCHAs abaixo ao acessar a Web scraping com um bot:
A simples alteração do agente de usuário não será suficiente, pois você precisará ter uma lista de cadeias de caracteres de agente de usuário e depois alterná-las. Essa rotação fará com que o site de destino o veja como um dispositivo diferente quando, na realidade, um dispositivo está enviando todas as solicitações.
Como prática recomendada para essa etapa, seria ótimo manter um banco de dados de agentes de usuários reais. Além disso, exclua o site cookies quando não precisar mais dele.
Um método mais direto e de baixo nível técnico para resolver um CAPTCHA seria usar um serviço de solução de CAPTCHA. Eles usam inteligência artificial (IA), aprendizado de máquina (MI) e um conjunto de outras tecnologias para resolver um CAPTCHA.
Quando você permite que o seu scraper acesse diretamente um URL a cada fração de segundo, o site receptor fica desconfiado. Como resultado, o site de destino acionaria um CAPTCHA.
Para evitar esse cenário, você pode definir o cabeçalho do referenciador para fazer com que ele pareça ter sido encaminhado de outra página. Isso reduziria a probabilidade de ser detectado como um bot. Como alternativa, você pode fazer com que o bot visite outras páginas antes de visitar o link desejado.
Honeypots são elementos ocultos em uma página da Web que os especialistas em segurança usam para capturar bots ou invasores. Embora o navegador renderize seu HTML, suas propriedades CSS são definidas como ocultas. No entanto, ao contrário dos seres humanos, o código do honey pot ficaria visível para os bots quando eles acessassem scrape os dados. Como resultado, eles caíram na armadilha criada pelo honeypot.
Portanto, você precisa verificar se as propriedades CSS de todos os elementos em uma página da Web não estão ocultas ou invisíveis antes de começar scraping. Somente quando tiver certeza de que nenhum dos elementos está oculto, você define o bot para scraping.
Este artigo lhe dará uma ideia abrangente de como evitar CAPTCHAs ao acessar scraping a Web. Evitar um CAPTCHA pode ser um processo complicado. No entanto, com o uso de técnicas específicas discutidas neste artigo, você pode desenvolver o bot de modo a evitar CAPTCHAs.
Esperamos que você faça uso de todas as técnicas discutidas neste artigo.