Ao usar um proxy, você não se conecta diretamente ao servidor de destino; em vez disso, você direciona sua solicitação ao servidor proxy que a avalia e retorna uma resposta. O Proxies tem muitos benefícios, como ocultar seus endereços IP reais, contornar filtros, censura etc.
Um rotador proxy pode ajudá-lo a contornar a maioria das medidas antiscraping . Você também pode usá-lo para contornar qualquer limite de taxa implementado no site de destino e extrair dados com êxito. Mas o que é um proxy rotativo? É um proxy que atribui um novo endereço IP para cada conexão do pool proxy . Isso significa que você pode enviar 1.000 solicitações a qualquer número de sites lançando um script e obtendo 1.000 endereços IP diferentes.
Este artigo ajuda você a entender como usar proxies para rotacionar endereços IP em python.
Você deve importar o módulo de solicitações do Python usando o comando abaixo.
solicitações de importaçãoSe o módulo não estiver instalado em seu ambiente, você poderá instalá-lo usando o comando abaixo.
!pip install requestsdef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passAqui vem a seção principal do código. Você deve ler o arquivo list_proxy.txt e salvá-lo na variável chamada proxies , conforme mostrado abaixo.
if __name__ == "__main__":
with open('lista_proxy.txt', 'r') as file:
proxies = file.readlines()Você precisa usar o módulo requests para criar uma sessão no Python. Usamos um loop for para percorrer o proxy no código abaixo. Em seguida, passamos a sessão e o endereço proxy para a função send_request.
com requests.Session() como session:
for proxy in proxies:
send_request(session, proxy)Você pode executar o script e ver o resultado conforme mostrado abaixo. Você obterá uma longa lista de proxies , mas lembre-se de que eles não funcionarão.
python rotateproxy.pySeu código completo será como:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Abaixo estão algumas dicas para girar proxies em Python ao usar um proxy rotativo.
A maioria dos serviços gratuitos disponíveis no proxy está congestionada, o que leva a falhas inesperadas e atrasos frustrantes. Portanto, quando você planeja optar pelo proxies gratuito, é preciso verificar se ele atende às suas necessidades scraping sem causar nenhum drawdown significativo.
A maioria das listas proxies gratuitas é válida por tempo limitado, portanto, você pode criar sua própria lógica em Python para girar o rotador da lista proxy gratuita com endereços IP funcionais. Dessa forma, você não sofrerá interrupções durante a Web scraping.
Você deve evitar usar endereços IP que sigam uma sequência específica ou um formato previsível, como pertencer ao mesmo grupo. Isso ocorre porque a maioria das ferramentas antiscraping pode detectar facilmente as solicitações enviadas de tais endereços IP. Por exemplo, você deve se abster de usar a seguinte sequência de endereços IP rotativos, pois isso levantará rapidamente a bandeira vermelha.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
Os rotadores de IP gratuitos do proxy são inseguros e lentos. Portanto, usá-los não será adequado se você realizar projetos avançados e de grande escala na Web scraping . Com o uso de um bom proxies premium, você pode obter um serviço de alta qualidade e scrape milhares de páginas da Web sem sofrer bloqueios ou interrupções.
Para usar um serviço proxy premium, você terá que pagar alguns dólares e obter um provedor que atenderá às suas necessidades de extração de dados e garantirá sua privacidade.
Veja abaixo as três principais categorias de proxies na Internet.
Você pode usar a rotação de IP para alternar vários endereços IP e evitar a detecção. No entanto, algumas medidas antiscraping podem identificar essas atividades e bloquear a coleta de dados. Portanto, você também precisa alternar os agentes de usuário além de alternar os endereços IP para aumentar suas chances de sucesso.