Como usar um módulo Proxy com solicitações em Python

Guias, Como fazer, Proxies, Mar-06-20245 minutos de leitura

Todo computador recebe um endereço IP (Internet Protocol) exclusivo que identifica o computador e sua localização geográfica quando conectado à Internet. Seu computador envia uma solicitação sempre que precisa de alguma informação da Internet. A solicitação é enviada a um computador de destino que verifica o tipo de informação que está sendo solicitada. O computador de destino envia as informações de volta se tiver permissão para fornecê-las ao nosso endereço IP. Às vezes, o computador deseja obter as informações da Internet sem ser identificado. Essas informações geralmente são bloqueadas, mas podemos obtê-las usando um proxy que atua como intermediário entre o cliente e o computador servidor.

Cada servidor proxy tem seu endereço IP, portanto, quando um usuário faz uma solicitação por meio de um proxy para acessar um site, o site envia os dados para o IP do servidor proxy que os encaminha para o usuário.

Proxies ocultam a identidade dos raspadores da Web e fazem com que seu tráfego pareça o tráfego de usuários comuns.
Proxies fornecem segurança adicional aos sites e equilibram o tráfego da Internet.
Proxies proteger os dados dos usuários da Web ou ajudar a acessar sites bloqueados pelo mecanismo de censura de um país.

Usando um módulo Proxy com solicitações em Python

Para usar o proxies com as solicitações do Python, você precisa seguir as etapas abaixo.

Solicitações de importação

Importe o pacote requests, que é uma biblioteca HTTP simples. Você pode enviar solicitações facilmente por meio desse pacote sem adicionar manualmente strings de consulta aos URLs. Você pode importar solicitações usando o comando abaixo.

solicitações de importação

Criar um dicionário

Você precisa criar um dicionário proxies que defina as conexões HTTP e HTTPS. Você pode dar à variável do dicionário qualquer nome, como "proxies", que mapeie um protocolo para o URL proxy . Além disso, você precisa definir a variável URL como o site do qual você precisa acessar scrape .

proxies = {
  "http":'http://203.190.46.62:8080',
  "https":'https://111.68.26.237:8080'
}
url = 'https://httpbin.org/ip'

Aqui, o dicionário define a URL do site proxy para dois protocolos separados, ou seja, HTTP e HTTPS.

Criar uma variável de resposta

Você precisa criar uma variável de resposta que use qualquer um dos métodos de solicitação. Esse método recebe dois argumentos:

O URL que você criou
O dicionário que você definiu

response = requests.get(url,proxies = proxies)
print(response.json())

A saída é a seguinte:

Você também pode usar o módulo requests no Python para girar os endereços IP, conforme mostrado abaixo.

Você precisa importar o módulo de solicitações usando o comando abaixo.

solicitações de importação

Criar a função sending_request

Você precisa criar uma função sending_request e preferir usar o http proxy , pois a maioria dos proxies gratuitos não usa o protocolo https. Usamos o bloco try-except porque a maioria dos proxies gratuitos não funciona.

def sending_request(session, proxy):
    try:
        response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
        print(response.json())
    except:
        pass

Ler proxies_txt

Você precisa ler o arquivo list_proxies.txt que contém a lista proxies gratuita e salvá-lo na variável chamada proxies.

if __name__ == "__main__":
   with open('list_proxies.txt', 'r') as file:
       proxies = file.readlines()

Criar sessão

Você precisa criar uma sessão no módulo de solicitações e seguir as etapas abaixo.

Faça um loop pelo proxy
Passe o endereço proxy e a sessão para a função sending_request

com requests.Session() como session:
   for proxy in proxies:
        sending_request(session, proxy)

Você obterá a lista de proxies conforme mostrado abaixo.

Esses são alguns proxies, e a lista continua com mais proxies, mas todos eles não funcionam.

Necessidade de Proxies

Toda empresa precisa conhecer os cinco motivos corporativos vitais para usar o site proxies mencionados abaixo.

Execução anônima de tarefas confidenciais

Proxies são bem conhecidos por sua capacidade de tornar anônimo o tráfego da Web. Mas a maioria das pessoas não entende sua importância no setor comercial. Os servidores Proxy permitem que os agentes de segurança e os repórteres protejam a si mesmos, as empresas, as fontes, os clientes e os parceiros.

Você também pode usar o proxies para proteger o desenvolvimento e a pesquisa atual e outras atividades da empresa. Suponha que sua empresa use um proxy e um espião em potencial para rastrear o tráfego da Web e determinar o que sua empresa está desenvolvendo. Nesse caso, ela não conseguirá rastrear seus funcionários com facilidade.

Melhoria da segurança corporativa e institucional

Você sabe que as violações de dados custam caro, tanto em termos de imagem pública quanto de perda monetária. Portanto, as empresas estão preocupadas com os hackers. Mas o site proxies pode ajudá-lo, pois reduz a chance de violação de dados. Eles acrescentam uma camada adicional de segurança entre seus servidores e o tráfego externo. Os servidores proxy também atuam como um buffer, pois estão voltados para a Internet e retransmitem solicitações de computadores fora da rede.

Se os hackers tiverem acesso aos seus servidores proxy , eles ainda terão problemas para acessar o servidor que executa o software da Web no qual os dados estão armazenados.

Controle do uso da Internet pelos funcionários

Se os hackers tiverem acesso aos seus servidores proxy , eles ainda terão problemas para acessar o servidor que executa o software da Web no qual os dados estão armazenados.

Economia de largura de banda e obtenção de velocidades mais rápidas

Algumas pessoas supõem que os servidores proxy reduzem a velocidade da Internet devido ao grande volume de trabalho que realizam em segundo plano. Mas isso nem sempre é verdade. Os servidores proxy podem ser usados para economizar largura de banda e aumentar a velocidade:

Armazenamento em cache de páginas da Web e arquivos acessados por vários usuários
Compressão de tráfego
Remoção de anúncios de sites

Qual Proxies usar?

Você pode pensar que existe um único tipo de proxy que oferece todos os benefícios para as empresas, como, por exemplo, a possibilidade de se obter uma licença de trabalho:

Prevenção de violações de dados
Definição de preços competitivos
Coleta de dados valiosos nas mídias sociais
Criação de uma estratégia de SEO eficaz

Na realidade, há muitos tipos de proxies disponíveis, e o tipo a ser usado depende de seus requisitos ou caso de uso.

Veja abaixo os tipos mais comuns de proxies.

Centro de dados Proxies

Os data centers proxies são os mais comuns proxies usados por empresas em todo o mundo. Os data centers produzem e gerenciam esses proxies. Você pode usar esses proxies se precisar melhorar a segurança do seu sistema, pois eles são baratos e fáceis de adquirir. Mas alguns sites proíbem seu uso, pois os associam a atividades semelhantes a bots.

Residencial Proxies

O proxies residencial está associado a residências físicas e usa os endereços IP de pessoas reais fornecidos pelos provedores de serviços de Internet (ISPs). Ao usá-los para se conectar a um site, você se parece com um usuário comum. Assim, é menos provável que você seja detectado e banido. Você pode scrape uma grande quantidade de dados da Web usando proxies residencial e obter mais anonimato e segurança.

Conclusão

Até agora, discutimos que um proxy atua como um retransmissor entre o cliente e a máquina do servidor. Sempre que você solicita informações, seu computador envia essa solicitação para o proxy, que, por sua vez, envia as informações para o computador de destino usando um endereço IP diferente. Assim, seu endereço IP permanece confidencial. Além disso, você pode usar o proxies com o módulo de solicitações no Python e executar várias ações, dependendo da sua necessidade. Se precisar de um IP estático com a velocidade do datacenter proxies e o alto anonimato do proxiesresidencial, então o proxies estático é a melhor opção, pois o endereço IP permanece inalterado a cada nova solicitação. Por outro lado, o proxies rotativo oferece benefícios em testes e scraping.

Por: ProxyScrape