Como configurar um proxy para requests do Python

Neste artigo, exploraremos como configurar um proxy para requests Python e como implementar um proxy rotativo para fazer solicitações por meio de um pool de servidores proxy. O uso de um proxy pode ser útil para muitas finalidades, como contornar restrições geográficas, evitar limites de taxa ou proteger sua identidade ao rastrear sites. Exploramos diferentes maneiras de configurar um proxy usando requests da biblioteca Python e fornecemos exemplos de código que você pode usar como ponto de partida para seus próprios projetos. Esteja você criando um web scraper ou testando um site de diferentes locais, entender como configurar um proxy pode ajudá-lo a atingir seus objetivos com mais eficiência e confiabilidade.

Para configurar um proxy para requests do Python, você pode usar o parâmetro proxies da biblioteca requests. Aqui está um exemplo:

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}

requests.get('http://example.org', proxies=proxies)

            
        

Como alternativa, você pode configurá-lo uma vez para uma sessão inteira:

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}
session = requests.Session()
session.proxies.update(proxies)

session.get('http://example.org')

            
        

Para usar HTTP Basic Auth com seu proxy, use a sintaxe http://user:password@host/ em qualquer uma das entradas de configuração acima:

proxies = {
  'http': 'http://user:pass@10.10.1.10:3128',
  'https': 'http://user:pass@10.10.1.10:1080',
}

            
        

Observe que os URLs de proxy devem incluir o esquema.

Para implementar a rotação de proxy para a biblioteca de requests, você precisará lidar com falhas e proibições de proxy e também implementar um atraso entre as solicitações.