Cómo configurar un proxy para Python requests

En este artículo, exploraremos cómo configurar un proxy para requests de Python y cómo implementar un proxy rotativo para realizar solicitudes a través de un conjunto de servidores proxy. El uso de un proxy puede ser útil para muchos propósitos, como eludir las restricciones geográficas, evitar los límites de velocidad o proteger su identidad cuando extrae sitios web. Exploramos diferentes formas de configurar un proxy usando la biblioteca de Python requests y brindamos ejemplos de código que puede usar como punto de partida para sus propios proyectos. Ya sea que esté creando un web scraper o probando un sitio web desde diferentes ubicaciones, comprender cómo configurar un proxy puede ayudarlo a lograr sus objetivos de manera más eficiente y confiable.

Para configurar un proxy para las requests de Python, puede usar el parámetro proxies de la biblioteca requests. Este es un ejemplo:

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}

requests.get('http://example.org', proxies=proxies)

            
        

Alternativamente, puede configurarlo una vez para una Session completa:

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}
session = requests.Session()
session.proxies.update(proxies)

session.get('http://example.org')

            
        

Para usar HTTP Basic Auth con su proxy, use la sintaxis http://user:password@host/ en cualquiera de las entradas de configuración anteriores:

proxies = {
  'http': 'http://user:pass@10.10.1.10:3128',
  'https': 'http://user:pass@10.10.1.10:1080',
}

            
        

Tenga en cuenta que las URL de proxy deben incluir el esquema.

Para implementar la rotación de proxy para la biblioteca de requests, deberá manejar las fallas y prohibiciones de proxy, y también deberá implementar un retraso entre las solicitudes.