SDK > scrapy-proxyport

Integración del Proxy Port con el Scrapy

pypi.org/project/scrapyproxyport - página en PyPi.org

github.com/proxyport/scrapy-proxyport - código fuente en github

Requisitos previos

Obtener clave API

Instalación

$ pip install scrapyproxyport

Empezando

Antes de obtener su primer proxy, debe asignar una clave API. Esto se puede hacer a través de una variable de entorno

$ export PROXY_PORT_API_KEY=<API_KEY>
o directamente en el código.

# inside <your_project>/settings.py

PROXY_PORT_API_KEY = '<API_KEY>'
DOWNLOADER_MIDDLEWARES = {
    # Agregue middleware con el número de pedido justo antes de CookiesMiddleware
    'scrapyproxyport.middlewares.ProxyMiddleware': 898,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 899,
}
DOWNLOAD_TIMEOUT = 10
RETRY_TIMES = 20
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'
Ejemplo de proyecto Scrapy: scrapy-proxyport-example