SDK > scrapy-proxyport

Integração do Proxy Port com o framework Scrapy

pypi.org/project/scrapyproxyport - página em npmjs.com

github.com/proxyport/scrapy-proxyport - código fonte no github

Pré-requisitos

Obtenha a chave de API

Instalação

$ pip install scrapyproxyport

Começando

Antes de obter seu primeiro proxy, você precisa atribuir uma Chave de API. Isso pode ser feito por meio de uma variável de ambiente

$ export PROXY_PORT_API_KEY=<API_KEY>
ou dentro de settings.py.

# inside <your_project>/settings.py

PROXY_PORT_API_KEY = '<API_KEY>'
DOWNLOADER_MIDDLEWARES = {
    # Add middleware with order number right before CookiesMiddleware
    'scrapyproxyport.middlewares.ProxyMiddleware': 898,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 899,
}
DOWNLOAD_TIMEOUT = 10
RETRY_TIMES = 20
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'
Exemplo de projeto Scrapy: scrapy-proxyport-example