SDK > crawlee-proxyport

crawlee-proxyport

crawlee-proxyport O pacote Node.js TypeScript fornece uma maneira fácil de usar o proxy rotativo para a estrutura de extração Crawlee.

npmjs.com/package/crawlee-proxyport - página em npmjs.com

github.com/proxyport/crawlee-proxyport - código fonte no github

Pré-requisitos

Obtenha a chave de API

Instalação

$ npm i crawlee-proxyport

Começando

Antes de obter seu primeiro proxy, você precisa atribuir uma Chave de API.

import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
import { ProxyProvider } from 'crawlee-proxyport';

const startUrls = ['https://example.com'];

const crawler: CheerioCrawler = new CheerioCrawler({
    useSessionPool: true,
    persistCookiesPerSession: true,
    proxyConfiguration: new ProxyConfiguration({
        newUrlFunction: (sId) => proxyProvider.newUrlFunction(sId)
    }),
    maxRequestRetries: 20,
    sessionPoolOptions:{
        sessionOptions: {
            // você pode querer jogar com este número, recomendamos usar um valor entre 10 e 50
            maxUsageCount: 20,
        },
    },
    async requestHandler({ request, $, log }) {
        const title = $('title').text();
        log.info(`Title of ${request.loadedUrl} is '${title}'`);
    },
});

const proxyProvider = new ProxyProvider(<API_KEY>, crawler);

await crawler.run(startUrls);