Como Guias de instruções > Como configurar um proxy para Crawlee

Como configurar um proxy para Crawlee

Neste artigo, você encontrará uma maneira de configurar o proxy para o framework Crawlee.

O Proxy Port SDK contém um pacote de rotação de proxy para Crawlee. Usando este pacote você não precisa se preocupar com a rotação do proxy, tudo será feito por si só. Se você deseja definir proxies manualmente, continue lendo.

Todas as suas necessidades de proxy são gerenciadas pela classe ProxyConfiguration.

Você precisa instanciar a classe ProxyConfiguration e passá-la para o construtor Crawler.

Você pode configurar um proxy a partir de uma lista predefinida:

import { CheerioCrawler, ProxyConfiguration } from 'crawlee';

const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: [

        // substitua-o pelos URLs dos seus servidores proxy
        'http://yourproxyserver-1.com',
        'http://yourproxyserver-2.com',
    ],
});

const crawler = new CheerioCrawler({
    proxyConfiguration,
    // ...
});

ou com uma função que fornece proxy dinamicamente:

import { CheerioCrawler, ProxyConfiguration } from 'crawlee';

async function newUrlFunction(sessionId: string | number): Promise<string> {

    // Deve ser definido por você
    return getProxyFunction();
}

const proxyConfiguration = new ProxyConfiguration({
    newUrlFunction: newUrlFunction,
});

const crawler = new CheerioCrawler({
    proxyConfiguration,
    // ...
});

Veja também:

crawlee-proxyport - Provedor de proxy para Crawlee

Proxy para raspagem

Saber mais