How-to Guías prácticas > Cómo configurar un proxy para Crawlee

Cómo configurar un proxy para Crawlee

En este artículo encontrará una forma de configurar un proxy para Crawlee.

El SDK de puerto de proxy contiene un paquete de rotación de proxy para Crawlee. Con este paquete, no necesita preocuparse por la rotación de proxy, todo se hará por sí mismo. Si desea configurar proxies manualmente, siga leyendo.

Todas sus necesidades de proxy son administradas por la clase ProxyConfiguration.

Debe crear una instancia de la clase ProxyConfiguration y pasarla al constructor Crawler.

Puede configurar un proxy desde una lista predefinida:

import { CheerioCrawler, ProxyConfiguration } from 'crawlee';

const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: [

        // reemplácelo con las URL de sus servidores proxy
        'http://yourproxyserver-1.com',
        'http://yourproxyserver-2.com',
    ],
});

const crawler = new CheerioCrawler({
    proxyConfiguration,
    // ...
});

o con una función que proporciona proxy dinámicamente:

import { CheerioCrawler, ProxyConfiguration } from 'crawlee';

async function newUrlFunction(sessionId: string | number): Promise<string> {

    // Debe ser definido por usted
    return getProxyFunction();
}

const proxyConfiguration = new ProxyConfiguration({
    newUrlFunction: newUrlFunction,
});

const crawler = new CheerioCrawler({
    proxyConfiguration,
    // ...
});

Ver también:

crawlee-proxyport - Proveedor de proxy para Crawlee

Proxy para raspar

Más