如何操作指南 > 如何为 Python requests 设置代理

如何为 Python requests 设置代理

在本文中，我们将探讨如何为 Python requests 设置代理，以及如何实现轮换代理以通过代理服务器池发出请求。使用代理可用于许多目的，例如绕过地理限制、避免速率限制或在抓取网站时保护您的身份。我们探索了使用 Python 库 requests 设置代理的不同方法，并提供了代码示例，您可以将其用作自己项目的起点。无论您是构建网络抓取工具还是从不同位置测试网站，了解如何设置代理都可以帮助您更高效、更可靠地实现目标。

简单的方法

使用代理端口wrapper 来自我们 SDK 的 requests 库。

漫漫长路

要为 Python 请求设置代理，您可以使用 requests 库的代理参数。这是一个例子：

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}

requests.get('http://example.org', proxies=proxies)

或者，您可以为整个 Session 配置一次：

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}
session = requests.Session()
session.proxies.update(proxies)

session.get('http://example.org')

要将 HTTP Basic Auth 与您的代理一起使用，请在上述任何配置条目中使用 http://user:password@host/ 语法：

proxies = {
  'http': 'http://user:pass@10.10.1.10:3128',
  'https': 'http://user:pass@10.10.1.10:1080',
}

请注意，代理 URL 必须包含方案。

要为 requests 库实施代理轮换，您需要处理代理失败和禁止，您还需要在请求之间实施延迟。

也可以看看:

requests 的代理包装器

抓取代理

了解更多