MechanicalSoup
MechanicalSoup 是一个 Python 库，它通过模仿网络浏览器的行为来帮助自动化网络浏览任务。 它建立在流行的 Python 库 Beautiful Soup 和 Requests 之上，提供了一种通过表单、链接和请求与网页交互的便捷方式 其他元素。 借助 MechanicalSoup，您可以以编程方式填写表单、单击按钮、跟踪链接以及从网页中抓取数据，所有这些方式都非常类似于人类用户与网络浏览器的交互方式。
MechanicalSoup 与竞争对手相比有几个优势：
- 易用性：MechanicalSoup 非常易于学习和使用，即使对于刚接触网络抓取或自动化的初学者也是如此。 它有一个简单的 API，不需要广泛的网络协议或 HTTP 请求知识。
- 与 Beautiful Soup 集成：MechanicalSoup 建立在流行的 Beautiful Soup 库之上，这使得从 HTML 和 XML 文档中解析和提取数据变得容易。 Beautiful Soup 提供了许多有用的方法来导航文档结构、查找元素和操作内容。
- 表格和 cookie 的处理：MechanicalSoup 专门设计用于自动执行涉及填写表格和处理 cookie 的任务。 它提供了一种方便的方式来提交表单数据和管理 cookie，手动执行这些操作既乏味又容易出错。
- 兼容性：MechanicalSoup 与 Python 2 和 Python 3 兼容，可在大多数操作系统上运行，包括 Windows、Linux 和 Mac。
- 开源：MechanicalSoup 是开源软件，这意味着它可以免费使用、修改和分发。 对于想要在不产生许可费用的情况下构建 Web 自动化或抓取工具的开发人员来说，这使其成为一个有吸引力的选择。
MechanicalSoup 和 Scrapy 的区别
MechanicalSoup 和 Scrapy 都是用于网络抓取的 Python 库，但它们有一些关键区别：
- 抽象级别：MechanicalSoup 是一个高级库，它提供了一个简单直观的界面来与网页进行交互。 它建立在 Requests 和 Beautiful Soup 库之上，提供了一种方便的方式来填写表单、单击按钮和从网页中抓取数据。 另一方面，Scrapy 是一个较低级别的框架，它提供了一种更灵活和可定制的网络抓取方法。 它包含自己的 HTTP 客户端，并允许开发人员定义自己的蜘蛛类，用于从网站解析和提取数据。
- 可扩展性：Scrapy 专为涉及爬取多个页面、处理不同类型的内容以及管理复杂数据管道的大型网络抓取项目而设计。 它提供的功能包括对处理 robots.txt、管理 cookie 和会话以及与数据库和存储系统集成的内置支持。 另一方面，MechanicalSoup 更适合涉及自动执行特定任务或从单个页面或表单中提取数据的小型项目。
- 学习曲线：Scrapy 的学习曲线比 MechanicalSoup 更陡峭，因为它的架构更复杂，功能更多。 它需要对 Web 协议和 HTTP 请求有更深入的了解，以及熟悉 Python 类和面向对象编程。 相比之下，MechanicalSoup 非常容易学习和使用，即使对于在网络抓取或自动化方面经验不足的初学者也是如此。
MechanicalSoup 和 Scrapy 服务于不同的目的，更适合不同类型的网页抓取项目。 MechanicalSoup 是需要特定任务或表单自动化的简单任务的不错选择，而 Scrapy 是需要爬取多个页面和管理复杂数据管道的大型项目的更好选择。
MechanicalSoup 支持使用代理发送 HTTP 请求。 您可以在使用 requests.Session 对象创建新会话时指定代理，MechanicalSoup 在内部使用它来发出 HTTP 请求。
MechanicalSoup 本身没有对旋转代理的内置支持，但它可以与提供旋转代理功能的其他 Python 库或服务结合使用。
