jsoup
Jsoup 是一个 Java 库，用于解析 HTML 文档并使用文档对象模型 (DOM) 对其进行操作。 它提供了一个简单直观的 API，用于从 HTML 页面中提取和操作数据。
使用 Jsoup，您可以从 URL、文件或字符串解析 HTML 文档，然后提取特定元素，例如标题、链接、图像和表格。 您还可以通过添加、删除或修改元素、属性和文本来修改 HTML 内容。
Jsoup 对于网络抓取特别有用，网络抓取是从网站自动提取数据的过程。 它通常用于网络爬虫、数据挖掘应用程序和其他需要从 HTML 页面自动提取数据的项目。
工作原理
Jsoup 的工作原理是解析 HTML 文档并创建表示 HTML 元素及其关系的 DOM 树结构。 这允许开发人员使用 Java 代码轻松地操作和提取 HTML 文档中的数据。
以下是使用 Jsoup 的一般步骤：
- 加载 HTML 文档：您可以使用 Jsoup.connect()、Jsoup.parse() 或 Jsoup.parseBodyFragment() 方法从 URL、文件或字符串加载 HTML 文档。
- 提取数据：加载 HTML 文档后，您可以使用 Jsoup 的 API 从文档中的特定元素中提取数据。 例如，您可以使用 getElementById()、getElementsByTag() 或 getElementsByClass() 方法来选择 HTML 文档中的特定元素。
- 修改 HTML 内容：Jsoup 允许您通过添加、删除或修改元素、属性和文本来修改 HTML 内容。 例如，您可以使用 append()、prepend()、remove() 和 attr() 方法来操作 HTML 内容。
- 保存修改后的 HTML 文档：对 HTML 文档进行更改后，您可以将其保存到文件或使用 toString() 或 outerHtml() 方法将其输出到控制台。
Jsoup 的 API 设计简单直观，使开发人员可以轻松地从 HTML 文档中提取和操作数据。 它还支持高级功能，例如处理无效 HTML、清理和清理 HTML 以及处理 XML 文档。
提出请求
Jsoup.connect() 方法用于连接到 URL 并在该 URL 处检索 HTML 文档。 它是这样工作的：
- 首先，您通过调用 Jsoup.connect() 方法并将 URL 作为字符串参数传入来创建到 URL 的连接。 这将返回一个连接对象。
- 然后，您可以通过调用 Connection 对象上的方法来设置连接的各种属性，例如用户代理、超时和请求标头。
- 配置连接后，您可以通过调用 Connection 对象的 get() 方法来检索 HTML 文档。 这会向服务器发送 GET 请求并返回 HTML 文档作为 Document 对象。
代理
Jsoup 支持在发出 HTTP 请求时使用代理。 您可以在 Connection 对象上使用 proxy() 方法来为连接设置代理。
配置连接后，我们可以调用 get() 方法从 URL 中检索 HTML 文档，使用代理发出 HTTP 请求。
请注意，您还可以通过创建 Authenticator 对象并将其注册到 Proxy 对象来设置代理的其他属性，例如用户名和密码。 这允许您在必要时使用代理服务器进行身份验证。
