清单 1
// 直接从字符串中输入 HTML 文档 String html = "<html><head><title> 开源中国社区 </title></head>" + "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>"; Document doc = Jsoup.parse(html); -------------------------------------------------------------------------------- // 从 URL 直接加载 HTML 文档 Document doc = Jsoup.connect("http://www.oschina.net/").get(); String title = doc.title(); 说明
这个方法只支持Web URLs ( -------------------------------------------------------------------------------- Document doc = Jsoup.connect("http://www.oschina.net/") .data("query", "Java") // 请求参数 .userAgent("I ’ m jsoup") // 设置 User-Agent .cookie("auth", "token") // 设置 cookie .timeout(3000) // 设置连接超时时间 .post(); // 使用 POST 方法访问 URL // 从文件中加载 HTML 文档 File input = new File("D:/test.html"); Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/"); 说明
另外还有一个方法 |
请大家注意最后一种 HTML 文档输入方式中的 parse 的第三个参数,为什么需要在这里指定一个网址呢(虽然可以不指定,如第一种方法)?因为 HTML 文档中会有很多例如链接、图片以及所引用的外部脚本、css 文件等,而第三个名为 baseURL 的参数的意思就是当 HTML 文档使用相对路径方式引用外部文件时,jsoup 会自动为这些 URL 加上一个前缀,也就是这个 baseURL。
例如 <a href=/project> 开源软件 </a> 会被转换成 <a href=http://www.oschina.net/project> 开源软件 </a>。
解析并提取 HTML 元素
这部分涉及一个 HTML 解析器最基本的功能,但 jsoup 使用一种有别于其他开源项目的方式——选择器,我们将在最后一部分详细介绍 jsoup 选择器,本节中你将看到 jsoup 是如何用最简单的代码实现。
不过 jsoup 也提供了传统的 DOM 方式的元素解析,看看下面的代码:
清单 2.
File input = new File("D:/test.html"); Document doc = Jsoup.parse(input, "UTF-8", "http://www.oschina.net/"); Element content = doc.getElementById("content"); Elements links = content.getElementsByTag("a"); for (Element link : links) { String linkHref = link.attr("href"); String linkText = link.text(); } |
你可能会觉得 jsoup 的方法似曾相识,没错,像 getElementById 和 getElementsByTag 方法跟 JavaScript 的方法名称是一样的,功能也完全一致。你可以根据节点名称或者是 HTML 元素的 id 来获取对应的元素或者元素列表。
与 htmlparser 项目不同的是,jsoup 并没有为 HTML 元素定义一个对应的类,一般一个 HTML 元素的组成部分包括:节点名、属性和文本,jsoup 提供简单的方法供你自己检索这些数据,这也是 jsoup 保持瘦身的原因。
而在元素检索方面,jsoup 的选择器简直无所不能,
清单 3.
File input = new File("D:\test.html"); Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/"); Elements links = doc.select("a[href]"); // 具有 href 属性的链接 Elements pngs = doc.select("img[src$=.png]");// 所有引用 png 图片的元素 Element masthead = doc.select("div.masthead").first(); // 找出定义了 class=masthead 的元素 Elements resultLinks = doc.select("h3.r > a"); // direct a after h3 |
这是 jsoup 真正让我折服的地方,jsoup 使用跟 jQuery 一模一样的选择器对元素进行检索,以上的检索方法如果换成是其他的 HTML 解释器,至少都需要很多行代码,而 jsoup 只需要一行代码即可完成。
jsoup 的选择器还支持表达式功能,我们将在最后一节介绍这个超强的选择器。
修改数据
在解析文档的同时,我们可能会需要对文档中的某些元素进行修改,例如我们可以为文档中的所有图片增加可点击链接、修改链接地址或者是修改文本等。
下面是一些简单的例子:
清单 4.
doc.select("div.comments a").attr("rel", "nofollow"); // 为所有链接增加 rel=nofollow 属性 doc.select("div.comments a").addClass("mylinkclass"); // 为所有链接增加 class=mylinkclass 属性 doc.select("img").removeAttr(" // 删除所有图片的 onclick 属性 doc.select("input[type=text]").val(""); // 清空所有文本输入框中的文本 |
道理很简单,你只需要利用 jsoup 的选择器找出元素,然后就可以通过以上的方法来进行修改,除了无法修改标签名外(可以删除后再插入新的元素),包括元素的属性和文本都可以修改。
修改完直接调用 Element(s) 的 html() 方法就可以获取修改完的 HTML 文档。
HTML 文档清理
jsoup 在提供强大的 API 同时,人性化方面也做得非常好。在做网站的时候,经常会提供用户评论的功能。有些用户比较淘气,会搞一些脚本到评论内容中,而这些脚本可能会破坏整个页面的行为,更严重的是获取一些机要信息,例如 XSS 跨站点攻击之类的。
jsoup 对这方面的支持非常强大,使用非常简单。看看下面这段代码:
清单 5.
String unsafe = "<p><a href='http://www.oschina.net/' 开源中国社区 </a></p>"; String safe = Jsoup.clean(unsafe, Whitelist.basic()); // 输出 : // <p><a href="http://www.oschina.net/" rel="nofollow"> 开源中国社区 </a></p> |
jsoup 使用一个 Whitelist 类用来对 HTML 文档进行过滤,该类提供几个常用方法:
表 1. 常用方法:
方法名简介
none() | 只允许包含文本信息 |
basic() | 允许的标签包括:a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合适的属性 |
simpleText() | 只允许 b, em, i, strong, u 这些标签 |
basicWithImages() | 在 basic() 的基础上增加了图片 |
relaxed() | 这个过滤器允许的标签最多,包括:a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul |
如果这五个过滤器都无法满足你的要求呢,例如你允许用户插入 flash 动画,没关系,Whitelist 提供扩展功能,例如 whitelist.addTags("embed","object","param","span","div"); 也可调用 addAttributes 为某些元素增加属性。
jsoup 的过人之处——选择器
前面我们已经简单的介绍了 jsoup 是如何使用选择器来对元素进行检索的。本节我们把重点放在选择器本身强大的语法上。下表是 jsoup 选择器的所有语法详细列表。
表 2. 基本用法:
tagname | 使用标签名来定位,例如 a |
ns|tag | 使用命名空间的标签定位,例如 fb:name 来查找 <fb:name> 元素 |
#id | 使用元素 id 定位,例如 #logo |
.class | 使用元素的 class 属性定位,例如 .head |
[attribute] | 使用元素的属性进行定位,例如 [href] 表示检索具有 href 属性的所有元素 |
[^attr] | 使用元素的属性名前缀进行定位,例如 [^data-] 用来查找 HTML5 的 dataset 属性 |
[attr=value] | 使用属性值进行定位,例如 [width=500] 定位所有 width 属性值为 500 的元素 |
[attr^=value], [attr$=value], [attr*=value] | 这三个语法分别代表,属性以 value 开头、结尾以及包含 |
[attr~=regex] | 使用正则表达式进行属性值的过滤,例如 img[src~=(?i)\.(png|jpe?g)] |
* | 定位所有元素 |
以上是最基本的选择器语法,这些语法也可以组合起来使用,下面是 jsoup 支持的组合用法:
表 3:组合用法:
el#id | 定位 id 值某个元素,例如 a#logo -> <a id=logo href= … > |
el.class | 定位 class 为指定值的元素,例如 div.head -> <div class=head>xxxx</div> |
el[attr] | 定位所有定义了某属性的元素,例如 a[href] |
以上三个任意组合 | 例如 a[href]#logo 、a[name].outerlink |
ancestor child | 这五种都是元素之间组合关系的选择器语法,其中包括父子关系、合并关系和层次关系。 |
parent > child | |
siblingA + siblingB | |
siblingA ~ siblingX | |
el, el, el |
除了一些基本的语法以及这些语法进行组合外,jsoup 还支持使用表达式进行元素过滤选择。下面是 jsoup 支持的所有表达式一览表:
表 4. 表达式:
:lt(n) | 例如 td:lt(3) 表示 小于三列 |
:gt(n) | div p:gt(2) 表示 div 中包含 2 个以上的 p |
:eq(n) | form input:eq(1) 表示只包含一个 input 的表单 |
:has(seletor) | div:has(p) 表示包含了 p 元素的 div |
:not(selector) | div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表 |
:contains(text) | 包含某文本的元素,不区分大小写,例如 p:contains(oschina) |
:containsOwn(text) | 文本信息完全等于指定条件的过滤 |
:matches(regex) | 使用正则表达式进行文本过滤:div:matches((?i)login) |
:matchesOwn(regex) | 使用正则表达式找到自身的文本 |
---------------------------------------------------------------------------------------------------
Elements这个对象提供了一系列类似于DOM的方法来查找元素,抽取并处理其中的数据。具体如下:
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
-
getElementsByAttribute(String key)
(and related methods) - Element siblings:
siblingElements()
,firstElementSibling()
,lastElementSibling()
;nextElementSibling()
,previousElementSibling()
- Graph:
parent()
,children()
,child(int index)
元素数据
-
attr(String key)
获取属性attr(String key, String value)
设置属性 -
attributes()
获取所有属性 -
id()
,className()
andclassNames()
-
text()
获取文本内容text(String value)
设置文本内容 -
html()
获取元素内HTMLhtml(String value)
设置元素内的HTML内容 -
outerHtml()
获取元素外HTML内容 -
data()
获取数据内容(例如:script和style标签) -
tag()
andtagName()
操作HTML和文本
-
append(String html)
,prepend(String html)
-
appendText(String text)
,prependText(String text)
-
appendElement(String tagName)
,prependElement(String tagName)
html(String value)
------------------------------------------------------------------------------------------------
相关推荐
在本文中,我们将深入探讨如何使用Jsoup解析HTML文件,并进一步将解析的数据导出到Excel表格。 首先,我们需要理解Jsoup的基本用法。Jsoup的核心在于`Connection`和`Document`对象。`Connection`用于建立与网页的...
**jsoup Java HTML解析器详解** jsoup是一个用于处理实际世界HTML的Java库。它提供了非常方便的方法来提取和操作数据,使用DOM,CSS以及类似于jQuery的API。jsoup能够理解HTML的不完美之处,同时提供了强大的功能来...
### jsoup根据URL解析HTML #### 一、jsoup简介 `jsoup`是一款功能强大的Java库,专门用于处理HTML文档。它提供了多种便捷的方法来解析网页内容,并且支持通过DOM(Document Object Model)、CSS选择器及类似jQuery...
**Jsoup解析与使用** Jsoup是一款非常实用的Java库,专为网页抓取和解析而设计。它提供了丰富的API,使得开发者可以方便地提取结构化数据,类似于浏览器执行JavaScript的方式,但更专注于HTML文档的处理。Jsoup的...
3. 从文件中加载HTML文档:使用Jsoup.parse()方法,可以将一个文件解析成HTML文档对象。 Jsoup的连接参数 在使用Jsoup.connect()方法时,可以指定多种连接参数,包括: * 请求参数:使用data()方法,可以指定请求...
以上就是使用JSoup解析和提取HTML的基本步骤。在"ParseTest.java"中,开发者可能根据需要编写了类似的代码,对HTML简历进行深度解析,以获取个人技能、工作经历等关键信息。通过JSoup,可以方便地从HTML文件中提取...
使用jsoup解析HTML文档,可以使用`Jsoup.connect(url)`或`Jsoup.parse(htmlString)`方法。例如: ```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class JsoupExample { public static...
### jsoup详解教程 #### 一、jsoup简介与应用场景 **jsoup** 是一个用于Java的HTML解析库,能够帮助开发者轻松地处理HTML文档。它不仅提供了强大的HTML解析功能,还能有效地处理不规范的HTML代码,使得开发者可以...
#### 使用Jsoup解析HTML字符串 Jsoup提供了`Jsoup.parse(String html)`方法来解析HTML字符串。这个方法能够将提供的字符串解析为一个结构化的Document对象,即使HTML格式不完整也能尽可能创建一个干净的结果。例如,...
无论是从字符串、URL还是本地文件中加载HTML,还是使用DOM或CSS选择器提取数据,jsoup都能提供简洁、高效的解决方案。对于任何需要解析和操作HTML的Java项目而言,jsoup都是一个不可或缺的强大助手。
**jsoup库详解** jsoup是一个Java库,它专注于处理HTML和XML文档,提供了一种简单、优雅的方式来抓取和操作网页数据。这个库的名字来源于"JavaScript Object Soup"的缩写,暗示了它能将HTML文档转化为易于操作的...
jsoup能够高效地解析HTML文档,无论是从网络抓取的网页,还是存储在本地的HTML文件,都可以轻松处理。通过使用DOM(Document Object Model)模型,开发者可以像操作XML文档一样,对HTML元素进行查找、遍历和修改。...
**jsoup库详解** jsoup是一个Java库,用于处理实际世界中的HTML。它提供了一种易于使用的API,用于提取和操作数据,具有浏览器一样的解析和筛选能力。在Java爬虫领域,jsoup扮演着至关重要的角色,使得开发者能够...
**Java HTML解析器——jsoup详解** 在现代Web开发中,处理HTML文档是常见的任务,无论是从网页抓取数据、解析HTML结构还是进行自动化测试,都需要高效且可靠的HTML解析工具。`jsoup`是一个强大的Java库,专为处理...
**jsoup库详解** jsoup是一款强大的Java库,专门用于解析HTML文档,它不仅能够解析HTML,还能方便地提取和操作HTML中的数据。这个库的设计灵感来源于jQuery,因此,对于熟悉jQuery语法的开发者来说,使用jsoup会...
通过阅读`jsoup-1.6.2-javadoc`中的文档,开发者可以深入理解每个类、方法和接口的具体用法,从而充分利用Jsoup的功能,进行高效的HTML处理和解析。无论是爬虫项目还是前端数据提取,Jsoup都是一个强大且易用的工具...
**JSoup库详解** JSoup是一个Java库,它设计用于处理和解析HTML,为Web抓取和数据提取提供了强大而方便的功能。这个“jsoup包.zip”包含了两个版本的JSoup JAR文件:jsoup-1.11.3.jar和jsoup-1.8.3.jar。这两个版本...
**jsoup库详解** `jsoup-1.8.1.jar` 是一个Java库,用于处理HTML文档。jsoup提供了一种简洁而强大的API,使得开发者可以方便地解析、操作、提取以及清洁HTML数据。这个版本是1.8.1,意味着它是该库的一个稳定版本,...
**Jsoup库详解** Jsoup是一款非常强大的Java库,它专为处理HTML文档而设计,提供了丰富的...通过研究"jsoup-1.8.3"的源码,开发者不仅可以掌握Jsoup的使用,还能提升对HTML解析和DOM操作的理解,进一步提升开发技能。
当你在项目中引入这个jar包时,就可以使用JSoup提供的所有功能,如解析HTML、选择DOM元素、提取数据等。版本号1.11.3表明这是JSoup的一个特定版本,可能包含了一些新特性、改进和修复的bug。 3. **jsoup-proxy.jar*...