`

JSoup HTML文件解析用法详解

阅读更多

清单 1

// 直接从字符串中输入 HTML 文档
 String html = "<html><head><title> 开源中国社区 </title></head>"
  + "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>"; 
 Document doc = Jsoup.parse(html); 
--------------------------------------------------------------------------------
 // 从 URL 直接加载 HTML 文档
 Document doc = Jsoup.connect("http://www.oschina.net/").get(); 
 String title = doc.title(); 

说明

connect(String url) 方法创建一个新的 Connection, 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误,便会抛出 IOException,应适当处理。

Connection 接口还提供一个方法链来解决特殊请求,具体如下:

Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post();

这个方法只支持Web URLs (httphttps 协议); 假如你需要从一个文件加载,可以使用parse(File in, String charsetName) 代替。

--------------------------------------------------------------------------------
Document doc = Jsoup.connect("http://www.oschina.net/") .data("query", "Java") // 请求参数 .userAgent("I ’ m jsoup") // 设置 User-Agent .cookie("auth", "token") // 设置 cookie .timeout(3000) // 设置连接超时时间 .post(); // 使用 POST 方法访问 URL // 从文件中加载 HTML 文档 File input = new File("D:/test.html"); Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/"); 

说明

parse(File in, String charsetName, String baseUri) 这个方法用来加载和解析一个HTML文件。如在加载文件的时候发生错误,将抛出IOException,应作适当处理。

baseUri 参数用于解决文件中URLs是相对路径的问题。如果不需要可以传入一个空的字符串。

另外还有一个方法parse(File in, String charsetName) ,它使用文件的路径做为 baseUri。 这个方法适用于如果被解析文件位于网站的本地文件系统,且相关链接也指向该文件系统。


 

请大家注意最后一种 HTML 文档输入方式中的 parse 的第三个参数,为什么需要在这里指定一个网址呢(虽然可以不指定,如第一种方法)?因为 HTML 文档中会有很多例如链接、图片以及所引用的外部脚本、css 文件等,而第三个名为 baseURL 的参数的意思就是当 HTML 文档使用相对路径方式引用外部文件时,jsoup 会自动为这些 URL 加上一个前缀,也就是这个 baseURL。

例如 <a href=/project> 开源软件 </a> 会被转换成 <a href=http://www.oschina.net/project> 开源软件 </a>。


 

解析并提取 HTML 元素

这部分涉及一个 HTML 解析器最基本的功能,但 jsoup 使用一种有别于其他开源项目的方式——选择器,我们将在最后一部分详细介绍 jsoup 选择器,本节中你将看到 jsoup 是如何用最简单的代码实现。

不过 jsoup 也提供了传统的 DOM 方式的元素解析,看看下面的代码:


清单 2.

     
 File input = new File("D:/test.html"); 
 Document doc = Jsoup.parse(input, "UTF-8", "http://www.oschina.net/"); 

 Element content = doc.getElementById("content"); 
 Elements links = content.getElementsByTag("a"); 
 for (Element link : links) { 
  String linkHref = link.attr("href"); 
  String linkText = link.text(); 
 } 


 

你可能会觉得 jsoup 的方法似曾相识,没错,像 getElementById 和 getElementsByTag 方法跟 JavaScript 的方法名称是一样的,功能也完全一致。你可以根据节点名称或者是 HTML 元素的 id 来获取对应的元素或者元素列表。

与 htmlparser 项目不同的是,jsoup 并没有为 HTML 元素定义一个对应的类,一般一个 HTML 元素的组成部分包括:节点名、属性和文本,jsoup 提供简单的方法供你自己检索这些数据,这也是 jsoup 保持瘦身的原因。

而在元素检索方面,jsoup 的选择器简直无所不能,


清单 3.

     
 File input = new File("D:\test.html"); 
 Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/"); 

 Elements links = doc.select("a[href]"); // 具有 href 属性的链接
 Elements pngs = doc.select("img[src$=.png]");// 所有引用 png 图片的元素


 Element masthead = doc.select("div.masthead").first(); 
 // 找出定义了 class=masthead 的元素

 Elements resultLinks = doc.select("h3.r > a"); // direct a after h3 


 

这是 jsoup 真正让我折服的地方,jsoup 使用跟 jQuery 一模一样的选择器对元素进行检索,以上的检索方法如果换成是其他的 HTML 解释器,至少都需要很多行代码,而 jsoup 只需要一行代码即可完成。

jsoup 的选择器还支持表达式功能,我们将在最后一节介绍这个超强的选择器。


 

修改数据

在解析文档的同时,我们可能会需要对文档中的某些元素进行修改,例如我们可以为文档中的所有图片增加可点击链接、修改链接地址或者是修改文本等。

下面是一些简单的例子:


清单 4.

     
 doc.select("div.comments a").attr("rel", "nofollow"); 
 // 为所有链接增加 rel=nofollow 属性
 doc.select("div.comments a").addClass("mylinkclass"); 
 // 为所有链接增加 class=mylinkclass 属性
 doc.select("img").removeAttr(" // 删除所有图片的 onclick 属性
 doc.select("input[type=text]").val(""); // 清空所有文本输入框中的文本


 

道理很简单,你只需要利用 jsoup 的选择器找出元素,然后就可以通过以上的方法来进行修改,除了无法修改标签名外(可以删除后再插入新的元素),包括元素的属性和文本都可以修改。

修改完直接调用 Element(s) 的 html() 方法就可以获取修改完的 HTML 文档。


 

HTML 文档清理

jsoup 在提供强大的 API 同时,人性化方面也做得非常好。在做网站的时候,经常会提供用户评论的功能。有些用户比较淘气,会搞一些脚本到评论内容中,而这些脚本可能会破坏整个页面的行为,更严重的是获取一些机要信息,例如 XSS 跨站点攻击之类的。

jsoup 对这方面的支持非常强大,使用非常简单。看看下面这段代码:


清单 5.

     
 String unsafe = "<p><a href='http://www.oschina.net/'  
 开源中国社区 </a></p>"; 
 String safe = Jsoup.clean(unsafe, Whitelist.basic()); 
 // 输出 : 
 // <p><a href="http://www.oschina.net/" rel="nofollow"> 开源中国社区 </a></p> 


 

jsoup 使用一个 Whitelist 类用来对 HTML 文档进行过滤,该类提供几个常用方法:


表 1. 常用方法:

方法名简介

none() 只允许包含文本信息
basic() 允许的标签包括:a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合适的属性
simpleText() 只允许 b, em, i, strong, u 这些标签
basicWithImages() 在 basic() 的基础上增加了图片
relaxed() 这个过滤器允许的标签最多,包括:a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul


 

如果这五个过滤器都无法满足你的要求呢,例如你允许用户插入 flash 动画,没关系,Whitelist 提供扩展功能,例如 whitelist.addTags("embed","object","param","span","div"); 也可调用 addAttributes 为某些元素增加属性。


 

jsoup 的过人之处——选择器

前面我们已经简单的介绍了 jsoup 是如何使用选择器来对元素进行检索的。本节我们把重点放在选择器本身强大的语法上。下表是 jsoup 选择器的所有语法详细列表。


表 2. 基本用法:

tagname 使用标签名来定位,例如 a
ns|tag 使用命名空间的标签定位,例如 fb:name 来查找 <fb:name> 元素
#id 使用元素 id 定位,例如 #logo
.class 使用元素的 class 属性定位,例如 .head
[attribute] 使用元素的属性进行定位,例如 [href] 表示检索具有 href 属性的所有元素
[^attr] 使用元素的属性名前缀进行定位,例如 [^data-] 用来查找 HTML5 的 dataset 属性
[attr=value] 使用属性值进行定位,例如 [width=500] 定位所有 width 属性值为 500 的元素
[attr^=value], [attr$=value], [attr*=value] 这三个语法分别代表,属性以 value 开头、结尾以及包含
[attr~=regex] 使用正则表达式进行属性值的过滤,例如 img[src~=(?i)\.(png|jpe?g)]
* 定位所有元素


 

以上是最基本的选择器语法,这些语法也可以组合起来使用,下面是 jsoup 支持的组合用法:


表 3:组合用法:

el#id 定位 id 值某个元素,例如 a#logo -> <a id=logo href= … >
el.class 定位 class 为指定值的元素,例如 div.head -> <div class=head>xxxx</div>
el[attr] 定位所有定义了某属性的元素,例如 a[href]
以上三个任意组合 例如 a[href]#logo 、a[name].outerlink
ancestor child 这五种都是元素之间组合关系的选择器语法,其中包括父子关系、合并关系和层次关系。
parent > child
siblingA + siblingB
siblingA ~ siblingX
el, el, el


 

除了一些基本的语法以及这些语法进行组合外,jsoup 还支持使用表达式进行元素过滤选择。下面是 jsoup 支持的所有表达式一览表:

表 4. 表达式:

:lt(n) 例如 td:lt(3) 表示 小于三列
:gt(n) div p:gt(2) 表示 div 中包含 2 个以上的 p
:eq(n) form input:eq(1) 表示只包含一个 input 的表单
:has(seletor) div:has(p) 表示包含了 p 元素的 div
:not(selector) div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text) 包含某文本的元素,不区分大小写,例如 p:contains(oschina)
:containsOwn(text) 文本信息完全等于指定条件的过滤
:matches(regex) 使用正则表达式进行文本过滤:div:matches((?i)login)
:matchesOwn(regex) 使用正则表达式找到自身的文本

 

---------------------------------------------------------------------------------------------------

Elements这个对象提供了一系列类似于DOM的方法来查找元素,抽取并处理其中的数据。具体如下:

查找元素

元素数据

操作HTML和文本

------------------------------------------------------------------------------------------------

 

分享到:
评论

相关推荐

    使用Jsoup对Html文件解析

    在本文中,我们将深入探讨如何使用Jsoup解析HTML文件,并进一步将解析的数据导出到Excel表格。 首先,我们需要理解Jsoup的基本用法。Jsoup的核心在于`Connection`和`Document`对象。`Connection`用于建立与网页的...

    jsoup Java HTML解析器

    **jsoup Java HTML解析器详解** jsoup是一个用于处理实际世界HTML的Java库。它提供了非常方便的方法来提取和操作数据,使用DOM,CSS以及类似于jQuery的API。jsoup能够理解HTML的不完美之处,同时提供了强大的功能来...

    jsoup根据url解析html

    ### jsoup根据URL解析HTML #### 一、jsoup简介 `jsoup`是一款功能强大的Java库,专门用于处理HTML文档。它提供了多种便捷的方法来解析网页内容,并且支持通过DOM(Document Object Model)、CSS选择器及类似jQuery...

    Jsoup解析与使用

    **Jsoup解析与使用** Jsoup是一款非常实用的Java库,专为网页抓取和解析而设计。它提供了丰富的API,使得开发者可以方便地提取结构化数据,类似于浏览器执行JavaScript的方式,但更专注于HTML文档的处理。Jsoup的...

    Jsoup语法详解

    3. 从文件中加载HTML文档:使用Jsoup.parse()方法,可以将一个文件解析成HTML文档对象。 Jsoup的连接参数 在使用Jsoup.connect()方法时,可以指定多种连接参数,包括: * 请求参数:使用data()方法,可以指定请求...

    jsoup提取.html部分属性

    以上就是使用JSoup解析和提取HTML的基本步骤。在"ParseTest.java"中,开发者可能根据需要编写了类似的代码,对HTML简历进行深度解析,以获取个人技能、工作经历等关键信息。通过JSoup,可以方便地从HTML文件中提取...

    利用jsoup解析网页

    使用jsoup解析HTML文档,可以使用`Jsoup.connect(url)`或`Jsoup.parse(htmlString)`方法。例如: ```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class JsoupExample { public static...

    jsoup详解教程

    ### jsoup详解教程 #### 一、jsoup简介与应用场景 **jsoup** 是一个用于Java的HTML解析库,能够帮助开发者轻松地处理HTML文档。它不仅提供了强大的HTML解析功能,还能有效地处理不规范的HTML代码,使得开发者可以...

    jsoup中文教程

    #### 使用Jsoup解析HTML字符串 Jsoup提供了`Jsoup.parse(String html)`方法来解析HTML字符串。这个方法能够将提供的字符串解析为一个结构化的Document对象,即使HTML格式不完整也能尽可能创建一个干净的结果。例如,...

    jsoup操作手册 API

    无论是从字符串、URL还是本地文件中加载HTML,还是使用DOM或CSS选择器提取数据,jsoup都能提供简洁、高效的解决方案。对于任何需要解析和操作HTML的Java项目而言,jsoup都是一个不可或缺的强大助手。

    jsoup的jar包

    **jsoup库详解** jsoup是一个Java库,它专注于处理HTML和XML文档,提供了一种简单、优雅的方式来抓取和操作网页数据。这个库的名字来源于"JavaScript Object Soup"的缩写,暗示了它能将HTML文档转化为易于操作的...

    jsoup-1.11.3.jar

    jsoup能够高效地解析HTML文档,无论是从网络抓取的网页,还是存储在本地的HTML文件,都可以轻松处理。通过使用DOM(Document Object Model)模型,开发者可以像操作XML文档一样,对HTML元素进行查找、遍历和修改。...

    jsoup-1.12.1.rar

    **jsoup库详解** jsoup是一个Java库,用于处理实际世界中的HTML。它提供了一种易于使用的API,用于提取和操作数据,具有浏览器一样的解析和筛选能力。在Java爬虫领域,jsoup扮演着至关重要的角色,使得开发者能够...

    基于Java的HTML解析器 jsoup.zip

    **Java HTML解析器——jsoup详解** 在现代Web开发中,处理HTML文档是常见的任务,无论是从网页抓取数据、解析HTML结构还是进行自动化测试,都需要高效且可靠的HTML解析工具。`jsoup`是一个强大的Java库,专为处理...

    jsoup-1.11.2.jar.zip

    **jsoup库详解** jsoup是一款强大的Java库,专门用于解析HTML文档,它不仅能够解析HTML,还能方便地提取和操作HTML中的数据。这个库的设计灵感来源于jQuery,因此,对于熟悉jQuery语法的开发者来说,使用jsoup会...

    Jsoup 1.6.2 API

    通过阅读`jsoup-1.6.2-javadoc`中的文档,开发者可以深入理解每个类、方法和接口的具体用法,从而充分利用Jsoup的功能,进行高效的HTML处理和解析。无论是爬虫项目还是前端数据提取,Jsoup都是一个强大且易用的工具...

    jsoup-1.8.3(含源码)

    **Jsoup库详解** Jsoup是一款非常强大的Java库,它专为处理HTML文档而设计,提供了丰富的...通过研究"jsoup-1.8.3"的源码,开发者不仅可以掌握Jsoup的使用,还能提升对HTML解析和DOM操作的理解,进一步提升开发技能。

    jsoup包.zip

    **JSoup库详解** JSoup是一个Java库,它设计用于处理和解析HTML,为Web抓取和数据提取提供了强大而方便的功能。这个“jsoup包.zip”包含了两个版本的JSoup JAR文件:jsoup-1.11.3.jar和jsoup-1.8.3.jar。这两个版本...

    jsoup-1.8.1.jar

    **jsoup库详解** `jsoup-1.8.1.jar` 是一个Java库,用于处理HTML文档。jsoup提供了一种简洁而强大的API,使得开发者可以方便地解析、操作、提取以及清洁HTML数据。这个版本是1.8.1,意味着它是该库的一个稳定版本,...

    jsoup相关jar包

    当你在项目中引入这个jar包时,就可以使用JSoup提供的所有功能,如解析HTML、选择DOM元素、提取数据等。版本号1.11.3表明这是JSoup的一个特定版本,可能包含了一些新特性、改进和修复的bug。 3. **jsoup-proxy.jar*...

Global site tag (gtag.js) - Google Analytics