`

HTMLParser 过滤Filter

 
阅读更多

HTMLParser遍历了网页的内容以后，以树（森林）结构保存了结果。HTMLParser访问结果内容的方法有两种。使用Filter和使用Visitor。

（一）Filter类
顾名思义，Filter就是对于结果进行过滤，取 得需要的内容。HTMLParser在org.htmlparser.filters 包之内一共定义了16个不同的Filter，也可以分为几类。
判断类Filter：
TagNameFilter
HasAttributeFilter
HasChildFilter
HasParentFilter
HasSiblingFilter
IsEqualFilter
逻辑运算Filter：
AndFilter
NotFilter
OrFilter
XorFilter
其他Filter：
NodeClassFilter
StringFilter
LinkStringFilter
LinkRegexFilter
RegexFilter
CssSelectorNodeFilter

所 有的Filter类都实现了org.htmlparser.NodeFilter接口。这个 接口只有一个主要函数：
boolean accept (Node node);
各个子类分别实现这个函数，用于判断输入的Node是否 符合这个Filter的过滤条件，如果符合，返回true，否则返回false。

（二）判断类Filter
2.1 TagNameFilter
TabNameFilter是最容 易理解的一个Filter，根据Tag的名字进行过滤。

下面是用于 测试的HTML文件：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title>< /head>
<html xmlns="http://www.w3.org/1999/xhtml">
<body >
<div id="top_main">
    <div id="logoindex">
        <!--这是注释-->
        白泽居-www.baizeju.com
<a href="http://www.baizeju.com">白泽居-www.baizeju.com</a>
    </div>
    白泽居-www.baizeju.com
</div>
</body>
</html>
测试代码：（这里只列出了Main函数，全部代码请参考 HTMLParser使用入门（2）- Node内容，自己添加import部分）
public static void main(String[] args) {
       
        try{
            Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );
       
            // 这里是控制测试的部分，后面的例子修改的就是这个地方。
            NodeFilter filter = new TagNameFilter ("DIV");
            NodeList nodes = parser.extractAllNodesThatMatch(filter);
           
            if(nodes!=null) {
                for (int i = 0; i < nodes.size(); i++) {
                    Node textnode = (Node) nodes.elementAt(i);
                   
                    message("getText:"+textnode.getText());
                    message("=================================================");
                }
            }           
        }
        catch( Exception e ) {    
            e.printStackTrace();
        }
    }
输出结果：
getText:div id="top_main"
=================================================
getText:div id="logoindex"
=================================================
可以看出文件中两个Div节点都被取出了。下面可以针对这两个DIV节 点进行操作

2.2 HasChildFilter
下 面让我们看看HasChildFilter。刚刚看到这个Filter的时候，我想当然地认为这个Filter返回的是有Child的Tag。直接初始化 了一个
NodeFilter filter = new HasChildFilter();
结果调用NodeList nodes = parser.extractAllNodesThatMatch(filter);的时候HasChildFilter内部直接发生 NullPointerException。读了一下HasChildFilter的代码，才发现，实际HasChildFilter是返回有符合条件的 子节点的节点，需要另外一个Filter作为过滤子节点的参数。缺省的构造函数虽然可以初始化，但是由于子节点的Filter是null，所以使用的时候 发生了Exception。从这点来看，HTMLParser的代码还有很多可以优化的的地 方。呵呵。

修改代码：
NodeFilter innerFilter = new TagNameFilter ("DIV");
NodeFilter filter = new HasChildFilter(innerFilter);
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:body
=================================================
getText:div id="top_main"
=================================================
可 以看到，输出的是两个有DIV子Tag的Tag节点。（body有子节点DIV "top_main"，"top_main"有子节点"logoindex"。

注意HasChildFilter还有一个构造函数：
public HasChildFilter (NodeFilter filter, boolean recursive)
如果recursive是 false，则只对第一级子节点进行过滤。比如前面的例子，body和top_main都是在第一级的子节点里就有DIV节点，所以匹配上了。如果我们用 下面的方法调用：
NodeFilter filter = new HasChildFilter( innerFilter, true );
输出结果：
getText:html xmlns="http://www.w3.org/1999/xhtml"
=================================================
getText:body
=================================================
getText:div id="top_main"
=================================================
可以 看到输出结果中多了一个html xmlns="http://www.w3.org/1999/xhtml"，这个是整个HTML页面的节点（根节点），虽然这个节点下直接没有DIV节 点，但是它的子节点body下面有DIV节点，所以它也被匹配上了。

2.3 HasAttributeFilter
HasAttributeFilter有3个构造函数：
public HasAttributeFilter ();
public HasAttributeFilter (String attribute);
public HasAttributeFilter (String attribute, String value);
这个Filter可以匹配出包含 制定名字的属性，或者制定属性为指定值的节点。还是用例子说明比较容易。

调用方法1:
NodeFilter filter = new HasAttributeFilter();
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：

什么也没有输出。

调用方法 2:
NodeFilter filter = new HasAttributeFilter( "id" );
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:div id="top_main"
=================================================
getText:div id="logoindex"
=================================================

调 用方法3:
NodeFilter filter = new HasAttributeFilter( "id", "logoindex" );
NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:div id="logoindex"
=================================================

很 简单吧。呵呵

2.4 其他判断列Filter
HasParentFilter 和HasSiblingFilter的功能与HasChildFilter类似，大家自己试一下就应该了解了。

IsEqualFilter 的构造函数参数是一个Node：
public IsEqualFilter (Node node) {
    mNode = node;
}
accept函数也很简单：
public boolean accept (Node node)    {
    return (mNode == node);
}
不需要过多说明了。


（三）逻辑运算Filter
前面介绍的都是简单的Filter，只能针对某种单一类型的条件进行过滤。HTMLParser支持对于简单类型的Filter进行组合，从而实现复杂的条件。原理和一般编程语言 的逻辑运算是一样的。
3.1 AndFilter
AndFilter 可以把两种Filter进行组合，只有同时满足条件的Node才会被过滤。
测 试代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new AndFilter(filterID, filterChild);
输出 结果：
getText:div id="logoindex"
=================================================

3.2 OrFilter
把前面的AndFilter换成OrFilter
测试代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new OrFilter(filterID, filterChild);
输出结果：
getText:div id="top_main"
=================================================
getText:div id="logoindex"
=================================================

3.3 NotFilter
把前面的AndFilter换成 NotFilter
测试代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new NotFilter(new OrFilter(filterID, filterChild));
输出 结果：
getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"
=================================================
getText:

=================================================
getText:head
=================================================
getText:meta http-equiv="Content-Type" content="text/html; charset=gb2312"
=================================================
getText:title
=================================================
getText: 白泽居-www.baizeju.com
=================================================
getText:/title
=================================================
getText:/head
=================================================
getText:

=================================================
getText:html xmlns="http://www.w3.org/1999/xhtml"
=================================================
getText:

=================================================
getText:body
=================================================
getText:

=================================================
getText:
       
=================================================
getText:
               
=================================================
getText:这是注释
=================================================
getText:
                白泽居-www.baizeju.com

=================================================
getText:a href="http://www.baizeju.com"
=================================================
getText: 白泽居-www.baizeju.com
=================================================
getText:/a
=================================================
getText:
       
=================================================
getText:/div
=================================================
getText:
        白泽居-www.baizeju.com

=================================================
getText:/div
=================================================
getText:

=================================================
getText:/body
=================================================
getText:

=================================================
getText:/html
=================================================
getText:

=================================================

除 了前面3.2中输出的几个Tag，其余的Tag都在这里了。


3.4 XorFilter
把前面的AndFilter换成NotFilter
测试代码：
NodeFilter filterID = new HasAttributeFilter( "id" );
NodeFilter filterChild = new HasChildFilter(filterA);
NodeFilter filter = new XorFilter(filterID, filterChild);
输出结果：
getText:div id="top_main"
=================================================

（四）其他Filter：
4.1 NodeClassFilter
这个Filter用于判断节点 类型是否是某个特定的Node类型。在HTMLParser使用入门（2）- Node内容 中我们已经了解了Node的不同类型，这个Filter就可以针对类型进行过滤。
测试代码：
            NodeFilter filter = new NodeClassFilter(RemarkNode.class);
            NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:这是注释
=================================================
可 以看到只有RemarkNode（注释）被输出了。

4.2 StringFilter
这个Filter用于过滤显示字符串中包含制定内容的Tag。注意是可显示的字符串，不可显示的字符串中 的内容（例如注释，链接等等）不会被显示。
修改一下例子代码：
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-title-www.baizeju.com</title>& lt;/head>
<html xmlns="http://www.w3.org/1999/xhtml">
<body >
<div id="top_main">
    <div id="logoindex">
        <!--这是注释 白泽居-www.baizeju.com -->
        白泽居-字符串1-www.baizeju.com
<a href="http://www.baizeju.com">白泽居-链接文本-www.baizeju.com</a>
    </div>
    白泽居-字符串2-www.baizeju.com
</div>
</body>
</html>

测试代码：
            NodeFilter filter = new StringFilter("www.baizeju.com");
            NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:白泽居-title-www.baizeju.com
=================================================
getText:
                白泽居-字符串1-www.baizeju.com

=================================================
getText: 白泽居-链接文本-www.baizeju.com
=================================================
getText:
        白泽居-字符串2-www.baizeju.com

=================================================
可 以看到包含title，两个内容字符串和链接的文本字符串的Tag都被输出了，但是注释和链接Tag本身没有输出。

4.3 LinkStringFilter
这个Filter用于判断链接 中是否包含某个特定的字符串，可以用来过滤出指向某个特定网站的链接。
测试 代码：
            NodeFilter filter = new LinkStringFilter("www.baizeju.com");
            NodeList nodes = parser.extractAllNodesThatMatch(filter);
输出结果：
getText:a href="http://www.baizeju.com"
=================================================

4.4 其他几个Filter
其他几个Filter也是根据字符串对不 同的域进行判断，与前面这些的区别主要就是支持正则表达式。这个不在本文的讨论范围以内，大家可以自己实验一下。

0
顶
2
踩
分享到：
| htmlparser对html页面处理的算法
评论
2 楼 tomfish88 2011-06-30  
85600367 写道
这东西都不更新了 里面还有BUG 干嘛不用JSOUP呢

是么？ 我用还挺好用的呢
1 楼 85600367 2011-06-30  
这东西都不更新了 里面还有BUG 干嘛不用JSOUP呢
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    JAVA htmlparser 使用实例

    org.htmlparser.util.NodeList nodes = parser.extractAllNodesThatMatch(filter); // 获取所有匹配的标签中的第一个 org.htmlparser.tags.TableTag textnode = (org.htmlparser.tags.TableTag) ((org.htmlparser...

    htmlparser2.0_dll+htmlparserAPI

    `filterbuilder.dll`可能是用于构建和管理过滤器的组件。过滤器在HTML解析中起着重要作用，它们允许开发者根据特定规则筛选或修改HTML内容。例如，你可以创建一个过滤器来删除所有广告元素，或者将某些URL替换为短...

    HtmlParser 实现简易爬虫

    // 定义过滤器，这里以抓取所有链接为例 NodeFilter linkFilter = new TagNameFilter("a"); // 使用doWithNodes遍历所有匹配的节点 parser.doWithNodes(linkFilter, node -&gt; { // 获取链接的href属性 String...

    HtmlParser源码+DEMO

    // 所有的节点 ... // 建立一个节点filter用于过滤节点 NodeFilter filter = new TagNameFilter("A"); // 得到所有过滤后，想要的节点 nodelist = nodelist.ExtractAllNodesThatMatch(filter, true);

    HTMLParser

    - `filterbuilder.jar` 可能包含过滤器构建工具，帮助用户快速创建自定义的HTML解析过滤规则。 - `thumbelina.jar` 可能是一个用于生成网页缩略图的工具，结合HTMLParser可以实现网页预览功能。 - `sitecapturer....

    HtmlParser的使用

    HTMLParser支持过滤器（Filter）和访问者模式（Visitor），允许用户根据需求选择感兴趣的节点进行处理。例如，如果你想提取所有的链接（a标签），可以创建一个`TagFilter`： ```java import org.htmlparser.filters...

    HTMLParser-2.0-SNAPSHOT

    1. **filterbuilder.jar**：这是一个过滤器构建工具，用于创建自定义的HTML解析规则。在信息抽取过程中，我们可能只需要特定类型的数据，例如文章内容、作者信息等。FilterBuilder允许用户定义这些规则，筛选出需要...

    htmlparser.jar 及其相关的jar包

    FilterBuilder 是一个用于构建解析链的工具，它可以根据需求组合多个解析器或者过滤器。通过这个库，开发者可以创建自定义的 HTML 解析流程，例如先使用一个解析器去除广告，然后用另一个解析器提取特定内容。...

    htmlparser中文文档

    ### HTMLParser中文文档知识点概述 #### 一、HTMLParser简介 HTMLParser是一个纯Java编写的HTML解析库，它不依赖于任何其他Java库。该工具主要用于解析和提取HTML文档中的内容，具有高度的效率和准确性。它适用于...

    HTMLParser抽取Web网页正文信息.doc

    例如，为了提取`&lt;table&gt;`、`&lt;p&gt;`和`&lt;div&gt;`等可能包含主题信息的标签，可以使用`NodeClassFilter`结合`OrFilter`来实现复合过滤逻辑。 ```java NodeFilter[] filters = new NodeFilter[3]; filters[0] = new ...

    Java使用HtmlParser实现简单的网络爬虫

    `AndFilter`将多个过滤条件组合在一起，确保我们只处理满足所有条件的节点。例如，我们可能只想处理id属性为"T1"的`&lt;table&gt;`标签。 5. **提取数据**：使用`extractAllNodesThatMatch`方法，我们可以根据过滤器获取...

    HTMLParser提取网页超链接研究

    ### HTMLParser提取网页超链接研究 #### 一、引言 随着互联网技术的快速发展和普及，全球信息资源呈爆炸式增长。在这个过程中，各种互联网搜索引擎（例如百度、谷歌等）应运而生，它们极大地便利了人们获取所需...

    htmlparser进行网页信息的抽取

    - 过滤器：HTMLParser支持使用过滤器（`NodeFilter`）来定位特定类型的节点，如`TagNameFilter`、`HasAttributeFilter`、`HasChildFilter`等。 - 提取匹配的节点：`extractAllNodesThatMatch(filter)`方法会返回...

    HTMLParser-2.0-SNAPSHOT-bin.zip JAVA html解析库

    //获取子链接，url为网页url，filter是链接过滤器，返回该页面子链接的HashSet public static Set&lt;String&gt; extracLinks(String url, LinkFilter filter) { Set&lt;String&gt; links = new HashSet(); try { ...

    htmlparser 相关jar包

    它可能包含工具，如`FilterBuilder`，用于创建过滤链，通过这些过滤链可以对解析的HTML节点进行操作，比如删除、替换或者修改某些特定的元素或属性。 4. **sax2.jar**：SAX（Simple API for XML）是一个轻量级的...

    htmlparser实现爬虫

    ### HTMLParser实现网页爬虫的关键...- `NodeList extractAllNodesThatMatch(NodeFilter filter)`：根据给定的过滤器提取匹配的节点列表。 这些方法可以帮助开发者更加灵活地处理HTML文档，实现更为复杂的抓取需求。

    commons系列 ezmorph-1.0.4 filterbuilder json-lib-2.4-jdk15 htmlparser

    标题中的"commons系列 ezmorph-1.0.4 filterbuilder json-lib-2.4-jdk15 htmlparser"提到了几个关键的Java库，它们在IT领域中扮演着重要角色，尤其在服务器端开发中。让我们逐一深入探讨这些库的功能和应用场景。 1...

    htmlparser抓取论坛帖子内容的代码

    在Web开发中，尤其是在爬虫和信息抓取领域，HTMLParser是一个非常实用的工具。本篇将详细讲解如何使用HTMLParser来抓取论坛帖子的内容。 首先，我们需要了解HTMLParser的基本使用。HTMLParser遵循事件驱动的模式，...

    htmlparser.jar.rar

    5. **filterbuilder.jar**：这个名字暗示这可能是一个过滤器构建器，可能用于创建自定义的HTML解析过滤器，允许用户根据需要选择性地处理HTML元素。过滤器在处理大量或复杂HTML时非常有用，可以减少不必要的计算和...

    HTMLParser的使用

    HTMLParser还提供了很多高级功能，例如自定义节点处理器、使用正则表达式过滤节点、解析CSS选择器等。你可以通过继承`NodeVisitor`接口，实现自己的访问者模式，对HTML文档进行更复杂的操作。此外，还可以结合`...

Magicbox
Global site tag (gtag.js) - Google Analytics