使用HtmlParser提取HTML文本块

听人介绍说HtmlParser（Java版本）在网页预处理方面做得不错，于是最近几日就研究了一番，虽说没有什么大的收获，但是难得能够让我一个对html标签一无所知的人，认识了其树状结构的玄机，并实现了通过文件目录提取html的标题，关键词，摘要信息，链接及其锚文本，以及主题型网页的正文部分。

以下仅就提取正文部分做个简单拙劣的介绍。在提取网页正文时，对于不同类型的网页应当采用不同的提取策略，而网页又可以分成几种类型呢？粗略地讲，网页就分成两种类型：主题型（topic）和hub型，这种分类有一个明显的差别，即主题型相对hub型网页正文要占可视文本的绝大多数。比如，baidu空间，这种博客类型的网页，多数情况下都是大段大段的文本块，而又如新华网首页，经过分析提取出来1,000多的出链，打开网页映入我们眼帘实际上是这些链接的锚文本。锚文本与正文文本块一个明显的差别就是短小，而门户网站的锚文本又多了一个性质：种类庞杂，条目众多。

基于这种分析，我们在提取网页正文之前，至少在代码中应该定义一个用于判别网页类型的方法/函数，目的就是针对每种类型，采取一种独特的正文提取策略。至于这个功能函数如何实现这种判别，可以参考相关的文献和网络资料具体深入的研究。当然有一种被很多人推崇的版本，那就是计算文本的信噪比，但是这种方法从概念上就足以让人望而却步，更甭提具体实现了，但我觉得可能这种方法也许并没有乍看那么困难吧！先夸下海口，但我还没有抽出足够的时间了解它，以后慢慢地研究吧。我在程序中就采取了一种十分粗糙简化的判别，即通过为网页出链的数目设置一个阈值，当出链数目超出这个阈值时，即可认为该网页属于hub型；低于这个阈值，即被归入主题型网页。明显地，这是一种低级的，没有任何技术含量的假设，还有待我们细化。

网页类型分析出来了，采取什么策略来提取正文呢？还是简化的方式：针对主题型，提取的是主体的大块文本段落；而对hub型，由于其大量的出链和锚文本，我们就直接忽略掉这个提取。说了大半天，竟然没有提取。话虽如此，实际上，hub型网页的文本内容都被我们通过锚文本的形式提取出来了，这也就是我采用HtmlParser提取正文的原因，一方面它可以实现针对性的提取链接，同时跳过script、style、remark标签，过滤掉迷惑性的图片链接等其他链接，单单提取txt/html类型的所有链接，重要的是还能够同时提取相应的锚文本，并能够保存其标签的起始位置。一个让人着迷的实现，从技术上来看，实际上也还是使用我们万能的正则表达式匹配功能实现的，从我来讲，这种匹配只是被包装起来了。其实，我们还是可以让他们pk一下的，比如过滤掉html中的无用标签对以及文本内容，如惹人厌烦的script和style、remark标签：

<1>使用简单的正则表达式匹配：

 public String cleanHtml(String html){
  String regex="<script[\\s\\S]*?</script>" +
    "|<style[\\s\\S]*?</style>"+
    "|<![\\s\\S]*?>";
  Pattern pattern=Pattern.compile(regex,Pattern.CASE_INSENSITIVE);
  Matcher match=pattern.matcher(html);
  html=match.replaceAll("");
  return html;
 }

输入的是原始的html字符串，输出的结果就将以上垃圾信息过滤掉了 :）

<2>使用HtmlParser过滤script和style标签信息以及文本信息：

 public String htmlInit(String htmlStr){
  NodeFilter scriptFilter=new NodeClassFilter(ScriptTag.class);
  NodeFilter styleFilter=new NodeClassFilter(StyleTag.class);
  NodeFilter[] filter={scriptFilter,styleFilter};
  OrFilter orFilter=new OrFilter(filter);
  try {
   htmlStr=ParserUtils.trimTags(htmlStr,orFilter,true,true);
  } catch (ParserException e) {
   e.printStackTrace();
  } catch (UnsupportedEncodingException e) {
   e.printStackTrace();
  }
  return htmlStr;
 }

这里使用的OrFilter让人倾倒，本质上无非就是一个数组型的过滤器，实现循环过滤罢了。

 小结：比较起来，从代码量上来看，显然使用正则表达式更为简略，而且实现效果比起后者，过滤的更为彻底。我一直在寻找捷径，其实捷径不一定就是别人走出来的。当然，使用正则表达式的一个缺憾就是损坏了原来html的完整的结构，从而破坏了定位标签位置的实现。还要注意的一点就是，使用Parser.parser(Filter filter)还要初始化parser的编码，以胜任对中文的处理，要知道，它默认的字符编码是ISO-8859-1，在处理中文的时候，如果没有parser.setEncoding("GB2312")这一步，可能看到的是乱码了，或者直接抛出编码转换的错误。

我们多次强调要保存标签位置信息，其实是有目的的，即在完成建立索引，向用户提供查询时，实现关键字飘红或者动态摘要生成的目的。现在，如果采取第一种过滤方式，就使我们丢弃了这种信息，但是还有补救方法，即我们在提供关键字飘红和动态摘要的生成，完全可以基于所有关键字集合来讲，而不是基于全文的。

下面，为了回馈社会，我将前面长篇大论的提取正文信息的代码贴上：

// 提取网页主要文本内容
 public String getContent(){
  content=(isHub())?getHubEntries():getTopicBlock();
  System.out.println("<Content>:");
  System.out.println("=========================");
  System.out.println(content);
  return content;
 }
// 提取Hub类网页文本内容,如yahoo,sina等门户网
 public String getHubEntries(){
  StringBean bean=new StringBean();
  bean.setLinks(false);
  bean.setReplaceNonBreakingSpaces(true);
  bean.setCollapse(true);
  try {
   parser.visitAllNodesWith(bean);
  } catch (ParserException e) {
   System.err.println("getHubEntries()-->"+e);
  }
  parser.reset();
  return bean.getStrings();
 }
 
// 获取主题性(Topical)网页文本内容：对于博客等以文字为主体的网页效果较好
 public String getTopicBlock(){
  
  HasParentFilter acceptedFilter=new HasParentFilter(new TagNameFilter("p"));
  NodeList nodes=null;
  try {
   nodes=parser.extractAllNodesThatMatch(acceptedFilter);
  } catch (ParserException e) {
   System.err.println("getTopicBlock"+e);
  }
  
  StringBuffer sb=new StringBuffer();
  SimpleNodeIterator iter=nodes.elements();
  while(iter.hasMoreNodes()){
   Node node=iter.nextNode();
   sb.append(node.getText()+"\n");
  }
  parser.reset();
  return sb.toString();
 }

说实话，具体效果还真不太好，细节问题还有一箩筐，比如要剔除广告信息怎么处理，如何利用版权声明中的"About us"或者"关于我们"的链接网页，提取信息补充关键词和摘要信息，同时将声明的其余部分毫不保留的过滤掉....

补充说一下，有人提出通过遍历html所有标签，统计其中的文本文字的比特数与标签的比率，根据到达正文尾部可以达到最大化的统计假设来实现，我觉着这种方法也许是正解，慢慢研究咯。

结语：到目前为止，我对HtmlParser的研究还是皮毛，谬误之处多多，还望大虾们多多指教。它让我产生一种冲动，即按照树的结构写出自己的API，努力一把，兴许还真有收获吧！目前正在尝试着搭建一个搜索引擎，学海无涯啊！