`
bbpgkg
  • 浏览: 2594 次
  • 性别: Icon_minigender_1
  • 来自: 广州
文章分类
社区版块
存档分类
最新评论

使用Htmlparser对网页进行解析获取内容的一种方法

阅读更多
import java.lang.reflect.InvocationTargetException;

import java.lang.reflect.Method;

import java.net.HttpURLConnection;

import java.net.URL;



import org.htmlparser.Node;

import org.htmlparser.PrototypicalNodeFactory;

import org.htmlparser.Tag;

import org.htmlparser.lexer.Lexer;

import org.htmlparser.lexer.Page;

import org.htmlparser.nodes.TagNode;

import org.htmlparser.nodes.TextNode;

import org.htmlparser.tags.ScriptTag;

import org.htmlparser.tags.StyleTag;

import org.htmlparser.util.ParserException;



import com.lietu.tag.CnTagMaker.WordWeight;



public class TagExt {

    private static StringBuffer body ;

    private static String title ;



    public static void main(String[] args) throws Exception {

       String path;



       if (0 >= args. length ) {

           path =

           /**   以下是测试地址   **/

           // "http://www.ibm.com/developerworks/cn/webservices/0901_haoxf_humantask/";

           // "http://developers.sun.com.cn/Java/xref_index.html";

           "http://mil.news.sina.com.cn/2009-01-09/0839538126.html" ;

           // "http://www.sina.com.cn/";

           // "http://www.ibm.com/";

           // "http://hao861002.iteye.com/blog/301581";

       } else {

           path = args[0];

       }

      

       /**

         * 构造 URL ,并打开网络链接。

         */

       URL url = new URL(path);

       HttpURLConnection httpUrl = (HttpURLConnection) url.openConnection();

      

       /**   对该网页进行解析   **/

       parseHTML (httpUrl);



       /**   打印解析后的内容   **/

       System. out .println( "body=" + body );

    }

   

    /**

      * 解析网页内容

      * @param uc   传入一个 HttpURLConnection 链接对象

      * @throws ParserException

      */

    public static void parseHTML(HttpURLConnection uc) throws ParserException {

       /**   声明节点   **/

       Node node;



       String stringText;

       body = new StringBuffer();



       /**   从 head 头获取网页编码格式。该方式取决于服务器是否设置 charSet 值,如果没有,该方式将无法获取 charSet 值   **/

       String contentType = uc.getContentType();  

       String charSet = getCharset (contentType);

       Lexer lexer = null ;



       if (charSet == null ) {

           charSet = "UTF-8" ;

       }



       try {

           lexer = new Lexer( new Page(uc.getInputStream(), charSet));

       } catch (Exception e) {

           e.printStackTrace();

           return ;

       }

      

       /**   对网页内容进行解析   **/

       lexer.setNodeFactory( new PrototypicalNodeFactory());

      

       /**   设置开关,决定网页是否重新解析   **/

       boolean tryAgain = false ;

      

       while ( null != (node = lexer.nextNode())) {

           /**   以下是判断节点的类型,并作相应的处理   **/

           if (node instanceof ScriptTag) {

              while ( null != (node = lexer.nextNode())) {

                  if (node instanceof Tag) {

                     Tag tag = (Tag) node;

                    if (tag.isEndTag() && "SCRIPT" .equals(tag.getTagName())) {

                         break ;

                     }

                  }

              }

              if ( null == node)

                  break ;

           } else if (node instanceof StyleTag) {

              while ( null != (node = lexer.nextNode())) {

                  if (node instanceof Tag) {

                     Tag tag = (Tag) node;

                     if (tag.isEndTag())

                         break ;

                  }

              }

              if ( null == node)

                  break ;

           } else if (node instanceof TextNode) {

              stringText = node.toPlainTextString();

              if ( "" .equals( title ))

                  continue
else if (node instanceof TextNode) {

              stringText = node.toPlainTextString();

              if ( "" .equals( title ))

                  continue ;

              stringText = stringText.replaceAll( "[ \t\n\f\r   ]+" , " " );

              stringText = TextHtml.html2text (stringText.trim());



              if (! "" .equals(stringText)) {

                  body .append(stringText);

                  body .append( " " );

              }

           } else if (node instanceof TagNode) {

              TagNode tagNode = (TagNode) node;

              String name = ((TagNode) node).getTagName();

              if (name.equals( "TITLE" ) && !tagNode.isEndTag()) {

                  node = lexer.nextNode();

                  stringText = node.toPlainTextString().trim();

                  if (! "" .equals(stringText)) {

                     title = stringText;

                  }

              } else if (name.equals( "META" )) {

                  String contentCharSet = tagNode.getAttribute( "CONTENT" );

                  // System.out.println("contentCharset="+contentCharSet);

                  int b = contentCharSet.toLowerCase().indexOf( "charset" );

                  if (b > -1) {

                     String newCharSet = getCharset (contentCharSet);

                     // System.out.println("newCharSet=" + newCharSet);

                     if (!charSet.equals(newCharSet)) {

                         tryAgain = true ;

                         charSet = newCharSet;

                         // System.out.println("charSet=" + charSet);

                         // System.out.println("newCharSet=" + newCharSet);

                         break ;

                     }

                  }

              }

           }

       }



       /**   如果在 Meta 信息中检测到新的字符编码,则需要按照 meta 信息中的编码再次解析网页。   **/

       if (tryAgain) {

           body = new StringBuffer();



           try {

                uc = (HttpURLConnection) uc.getURL().openConnection();

              lexer = new Lexer( new Page(uc.getInputStream(), charSet));

           } catch (Exception e) {

              e.printStackTrace();

           }



           lexer.setNodeFactory( new PrototypicalNodeFactory());



           while ( null != (node = lexer.nextNode())) {

              if (node instanceof TextNode) {

                  stringText = node.toPlainTextString();

                  if ( "" .equals( title ))

                     continue ;

                  stringText = stringText.replaceAll( "[ \t\n\f\r   ]+" , " " );

                  stringText = TextHtml.html2text (stringText.trim());

                  if (! "" .equals(stringText)) {

                     body .append(stringText);

                     body .append( " " );

                  }

              }

           }

       }

    }

   

    /**

      * 找出最终的网页编码

      * @param name 经过 getCharset 方法处理后 meta 标签的值

      * @param _default 默认的编码集

      * @return

      */

    public static String findCharset(String name, String _default) {

       String ret;



       try {

           Class<java.nio.charset.Charset> cls;

           Method method;

           Object object;



           cls = java.nio.charset.Charset. class ;

           method = cls.getMethod( "forName" , new Class[] { String. class });

           object = method.invoke( null , new Object[] { name });

           method = cls.getMethod( "name" , new Class[] {});

           object = method.invoke(object, new Object[] {});

           ret = (String) object;

       } catch (NoSuchMethodException nsme) {

           ret = name;

       } catch (IllegalAccessException ia) {

           ret = name;

       } catch (InvocationTargetException ita) {

           ret = _default;

           System. out

                  .println( "unable to determine cannonical charset name for "

                         + name + " - using " + _default);

       }



       return (ret);

    }
/**

      * 处理 meta 中的内容,并调用 findCharset() 方法获取编码值

      * @param content Meta 中的内容

      * @return

      */

    public static String getCharset(String content) {

       final String CHARSET_STRING = "charset" ;

       int index;

       String ret;



       ret = null ;

       if ( null != content) {

           index = content.indexOf(CHARSET_STRING);



           if (index != -1) {

              content = content.substring(index + CHARSET_STRING.length())

                     .trim();

              if (content.startsWith( "=" )) {

                  content = content.substring(1).trim();

                  index = content.indexOf( ";" );

                  if (index != -1)

                     content = content.substring(0, index);



                  if (content.startsWith( "\"" ) && content.endsWith( "\"" )

                         && (1 < content.length()))

                     content = content.substring(1, content.length() - 1);



                  if (content.startsWith( "'" ) && content.endsWith( "'" )

                         && (1 < content.length()))

                     content = content.substring(1, content.length() - 1);



                  ret = findCharset (content, ret);

              }

           }

       }



       return (ret);

    }



}



说明:


           该类使用 Boolean 型 tryAgain 来判断是否进行第二次解析!



       如果通过 String contentType = uc.getContentType() 来获得 http 协议中 Head 头中 contentType 中的值,并使用 String charSet = getCharset(contentType); 从 contentType 中获取 charSet 值。如果此时 charSet 获取的为空,则先用 charSet=UTF-8 (即:默认情况下, charSet 值为 UTF-8 )进行解析。使用 org.htmlparser.tags 包中的类对比节点 node ,并对合适的节点的内容进行处理,本例中是对类型为 TextNode 的 node 节点,获取其中的内容,并将其添加到类型为 StringBuffer 的 body 当中。当解析到 <meta> 标签的时候,会试图从 <meta> 中获取 newCharSet 值,并将 newCharSet 和 charSet 进行比较,如果相同,则不再进行解析,主函数将 body 打印。如果不同,说明默认的的 charSet 值并不是网页的编码格式,刚才的解析可能不正确,会出现乱码。这时候,将 newCharSet 中的值赋给 charSet ,并将 tryAgain 值设为 true 。当程序进行到 if(tryAgain){ …… } 判断时,结果为真,则根据新得到的 charSet 值进行二次解析。这时候,我们就会得到正确的解析结果
分享到:
评论

相关推荐

    htmlparser_Java网页解析器

    SAX(Simple API for XML)是一种轻量级的解析方式,适用于处理大型HTML文档。SAX解析器以流式方式处理文档,只在需要时读取和处理部分数据,降低了内存占用。HTMLParser也提供了SAX解析器接口,适合处理大体积的...

    HtmlParser提取网页信息的设计与实现

    通过使用HtmlParser,我们可以高效地从网页中提取有用的信息,并对其进行清洗和存储。这对于自动化处理大量网页数据、实现信息检索和数据分析等方面都具有重要的意义。未来还可以进一步探索如何利用这些提取的信息来...

    java利用htmlparser抓取网页数据

    Java作为一种广泛应用的编程语言,提供了多种库来实现网页抓取。本篇将重点讲解如何利用HTMLParser库在Java中抓取网页数据。 HTMLParser是Java的一个开源库,专门用于解析HTML文档,提取其中的数据。它的设计目标是...

    HtmlParser 网页分解dll

    HtmlParser通过解析HTML标签、属性和文本,提供了一种方法来有序地访问和操作网页内容。这通常涉及到DOM(Document Object Model)模型的构建,使得开发者可以像遍历树一样遍历HTML文档。 网页抓取是HtmlParser的另...

    htmlparser库与教程

    实际应用中,HTMLParser常与网络请求库(如Apache HttpClient或OkHttp)结合使用,以获取远程网页内容,再进行后续的解析操作。同时,为了提高代码的可维护性和复用性,建议封装自己的数据抓取和处理模块。

    Java使用HtmlParser实现简单的网络爬虫.zip

    Java使用HtmlParser实现简单的网络爬虫是一种常见的技术实践,它涉及到网络编程、HTML解析和数据提取等核心概念。本文将详细讲解如何运用Java语言结合HtmlParser库来构建一个基础的网络爬虫,以便从网页中获取所需...

    基于HttpClient与HTMLParser 的网页正文提取

    3. 网页抓取和分析方法的实现:文章中提出的基于HttpClient与HTMLParser的网页抓取解析方法,结合了两者的优点,实现了快速且有效的网页内容抓取和正文提取。该方法能够针对特定的网页内容进行深入分析,并能够应对...

    htmlparser实现从网页上抓取数据.doc

    总结来说,htmlparser库为Java开发者提供了一种强大且灵活的方式来解析和处理HTML文档。通过使用它,你可以高效地抓取网页数据,进行内容分析,甚至修改HTML结构。对于需要从网页中提取信息的项目,htmlparser是一个...

    HTMLParser提取网页超链接研究

    HTMLParser是一种专门用于解析HTML文档的工具,它可以帮助开发者从网页中抽取特定的数据或信息。HTMLParser具有以下特点: - **过滤器**:允许用户定义规则来过滤掉不相关的HTML元素。 - **访问者模式**:支持通过...

    Html解析助手htmlparser.jar

    HTML(HyperText Markup Language)是用于创建网页的标准标记语言...总之,`htmlparser.jar`是一个强大且灵活的HTML解析工具,它提供了一种高效的方法来处理和分析HTML文档,为Java开发者在处理HTML任务时提供了便利。

    JAVA htmlparser 使用实例

    `HtmlParser`库为开发者提供了一种简便的方式来解析HTML文档,并从中提取所需的信息。本文将通过一个具体的例子来详细介绍如何在Java中使用`HtmlParser`库进行HTML文档的解析。 #### 示例背景 假设我们正在开发一...

    C#正则+HTMLParser进行网页信息提取的实例。

    总之,C#结合正则表达式和HTMLParser为我们提供了一种强大的手段,可以从网页中提取所需信息。尽管这个实例中代码的可读性可能不高,但通过学习正则表达式和HTML解析库的基本用法,我们可以自己构建类似的解决方案,...

    Winista.Htmlparser.Net 源码 +Demo

    Winista.Htmlparser.Net是一个基于C#的开源HTML解析库,它为开发者提供了一种高效且灵活的方式来处理HTML文档,尤其在需要从HTML中提取数据或者进行网页抓取时显得尤为重要。本文将深入探讨该库的核心功能、设计原理...

    使用 HttpClient 和 HtmlParser 实现简易网络爬虫

    它提供了线性和嵌套两种解析模式,便于进行网页转换和内容抽取。HtmlParser的特点包括过滤器、访问者模式、处理自定义标签以及使用JavaBeans的便利性。这个库被设计得既快速又健壮,适用于处理互联网上的实际网页。...

    C# HTMLParser下载.rar

    总的来说,C#的HTMLParser为开发者提供了一种高效且灵活的方式来处理HTML文档,无论是在简单的数据提取还是复杂的网页分析中,都能发挥重要作用。理解并熟练掌握HTMLParser的使用,无疑会提升我们的开发效率和代码...

    javajsp中使用HTMLParser

    HTMLParser是一个开源的Java库,专门设计用来解析HTML文档,它允许开发者以编程方式处理HTML元素,提供了一种强大的方式来操纵和操作HTML内容。 HTMLParser的核心功能包括: 1. **解析HTML文档**:HTMLParser能够...

    HtmlParser 2.1 码源

    HtmlParser提供了两种主要的解析器模式:`SAX-like`(类似SAX的)和`DOM-like`(类似DOM的)。SAX-like模式逐个事件处理,适合处理大型文档,内存占用低;DOM-like模式则将整个HTML结构加载到内存中,便于遍历和...

Global site tag (gtag.js) - Google Analytics