Java:用HtmlParser抓取新浪博客文章内容

htmlparser是一个纯的java写的html解析的库，它不依赖于其它的java库文件. 下载地址为:    http://htmlparser.sourceforge.net

 

新浪博客文章html页面:

 

 

 // 新浪博客韩寒的一篇文章内容部分的tag, 文章地址:http://blog.sina.com.cn/s/blog_4701280b0100jbqq.html 

			<div class="articalContent" id="sina_keyword_ad_area2"><p STYLE="TexT-inDenT: 2em">
谢谢我的对手，你们让我学到很多，让我知道长路漫漫。关于类似的一切，我的看法从未改变。两年前我就已经说过一遍，雷同观点如今不想再多说了，说来说去都是一样，说多了就累了，在累之前我认输，否则就灰心了。你们胜利了，请随意。如果你是我的读者，我希望你们不要以任何名义去驱逐任何一种文化，更不要想教训和消灭它的受众群体，无论是文化还是政治都不能排他，也不能代替别人做出选择，哪怕它很傻，哪怕它不合你的口味，只要它不反人类。我曾经无意识的带领你们去往各个博客铲除异己，如今我欣喜的看到我们共同的进步，四年前的我一定带不走今天的你。热血一定要洒在它该洒的地方，否则它就叫鸡血。在此我也正式向现代诗歌以及现代诗人道歉，三年前我的观点是错的，对你们造成的伤害带来的误会，我很愧疚，碍于面子，一直没说，希望你们的原谅与理解。愿文化之间，年代之间，国家之间都能消除成见，为了……你知道的。</P>
<p STYLE="TexT-inDenT: 2em">我看好阿根廷。</P></div>
		

 

 观察html文档可知, 只要抽取出名为div 且属性class为articlecontent的tag(标签)就可以找到文章正文. 下面看代码:

  public static String getContent(String urlString)
    throws Exception
  {
    URL url = new URL(urlString);

    URLConnection conn = url.openConnection();
    conn.setDoInput(true);
    conn.setDoOutput(true);
    conn.setRequestProperty("User-Agent", 
      "Mozilla/4.0 (compatible; MSIE 7.0;)");
    conn
      .setRequestProperty(
      "Accept", 
      "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/msword, application/vnd.ms-excel, application/vnd.ms-powerpoint, */*");

    BufferedReader reader = new BufferedReader(
      new InputStreamReader(conn.getInputStream(), "utf-8"));
    String line = "";
    StringBuilder sb = new StringBuilder();
    while ((line = reader.readLine()) != null) {
      sb.append(line + "\r\n");
    }

    return sb.toString();
  }

   private String processText(String content)
  {
    content = content.trim().replaceAll(" ", " ");

    return content;
  }

   public String getSinaArticleContent(String url)
    throws Exception
  {
    String content = getContent(url);

    StringBuilder sb = new StringBuilder();

    Parser parser = Parser.createParser(content, "utf-8");
    AndFilter filter = new AndFilter(new TagNameFilter("div"), 
      new HasAttributeFilter("class", "articalContent"));

    Node node = null;
    NodeList nodeList = parser.extractAllNodesThatMatch(filter);
    for (int i = 0; i < nodeList.size(); ++i) {
      node = nodeList.elementAt(i);
      sb.append(node.toPlainTextString());
    }

    return processText(sb.toString());
  }

  public static void main(String[] args)
    throws Exception
  {
    ParserTester pt = new ParserTester();

    System.out.println(pt.getSinaArticleContent("http://blog.sina.com.cn/s/blog_4701280b0100jbqq.html"));
  }

 

效果:

 

评论

2 楼 c.zhiwu 2012-02-20  

你好,我使用了这些包


httpclient-4.0.1.jar
httpcore-4.0.1.jar
nekohtml.jar
commons-codec-1.4-bin.zip

chen106106 写道

楼主你好，我最近也在研究这个网络爬取一个网站的文章，我刚才测试你的代码，发现我用的jsoup是1.6.1 ，怎么一些类找不到？请问你用的是哪个版本的jsoup包？

1 楼 chen106106 2012-02-20  

楼主你好，我最近也在研究这个网络爬取一个网站的文章，我刚才测试你的代码，发现我用的jsoup是1.6.1 ，怎么一些类找不到？请问你用的是哪个版本的jsoup包？