自动抽取新闻网页中的主要内容

抽取网页中的主要内容，是文本挖掘预处理中一个很头疼的问题。但是现在一切都不是问题。
            String  content = ArticleExtractor.INSTANCE.getText(new URL("https://www.google.com.hk/#newwindow=1&q=restlet+java.net.socketexception+broken+pipe&safe=active"));
            System.out.println(content);

    本人试过各大新闻网站，和论坛网站。都没有问题滴将网页的内容中主要部分抽取出来。也可以将网页下载下来。使用如下方法处理本地文件，当然也可以处理HDFS文件。

 

                  FileReader  reader  =new FileReader(new File("test.html"));
                String cont =ArticleExtractor.INSTANCE.getText(reader);
                System.out.println(cont);

 

http://code.google.com/p/boilerpipe/