`
deepfuture
  • 浏览: 4400749 次
  • 性别: Icon_minigender_1
  • 来自: 湛江
博客专栏
073ec2a9-85b7-3ebf-a3bb-c6361e6c6f64
SQLite源码剖析
浏览量:80078
1591c4b8-62f1-3d3e-9551-25c77465da96
WIN32汇编语言学习应用...
浏览量:70058
F5390db6-59dd-338f-ba18-4e93943ff06a
神奇的perl
浏览量:103363
Dac44363-8a80-3836-99aa-f7b7780fa6e2
lucene等搜索引擎解析...
浏览量:285835
Ec49a563-4109-3c69-9c83-8f6d068ba113
深入lucene3.5源码...
浏览量:15015
9b99bfc2-19c2-3346-9100-7f8879c731ce
VB.NET并行与分布式编...
浏览量:67579
B1db2af3-06b3-35bb-ac08-59ff2d1324b4
silverlight 5...
浏览量:32155
4a56b548-ab3d-35af-a984-e0781d142c23
算法下午茶系列
浏览量:45993
社区版块
存档分类
最新评论

LUCENE-使用htmlparser提取网页所有链接

阅读更多

、代码(以这个网页为例http://www.qunar.com/site/zh/Cooperate_4.shtml)

package extract;

import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

public class extracthtmlfulllink {

/**
* @param args
*/
public static String getText(String f){
StringBuffer sb=new StringBuffer();
try {
Parser parser=new Parser(f);
parser.setEncoding("UTF-8");
NodeFilter filter=new NodeClassFilter(LinkTag.class);
NodeList links=new NodeList();
for (NodeIterator e=parser.elements();e.hasMoreNodes();){
e.nextNode().collectInto(links, filter);
}
for (int i=0;i<links.size();i++){
LinkTag linktag=(LinkTag)links.elementAt(i);
sb.append("\n|"+linktag.getLinkText()+"|=>"+linktag.getLink());
}

} catch (ParserException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return sb.toString();
}
public static void main(String[] args) {
// TODO Auto-generated method stub
String s=getText("./htmls/Qunar_com.htm");
System.out.print(s);
}

}
2、效果(包括电子邮件地址都已经提取)


|“去哪儿”旅游搜索引擎|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|机票|=>http://flight.qunar.com/
|酒店|=>http://hotel.qunar.com/
|知道new|=>http://zhidao.qunar.com/
|签证|=>http://visa.qunar.com/
|博客|=>http://i.qunar.com/
|打折|=>http://deals.qunar.com/
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|收藏本站|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|关于“去哪儿”|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司简介|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司大事记|=>http://www.qunar.com/site/zh/zhMilestones.shtml
|中国在线旅游发展背景|=>http://www.qunar.com/site/zh/zhBackground.shtml
|管理团队简介|=>http://www.qunar.com/site/zh/Ours.Team_1.4.shtml
|媒体报道|=>http://www.qunar.com/site/zh/News.Room_1.5.shtml
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|去哪儿联盟(API)|=>http://un.qunar.com/
|免责申明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|隐私条款|=>http://www.qunar.com/site/zh/Privacy_6.shtml
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|关于订票|=>http://www.qunar.com/site/zh/AboutBooking_10.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|About
Us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|Adservice@qunar.com|=>adservice@qunar.com
|adservice@qunar.com|=>adservice@qunar.com
||=>http://www.hd315.gov.cn/beian/view.asp?bianhao=010202007112700003
|关于Qunar.com|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|媒体报道|=>http://hot.qunar.com/
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|免责声明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|旅游导航|=>http://123.qunar.com/
|旅游论坛|=>http://bbs.qunar.com/
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|使用帮助|=>http://www.qunar.com/site/zh/Tips_new.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|about
us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|京ICP备05021087号|=>http://www.miibeian.gov.cn/
|电信与信息服务业务经营许可证060856号|=>http://downtmp.qunar.com/qunaricp.pdf

分享到:
评论

相关推荐

    lucene开发中用到的jar包

    这两个库结合使用,可以帮助我们有效地提取和理解HTML文档的关键信息,将其转化为适合Lucene索引的形式。 其次,`pdfbox-0.8.0-incubating.jar`是处理PDF文档的库。PDF是一种常见的文档格式,它包含了丰富的排版和...

    解密搜索引擎技术实战:Lucene&Java精华版

    - **2.3.4 URL地址提取**:探讨了如何有效地从网页中提取链接信息。 - **2.3.5 抓取JavaScript动态页面**:介绍了处理动态网页抓取的技术。 - **2.3.6 抓取即时信息**:讲解了如何捕获实时更新的信息。 - **...

    crawler爬虫资料

    URL管理器负责维护待抓取的网址队列,下载器负责获取网页内容,解析器则分析网页内容,提取所需信息,并可能发现新的链接,循环这一过程。 2. **Java爬虫项目**: - `spider`:可能是一个Java爬虫框架或项目的名称...

    jeecms lib2.zip

    7. **htmlparser-1.6.jar**:HTMLParser是一个解析HTML文档的Java库,可以用于提取网页信息、处理HTML标签和属性,对网页内容进行分析。 8. **logback-core-0.9.16.jar**:Logback是另一个日志框架,比Log4j更高效...

    Nutch全文搜索学习笔记

    - **Outlink**:提取的网页链接。 - **HtmlMetaTags**:HTML元标签信息。 - **ParseUtil**:提供解析辅助方法。 **4. Indexer(索引器)** - **NutchDocumentAnalyzer**:定义分词逻辑。 - **Indexer**:创建索引...

    apache-nutch-2.3-src.zip

    5. **分词和索引**:Nutch 内置了Lucene库,用于对抓取的网页内容进行分词和创建倒排索引,便于后续的搜索操作。 6. **国际化支持**:Nutch 支持多种语言的网页抓取和处理,包括中文,通过插件机制可以添加新的语言...

    nutch 1.5的源代码

    2. **链接解析**:Nutch使用`Parser`接口解析下载的HTML文档,提取出其中的链接、标题、内容等元数据。`HTMLParser`实现了这个接口,可以解析HTML并生成`TextDocument`对象。 3. **分词与索引**:Nutch使用Apache ...

    简单搜索引擎分析与开发毕业设计论文(20210809123532).pdf

    在本文中,搜索引擎的开发注重于实用性和效率,使用了Eclipse集成开发环境进行代码编写和管理,同时利用了Htmlparser工具来解析HTML文档,Htmlparser可以方便地从HTML文件中提取文本和链接信息,这对网络爬虫的开发...

    test(nutch)

    5. **索引(Indexing)**:Nutch使用Lucene或Solr这样的全文搜索引擎库对解析和分析后的数据进行索引,便于后续的搜索操作。 6. **反向链接(Backlink)**:Nutch还收集每个网页的反向链接信息,这对于评估网页的...

    JAVA上百实例源码以及开源项目源代码

    Java从网络取得文件 1个目标文件 简单 Java从压缩包中提取文件 1个目标文件 简单 Java存储与读取对象 1个目标文件 如题 Java调色板面板源代码 1个目标文件 摘要:Java源码,窗体界面,调色板 使用Java语言编写的一款...

Global site tag (gtag.js) - Google Analytics