、代码(以这个网页为例http://www.qunar.com/site/zh/Cooperate_4.shtml)
package extract;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class extracthtmlfulllink {
/**
* @param args
*/
public static String getText(String f){
StringBuffer sb=new StringBuffer();
try {
Parser parser=new Parser(f);
parser.setEncoding("UTF-8");
NodeFilter filter=new NodeClassFilter(LinkTag.class);
NodeList links=new NodeList();
for (NodeIterator e=parser.elements();e.hasMoreNodes();){
e.nextNode().collectInto(links, filter);
}
for (int i=0;i<links.size();i++){
LinkTag linktag=(LinkTag)links.elementAt(i);
sb.append("\n|"+linktag.getLinkText()+"|=>"+linktag.getLink());
}
} catch (ParserException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return sb.toString();
}
public static void main(String[] args) {
// TODO Auto-generated method stub
String s=getText("./htmls/Qunar_com.htm");
System.out.print(s);
}
}
2、效果(包括电子邮件地址都已经提取)
|“去哪儿”旅游搜索引擎|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|机票|=>http://flight.qunar.com/
|酒店|=>http://hotel.qunar.com/
|知道new|=>http://zhidao.qunar.com/
|签证|=>http://visa.qunar.com/
|博客|=>http://i.qunar.com/
|打折|=>http://deals.qunar.com/
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|收藏本站|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|关于“去哪儿”|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司简介|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司大事记|=>http://www.qunar.com/site/zh/zhMilestones.shtml
|中国在线旅游发展背景|=>http://www.qunar.com/site/zh/zhBackground.shtml
|管理团队简介|=>http://www.qunar.com/site/zh/Ours.Team_1.4.shtml
|媒体报道|=>http://www.qunar.com/site/zh/News.Room_1.5.shtml
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|去哪儿联盟(API)|=>http://un.qunar.com/
|免责申明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|隐私条款|=>http://www.qunar.com/site/zh/Privacy_6.shtml
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|关于订票|=>http://www.qunar.com/site/zh/AboutBooking_10.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|About
Us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|Adservice@qunar.com|=>adservice@qunar.com
|adservice@qunar.com|=>adservice@qunar.com
||=>http://www.hd315.gov.cn/beian/view.asp?bianhao=010202007112700003
|关于Qunar.com|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|媒体报道|=>http://hot.qunar.com/
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|免责声明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|旅游导航|=>http://123.qunar.com/
|旅游论坛|=>http://bbs.qunar.com/
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|使用帮助|=>http://www.qunar.com/site/zh/Tips_new.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|about
us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|京ICP备05021087号|=>http://www.miibeian.gov.cn/
|电信与信息服务业务经营许可证060856号|=>http://downtmp.qunar.com/qunaricp.pdf
分享到:
相关推荐
这两个库结合使用,可以帮助我们有效地提取和理解HTML文档的关键信息,将其转化为适合Lucene索引的形式。 其次,`pdfbox-0.8.0-incubating.jar`是处理PDF文档的库。PDF是一种常见的文档格式,它包含了丰富的排版和...
- **2.3.4 URL地址提取**:探讨了如何有效地从网页中提取链接信息。 - **2.3.5 抓取JavaScript动态页面**:介绍了处理动态网页抓取的技术。 - **2.3.6 抓取即时信息**:讲解了如何捕获实时更新的信息。 - **...
URL管理器负责维护待抓取的网址队列,下载器负责获取网页内容,解析器则分析网页内容,提取所需信息,并可能发现新的链接,循环这一过程。 2. **Java爬虫项目**: - `spider`:可能是一个Java爬虫框架或项目的名称...
7. **htmlparser-1.6.jar**:HTMLParser是一个解析HTML文档的Java库,可以用于提取网页信息、处理HTML标签和属性,对网页内容进行分析。 8. **logback-core-0.9.16.jar**:Logback是另一个日志框架,比Log4j更高效...
- **Outlink**:提取的网页链接。 - **HtmlMetaTags**:HTML元标签信息。 - **ParseUtil**:提供解析辅助方法。 **4. Indexer(索引器)** - **NutchDocumentAnalyzer**:定义分词逻辑。 - **Indexer**:创建索引...
5. **分词和索引**:Nutch 内置了Lucene库,用于对抓取的网页内容进行分词和创建倒排索引,便于后续的搜索操作。 6. **国际化支持**:Nutch 支持多种语言的网页抓取和处理,包括中文,通过插件机制可以添加新的语言...
2. **链接解析**:Nutch使用`Parser`接口解析下载的HTML文档,提取出其中的链接、标题、内容等元数据。`HTMLParser`实现了这个接口,可以解析HTML并生成`TextDocument`对象。 3. **分词与索引**:Nutch使用Apache ...
在本文中,搜索引擎的开发注重于实用性和效率,使用了Eclipse集成开发环境进行代码编写和管理,同时利用了Htmlparser工具来解析HTML文档,Htmlparser可以方便地从HTML文件中提取文本和链接信息,这对网络爬虫的开发...
5. **索引(Indexing)**:Nutch使用Lucene或Solr这样的全文搜索引擎库对解析和分析后的数据进行索引,便于后续的搜索操作。 6. **反向链接(Backlink)**:Nutch还收集每个网页的反向链接信息,这对于评估网页的...
Java从网络取得文件 1个目标文件 简单 Java从压缩包中提取文件 1个目标文件 简单 Java存储与读取对象 1个目标文件 如题 Java调色板面板源代码 1个目标文件 摘要:Java源码,窗体界面,调色板 使用Java语言编写的一款...