HtmlparseUtil.java

gundumw100

浏览: 5826315 次
性别:
来自: 上海

最近访客更多访客>>

李大喵和李小喵

hjg8858

henseycai

beishen

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

j2ee+apache

Java J#Blog

该类并不是一个通用的工具类，需要按自己的要求实现，这里只记录了Htmlparse.jar包的一些用法。仅此而已！
详细看这里：http://gundumw100.iteye.com/blog/704311

import java.util.*;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.AndFilter;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.BodyTag;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

/**
 * httpclient与htmlparse对网页的解析
 * 
 * @author Administrator
 * 
 */
public class HtmlparseUtil {
	WebHttpClient util=new WebHttpClient();
	/**
	 * 获得网页中的超链接，将href和text保存在Map中：map(href,text)
	 * @param url
	 * @param charset
	 * @return
	 */
	public Map<String, String> linkGet(String url, String charset) {
		String content=util.getWebContentByGet(url,charset);
		Map<String, String> linkMap = new HashMap<String, String>();
		try {
			//开始解析
			Parser parser = Parser.createParser(content, charset);
			// 过滤出<a></a>标签
			NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);
			NodeList list = parser.extractAllNodesThatMatch(linkFilter);
			Node node = null;
			for (int i = 0; i < list.size(); i++) {
				node = list.elementAt(i);
				// 获得网页中的链接map(href,text)
				linkMap.put(((LinkTag) node).getLink(), this.processText(((LinkTag) node).getLinkText()));
			}
		} catch (ParserException e) {
			e.printStackTrace();
		} 
		return linkMap;
	}

	/**
	 * 获得网页<body></body>标签中的内容， 保存在body中
	 * @param url
	 * @param charset
	 * @return
	 */
	public String bodyGet(String url, String charset) {
		String content=util.getWebContentByGet(url,charset);
		String body = "";
		try {
			Parser parser = Parser.createParser(content, charset);
			// 过滤<body></body>标签
			NodeFilter bodyFilter = new NodeClassFilter(BodyTag.class);
			NodeList list = parser.extractAllNodesThatMatch(bodyFilter);
			Node node = null;
			for (int i = 0; i < list.size(); i++) {
				node = list.elementAt(i);
				// 获得网页内容 保存在content中
				body = ((BodyTag) node).getBody();
			}
		} catch (ParserException e) {
			e.printStackTrace();
		}
		return body;
	}

	/**
	 * 过滤出class为term的<span>元素,并获得他们的文本
	 * @param url
	 * @param charset
	 * @return
	 */
	public Map<String,String> termGet(String url, String charset) {
		String content=util.getWebContentByGet(url,charset);
		
		Map<String, String> map = new HashMap<String, String>();
		try {
			//开始解析
			// 过滤出class为term的<span>元素
			Parser parser = Parser.createParser(content, charset);
			AndFilter filter = 
                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","term"));
            
			Node node = null;
			NodeList nodeList = parser.parse(filter);
			
			for (int i = 0; i < nodeList.size(); i++) {
				node = nodeList.elementAt(i);
				map.put("term", node.toPlainTextString());
			}
			// 过滤出class为start-time的<span>元素
			Parser parser2 = Parser.createParser(content, charset);
			AndFilter filter2 = 
                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","start-time"));
			NodeList nodeList2 = parser2.parse(filter2);
			for (int i = 0; i < nodeList2.size(); i++) {
				node = nodeList2.elementAt(i);
				map.put("start-time", node.toPlainTextString());
			}
			// 过滤出id为J_SingleEndTimeLabel的<span>元素
			Parser parser3 = Parser.createParser(content, charset);
			AndFilter filter3 = 
                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("id","J_SingleEndTimeLabel"));
			NodeList nodeList3 = parser3.parse(filter3);
			for (int i = 0; i < nodeList3.size(); i++) {
				node = nodeList3.elementAt(i);
				map.put("end-time", node.toPlainTextString());
			}
			
			// 过滤出class为box post的<div>元素
			Parser parser4 = Parser.createParser(content, charset);
			AndFilter filter4 = 
                new AndFilter(new TagNameFilter("div"),new HasAttributeFilter("class","box post"));
			NodeList nodeList4 = parser4.parse(filter4);
			for (int i = 0; i < nodeList4.size(); i++) {
				node = nodeList4.elementAt(i);
				String temp=node.toPlainTextString().trim();
				temp=temp.substring(10,20).trim();
				map.put("pre-term", temp);
			}
			
			// 过滤出class为J_AwardNumber的<span>元素
			Parser parser5 = Parser.createParser(content, charset);
//			AndFilter filter5 = 
//                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","J_AwardNumber"));
			NodeList nodeList5 = parser5.parse(new HasAttributeFilter("class","J_AwardNumber"));
			StringBuffer buffer=new StringBuffer();
			for (int i = 0; i < nodeList5.size(); i++) {
				node = nodeList5.elementAt(i);
				buffer.append(","+node.toPlainTextString());
			}
			buffer.append("|");
			
			// 过滤出class为blue J_AwardNumber的<span>元素
			Parser parser6 = Parser.createParser(content, charset);
//			AndFilter filter6 = 
//                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","blue J_AwardNumber"));
			NodeList nodeList6 = parser6.parse(new HasAttributeFilter("class","blue J_AwardNumber"));
			for (int i = 0; i < nodeList6.size(); i++) {
				node = nodeList6.elementAt(i);
				buffer.append(node.toPlainTextString()+",");
			}
			
			map.put("numbers", buffer.toString());
		} catch (ParserException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		return map;
	}
	
	private String processText(String content){   
		content=content.trim().replaceAll("&nbsp;", "");   
//		content=content.replaceAll("<p>", "\n");   
//		content=content.replaceAll("</TD>", "");   
//		content=content.replaceAll("</div>", "");   
//		content=content.replaceAll("</a>", "");   
//		content=content.replaceAll("<a href=.*>", "");   
        return content;   
    }   
	
	public static void main(String[] str) {
		
		String url="http://caipiao.taobao.com/lottery/order/lottery_dlt.htm?type=1";
		HtmlparseUtil util=new HtmlparseUtil();
		Map<String,String> map=util.termGet(url, "gb2312");
		System.out.println("term="+map.get("term"));//<span class="term">第<em>10074</em>期</span>
		System.out.println("start-time="+map.get("start-time"));//
		System.out.println("end-time="+map.get("end-time"));//
		System.out.println("pre-term="+map.get("pre-term"));//
		System.out.println("numbers="+map.get("numbers"));//
		
		/*
		Map<String, String> linkMap = util.linkGet(url, "gb2312");
		for (String s : linkMap.keySet()) {
			System.out.println(s + " = " + linkMap.get(s));
			//如果是个链接，则再获取它的<body>中的内容
//			if (s.startsWith("http")) {
//				util.bodyGet(s, "gb2312");
//			}
		}
		*/
		
	}
	
}

分享到：

DESPlus+Base64+MD5Util | J2EE工具类：ClientSocketUtil.java&Server ...

2010-07-02 17:08
浏览 7592
评论(3)
分类:编程语言
查看更多

3 楼 anybyb 2012-01-06

终于找到了哈哈试试去

2 楼 gundumw100 2011-12-23

svygh123 写道

请问WebHttpClient是什么类呢，可以提供吗？谢谢

在这里http://gundumw100.iteye.com/blog/702521的WebClient类就是！

1 楼 svygh123 2011-12-22

请问WebHttpClient是什么类呢，可以提供吗？谢谢

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

基于智能温度监测系统设计.doc: 基于智能温度监测系统设计.doc

搜广推推荐系统中传统推荐系统方法思维导图整理-完整版: 包括userCF，itemCF，MF，LR，POLY2，FM，FFM，GBDT+LR，阿里LS-PLM 基于深度学习推荐系统（王喆）

2023-04-06-项目笔记 - 第三百五十五阶段 - 4.4.2.353全局变量的作用域-353 -2025.12.22: 2023-04-06-项目笔记-第三百五十五阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.353局变量的作用域_353- 2024-12-22

和美乡村城乡融合发展数字化解决方案.docx: 和美乡村城乡融合发展数字化解决方案.docx

CNN基于Python的深度学习图像识别系统: 基于Python的深度学习图像识别系统是一个利用卷积神经网络（CNN）对图像进行分类的先进项目。该项目使用Python的深度学习库，如TensorFlow，构建和训练一个模型，能够自动识别和分类图像中的对象。系统特别适合于图像处理领域的研究和实践，如计算机视觉、自动驾驶、医疗影像分析等。项目的核心功能包括数据预处理、模型构建、训练、评估和预测。用户可以上传自己的图像或使用预定义的数据集进行训练。系统提供了一个直观的界面，允许用户监控训练进度，并可视化模型的性能。此外，系统还包括了一个模型优化模块，通过调整超参数和网络结构来提高识别准确率。技术层面上，该项目使用了Python编程语言，并集成了多个流行的机器学习库，如NumPy、Pandas、Matplotlib等，用于数据处理和可视化。模型训练过程中，系统会保存训练好的权重，以便后续进行模型评估和预测。用户可以通过简单的API调用，将新的图像输入到训练好的模型中，获取预测结果。

拳皇97.exe拳皇972.exe拳皇973.exe: 拳皇97.exe拳皇972.exe拳皇973.exe

基于python和协同过滤算法的电影推荐系统: 基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法的电影推荐系统基于python和协同过滤算法

DEV-CPP-RED-PANDA: DEV-CPP-RED-PANDA

Python语言求解旅行商（TSP）问题，算法包括禁忌搜索、蚁群算法、模拟退火算法等: Python语言求解旅行商问题，算法包括禁忌搜索、蚁群算法、模拟退火算法等。

pdfjs2.5.207和4.9.155: pdfjs 用于在浏览器中查看/预览/打印pdf。 pdfjs 2.5.207 支持firefox/chrome/edge/ie11以上版本。如果需要支持旧版本浏览器，可以使用这个，是未修改过的原版，支持打印和下载按钮。亲测有效。 pdf 4.9.155分两个包： pdfjs-4.9.155-dist.zip pdfjs-4.9.155-legacy-dist.zip

建设项目现场高温人员中暑事故应急预案.docx: 建设项目现场高温人员中暑事故应急预案

数据结构上机实验大作业-线性表选题.zip: 数据结构上机实验大作业-线性表选题.zip

基于高德地图的校园导航全部资料+详细文档+高分项目.zip: 【资源说明】基于高德地图的校园导航全部资料+详细文档+高分项目.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。欢迎下载，沟通交流，互相学习，共同进步！

全自动批量建站快速养权重站系统【纯静态html站群版】：(GPT4.0自动根据关键词写文章+自动发布+自定义友链+自动文章内链+20%页面加提权词): 【静态站群程序视频演示，只有视频，不含程序，下载须知】【静态站群程序视频演示，只有视频，不含程序，下载须知】全自动批量建站快速养权重站系统【纯静态html站群版】：(GPT4.0自动根据关键词写文章+自动发布+自定义友链+自动文章内链+20%页面加提权词)

9.30 SWKJ 男头7张+女头2张.zip: 9.30 SWKJ 男头7张+女头2张.zip

基于java+springboot+vue+mysql的技术交流和分享平台源码+数据库+论文(高分毕业设计).zip: 项目已获导师指导并通过的高分毕业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。项目都经过严格调试，确保可以运行！可以放心下载技术组成语言：java 开发环境：idea、vscode 数据库：MySql5.7以上部署环境：maven 数据库工具：navicat

一个通过单片机在各种屏幕上显示中文的解决方案.7z: 一个通过单片机在各种屏幕上显示中文的解决方案.7z

Halcon模板匹配图像包: 图像

线上辅导班系统-JAVA-基于springboot的线上辅导班系统的开发与设计（毕业论文）: 一、用户管理功能用户注册与登录学生注册：学生可以通过手机号、邮箱、社交账号等方式注册，填写个人信息（如姓名、年龄、学校等）。家长/监护人账户：支持家长/监护人注册并管理学生账户，查看学习进度和成绩。教师账户：教师可以注册并设置个人资料，上传资质认证文件。管理员账户：管理员负责整个系统的管理，包括用户管理、课程管理、平台设置等。用户权限管理角色权限：系统根据用户类型（学生、家长、教师、管理员）分配不同权限，确保信息安全。家长监督：家长可以查看子女的学习进度、成绩和教师反馈，参与学习监督。个人资料管理用户可以在个人中心更新基本信息，设置个人头像、联系方式、密码等。支持学籍信息的维护，例如学生的年级、班级、课程历史等。二、课程管理功能课程设置课程创建与编辑：教师或管理员可以创建和编辑课程内容，上传课件、视频、文档等教学材料。课程分类：根据学科、年级、难度等维度进行课程分类，方便学生浏览和选择。课程排课：管理员可以设置课程的时间表、教学内容和授课教师，并调整上课时间和频率。课程安排与通知课程预约：学生可以在线选择并预约感兴趣的课程，系统根据学生的时

英特尔2021-2024年网络连接性和IPU路线图: 内容概要：本文档介绍了英特尔2021年至2024年的网络连接性产品和智能处理单元（IPU）的战略和技术路线图。涵盖了从10GbE到200GbE的不同系列以太网适配器的特性、性能和发布时间。详细列出了各个产品的关键功能，如PCIe接口、安全特性、RDMA支持等。同时，介绍了IPU的发展计划，包括200G、400G和800G的不同代次产品的性能提升和新的功能特点。适合人群：从事网络工程、数据中心管理、IT架构设计的专业技术人员。使用场景及目标：本文档主要用于了解英特尔未来几年在以太网适配器和IPU领域的技术和产品规划，帮助企业在采购和部署网络设备时做出决策。同时，为研究人员提供最新技术发展趋势的参考。其他说明：文档内容涉及的技术细节和时间表可能会有变动，请以英特尔官方发布的最新信息为准。

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

HtmlparseUtil.java

评论

发表评论

相关推荐

J2EE工具类：CalendarUtil .java

DESPlus+Base64+MD5Util

J2EE工具类：ClientSocketUtil.java&ServerSocketConnection.java

J2EE工具类：WebClient.java

J2EE工具类：WebHttpClient.java

J2EE工具类：DES.java

BeanUtils & PropertyUtils & MethodUtils类使用方法

HttpClient的用法

使用HttpClient做的一个简单的网络爬虫

J2EE工具类：WeatherUtil.java

Httpclient4.0 功能封装

apache commons-lang包

J2EE工具类：ArrayUtil.java

J2EE工具类：DataBaseUtil.java

J2EE工具类：PropertiesUtil.java

如何在首页加载数据？

J2EE工具类：StringUtil.java

J2EE工具类：DateUtil .java

J2EE工具类：NumberUtil.java

J2EE工具类：MoneyUtil.java小写钱转成大写钱

最近访客更多访客>>