HtmlparseUtil.java

gundumw100

浏览: 5819668 次
性别:
来自: 上海

最近访客更多访客>>

李大喵和李小喵

hjg8858

henseycai

beishen

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

j2ee+apache

Java J#Blog

该类并不是一个通用的工具类，需要按自己的要求实现，这里只记录了Htmlparse.jar包的一些用法。仅此而已！
详细看这里：http://gundumw100.iteye.com/blog/704311

import java.util.*;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.AndFilter;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.BodyTag;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

/**
 * httpclient与htmlparse对网页的解析
 * 
 * @author Administrator
 * 
 */
public class HtmlparseUtil {
	WebHttpClient util=new WebHttpClient();
	/**
	 * 获得网页中的超链接，将href和text保存在Map中：map(href,text)
	 * @param url
	 * @param charset
	 * @return
	 */
	public Map<String, String> linkGet(String url, String charset) {
		String content=util.getWebContentByGet(url,charset);
		Map<String, String> linkMap = new HashMap<String, String>();
		try {
			//开始解析
			Parser parser = Parser.createParser(content, charset);
			// 过滤出<a></a>标签
			NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);
			NodeList list = parser.extractAllNodesThatMatch(linkFilter);
			Node node = null;
			for (int i = 0; i < list.size(); i++) {
				node = list.elementAt(i);
				// 获得网页中的链接map(href,text)
				linkMap.put(((LinkTag) node).getLink(), this.processText(((LinkTag) node).getLinkText()));
			}
		} catch (ParserException e) {
			e.printStackTrace();
		} 
		return linkMap;
	}

	/**
	 * 获得网页<body></body>标签中的内容， 保存在body中
	 * @param url
	 * @param charset
	 * @return
	 */
	public String bodyGet(String url, String charset) {
		String content=util.getWebContentByGet(url,charset);
		String body = "";
		try {
			Parser parser = Parser.createParser(content, charset);
			// 过滤<body></body>标签
			NodeFilter bodyFilter = new NodeClassFilter(BodyTag.class);
			NodeList list = parser.extractAllNodesThatMatch(bodyFilter);
			Node node = null;
			for (int i = 0; i < list.size(); i++) {
				node = list.elementAt(i);
				// 获得网页内容 保存在content中
				body = ((BodyTag) node).getBody();
			}
		} catch (ParserException e) {
			e.printStackTrace();
		}
		return body;
	}

	/**
	 * 过滤出class为term的<span>元素,并获得他们的文本
	 * @param url
	 * @param charset
	 * @return
	 */
	public Map<String,String> termGet(String url, String charset) {
		String content=util.getWebContentByGet(url,charset);
		
		Map<String, String> map = new HashMap<String, String>();
		try {
			//开始解析
			// 过滤出class为term的<span>元素
			Parser parser = Parser.createParser(content, charset);
			AndFilter filter = 
                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","term"));
            
			Node node = null;
			NodeList nodeList = parser.parse(filter);
			
			for (int i = 0; i < nodeList.size(); i++) {
				node = nodeList.elementAt(i);
				map.put("term", node.toPlainTextString());
			}
			// 过滤出class为start-time的<span>元素
			Parser parser2 = Parser.createParser(content, charset);
			AndFilter filter2 = 
                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","start-time"));
			NodeList nodeList2 = parser2.parse(filter2);
			for (int i = 0; i < nodeList2.size(); i++) {
				node = nodeList2.elementAt(i);
				map.put("start-time", node.toPlainTextString());
			}
			// 过滤出id为J_SingleEndTimeLabel的<span>元素
			Parser parser3 = Parser.createParser(content, charset);
			AndFilter filter3 = 
                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("id","J_SingleEndTimeLabel"));
			NodeList nodeList3 = parser3.parse(filter3);
			for (int i = 0; i < nodeList3.size(); i++) {
				node = nodeList3.elementAt(i);
				map.put("end-time", node.toPlainTextString());
			}
			
			// 过滤出class为box post的<div>元素
			Parser parser4 = Parser.createParser(content, charset);
			AndFilter filter4 = 
                new AndFilter(new TagNameFilter("div"),new HasAttributeFilter("class","box post"));
			NodeList nodeList4 = parser4.parse(filter4);
			for (int i = 0; i < nodeList4.size(); i++) {
				node = nodeList4.elementAt(i);
				String temp=node.toPlainTextString().trim();
				temp=temp.substring(10,20).trim();
				map.put("pre-term", temp);
			}
			
			// 过滤出class为J_AwardNumber的<span>元素
			Parser parser5 = Parser.createParser(content, charset);
//			AndFilter filter5 = 
//                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","J_AwardNumber"));
			NodeList nodeList5 = parser5.parse(new HasAttributeFilter("class","J_AwardNumber"));
			StringBuffer buffer=new StringBuffer();
			for (int i = 0; i < nodeList5.size(); i++) {
				node = nodeList5.elementAt(i);
				buffer.append(","+node.toPlainTextString());
			}
			buffer.append("|");
			
			// 过滤出class为blue J_AwardNumber的<span>元素
			Parser parser6 = Parser.createParser(content, charset);
//			AndFilter filter6 = 
//                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","blue J_AwardNumber"));
			NodeList nodeList6 = parser6.parse(new HasAttributeFilter("class","blue J_AwardNumber"));
			for (int i = 0; i < nodeList6.size(); i++) {
				node = nodeList6.elementAt(i);
				buffer.append(node.toPlainTextString()+",");
			}
			
			map.put("numbers", buffer.toString());
		} catch (ParserException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		return map;
	}
	
	private String processText(String content){   
		content=content.trim().replaceAll("&nbsp;", "");   
//		content=content.replaceAll("<p>", "\n");   
//		content=content.replaceAll("</TD>", "");   
//		content=content.replaceAll("</div>", "");   
//		content=content.replaceAll("</a>", "");   
//		content=content.replaceAll("<a href=.*>", "");   
        return content;   
    }   
	
	public static void main(String[] str) {
		
		String url="http://caipiao.taobao.com/lottery/order/lottery_dlt.htm?type=1";
		HtmlparseUtil util=new HtmlparseUtil();
		Map<String,String> map=util.termGet(url, "gb2312");
		System.out.println("term="+map.get("term"));//<span class="term">第<em>10074</em>期</span>
		System.out.println("start-time="+map.get("start-time"));//
		System.out.println("end-time="+map.get("end-time"));//
		System.out.println("pre-term="+map.get("pre-term"));//
		System.out.println("numbers="+map.get("numbers"));//
		
		/*
		Map<String, String> linkMap = util.linkGet(url, "gb2312");
		for (String s : linkMap.keySet()) {
			System.out.println(s + " = " + linkMap.get(s));
			//如果是个链接，则再获取它的<body>中的内容
//			if (s.startsWith("http")) {
//				util.bodyGet(s, "gb2312");
//			}
		}
		*/
		
	}
	
}

分享到：

DESPlus+Base64+MD5Util | J2EE工具类：ClientSocketUtil.java&Server ...

2010-07-02 17:08
浏览 7578
评论(3)
分类:编程语言
查看更多

3 楼 anybyb 2012-01-06

终于找到了哈哈试试去

2 楼 gundumw100 2011-12-23

svygh123 写道

请问WebHttpClient是什么类呢，可以提供吗？谢谢

在这里http://gundumw100.iteye.com/blog/702521的WebClient类就是！

1 楼 svygh123 2011-12-22

请问WebHttpClient是什么类呢，可以提供吗？谢谢

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

【java毕业设计】新冠疫情下的校园出入系统源码（ssm+mysql+说明文档+LW）.zip: 功能说明：本系统主要包括以下功能模块：个人中心，通知公告管理，用户管理，工作人员管理，进门登记管理，出门登记管理，出入统计管理，外来登记管理等模块。环境说明：开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上数据库工具：Navicat11及以上开发软件：eclipse/idea Maven包：Maven3.3及以上服务器：tomcat7及以上

param-1.5.1-cp34-cp34m-win_amd64.whl.rar: PartSegCore_compiled_backend-0.12.0a0-cp36-cp36m-win_amd64.whl.rar

yolo算法-分神驾驶数据集-8674张图像带标签-没有安全带-唤醒-昏昏欲睡-安全带-电话-打哈欠.zip: yolo算法-分神驾驶数据集-8674张图像带标签-没有安全带-唤醒-昏昏欲睡-安全带-电话-打哈欠.zip；yolo算法-分神驾驶数据集-8674张图像带标签-没有安全带-唤醒-昏昏欲睡-安全带-电话-打哈欠.zip；yolo算法-分神驾驶数据集-8674张图像带标签-没有安全带-唤醒-昏昏欲睡-安全带-电话-打哈欠.zip；yolo算法-分神驾驶数据集-8674张图像带标签-没有安全带-唤醒-昏昏欲睡-安全带-电话-打哈欠.zip

pgmagick-0.7.5-cp37-cp37m-win_amd64.whl.rar: python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装第一步下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别第二步使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件，这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。为什么会用到whl文件来安装python库文件呢？在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包，大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

中国省级与地级市财政转移支付数据-最新.zip: 中国省级与地级市财政转移支付数据-最新.zip

OPENCV 常用XML 内涵17个常用XML，包括人脸检测，微笑检测，人眼检测，用于学习模型训练和使用: OPENCV 常用XML 内涵17个常用XML，包括人脸检测，微笑检测，人眼检测，用于学习模型训练和使用

polylearn-0.1.dev0-cp27-cp27m-win_amd64.whl.rar: python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装第一步下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别第二步使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件，这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。为什么会用到whl文件来安装python库文件呢？在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包，大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

postgresadapter-2.0.1-cp36-cp36m-win_amd64.whl.rar: python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装第一步下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别第二步使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件，这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。为什么会用到whl文件来安装python库文件呢？在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包，大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

Polygon2-2.0.8-cp27-cp27m-win_amd64.whl.rar: python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装第一步下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别第二步使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件，这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。为什么会用到whl文件来安装python库文件呢？在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包，大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

基于SSM的医院管理系统的设计与实现: 开发语言：Java 框架：SSM JDK版本：JDK1.8 服务器：tomcat8.5 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/myeclipse/idea 浏览器：谷歌浏览器

yolo算法-扑克牌数据集-1285张图像带标签.zip: yolo系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法；包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中; yolo格式：<class> <x_center> <y_center> <width> <height>，其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值

中国各省GDP及农业主要指标数据集（1999-2019）.zip: 中国各省GDP及农业主要指标数据集（1999-2019）.zip

【java毕业设计】大学生校园图书角管理系统源码（ssm+mysql+说明文档+LW）.zip: 功能说明：系统主要包括系统主页、个人中心、用户管理、图书信息管理、图书分类管理、图书购买管理、图书借阅管理、图书续借管理、图书归还管理、留言板管理、系统管理等功能模块。环境说明：开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上数据库工具：Navicat11及以上开发软件：eclipse/idea Maven包：Maven3.3及以上服务器：tomcat7及以上

2023-04-06-项目笔记 - 第三百二十阶段 - 4.4.2.318全局变量的作用域-318 -2025.11.17: 2023-04-06-项目笔记-第三百二十阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.318局变量的作用域_318- 2024-11-17

Saturn-PCB-Toolkit-V7.00（土星PCB计算器）: Saturn_PCB_Toolkit_V7.00_ 是一款功能强大的PCB参数计算工具，本人PCB设计15年一直使用的这款计算器，利用其给出的设计数据（如线距、线宽线厚），布出的PCB实际使用未曾出现过问题以下是其主要功能特点： 1. **过孔特性计算**：能够计算过孔的寄生电容、寄生电感、过孔阻抗、过孔直流电阻、共振频率、阶跃响应、功耗等参数。 2. **导线载流能力计算**：可以计算不同线宽下的载流能力，根据环境温度和温升条件，提供不同条件下的载流值。 3. **串扰计算**：计算两相互耦合信号线间的串扰，这对于高速PCB设计尤为重要。 4. **波长计算**：提供波长的计算功能，这对于射频和高速数字PCB设计非常关键。 5. **导体阻抗计算**：计算导体的阻抗，这对于阻抗匹配和信号完整性至关重要。 6. **单位换算**：提供单位换算功能，方便不同单位制之间的转换。 7. **差分对计算**：针对差分信号的计算，这对于高速数据传输和降低噪声非常重要。

yolo算法-车内乘客识别器数据集-1035张图像带标签-乘客.zip: yolo系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法；包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中; yolo格式：<class> <x_center> <y_center> <width> <height>，其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值

最新整理-中国各、省、市、县、乡镇基尼系数数据（到2023年）: ## 一、数据介绍数据名称：中国各、省、市、县、乡镇基尼系数数据数据年份：1992-2023年样本数量：92064条数据格式：面板数据 ## 二、指标说明共计10个指标：年份、省、省代码、市、市代码、县、县代码、乡镇、乡镇代码、夜间灯光基尼系数 ## 三、数据文件中国各乡镇基尼系数（基于夜间灯光数据）2000-2023年.dta；中国各区县基尼系数（基于夜间灯光数据）2000-2023年.dta；中国各城市基尼系数（基于夜间灯光数据）2000-2023年.dta；中国各省份基尼系数（基于夜间灯光数据）2000-2023年.dta

【java毕业设计】学业帮扶管理系统源码（ssm+mysql+说明文档）.zip: 环境说明：开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上数据库工具：Navicat11及以上开发软件：eclipse/idea Maven包：Maven3.3及以上服务器：tomcat7及以上

【java毕业设计】毕业生生活用品出售网站系统源码（ssm+mysql+说明文档+LW）.zip: 功能说明：系统主要包括管理员，商家和用户三大模块 (a) 管理员；管理员进入系统主要功能包括个人中心，用户管理，商家管理，用品分类管理，用品信息管理，系统管理，订单管理等功能并进行操作。 (b) 商家；商家进入系统主要功能包括个人中心，用品信息管理，订单管理等功能并进行操作。 (c) 用户；用户进入系统主要功能包括个人中心，我的收藏管理等功能并进行操作。环境说明：开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上数据库工具：Navicat11及以上开发软件：eclipse/idea Maven包：Maven3.3及以上服务器：tomcat7及以上

最新行政区划、乡镇级矢量地图及2022年道路、水系、建筑轮廓数据（shp格式）-已更至最新.zip: 最新行政区划、乡镇级矢量地图及2022年道路、水系、建筑轮廓数据（shp格式）-已更至最新.zip

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论

HtmlparseUtil.java

评论

发表评论

相关推荐

J2EE工具类：CalendarUtil .java

DESPlus+Base64+MD5Util

J2EE工具类：ClientSocketUtil.java&ServerSocketConnection.java

J2EE工具类：WebClient.java

J2EE工具类：WebHttpClient.java

J2EE工具类：DES.java

BeanUtils & PropertyUtils & MethodUtils类使用方法

HttpClient的用法

使用HttpClient做的一个简单的网络爬虫

J2EE工具类：WeatherUtil.java

Httpclient4.0 功能封装

apache commons-lang包

J2EE工具类：ArrayUtil.java

J2EE工具类：DataBaseUtil.java

J2EE工具类：PropertiesUtil.java

如何在首页加载数据？

J2EE工具类：StringUtil.java

J2EE工具类：DateUtil .java

J2EE工具类：NumberUtil.java

J2EE工具类：MoneyUtil.java小写钱转成大写钱

最近访客更多访客>>