lucene-使用htmlparser解析未设定编码页面

一、

1、使用htmlparser解析网页，如果页面没有设定编码，那么htmlparser将会iso-8859-1和编码方式解析网页

2、本例假定网页没有指定编码，将http://hao.360.cn/主页另存在本地，为360a.htm，然后删除下面一行

<META content="text/html; charset=gb2312" http-equiv=Content-Type>。程序目的是解析出文本

二、使用org.htmlparser.beans.StringBean

1、代码

package extract;
import java.io.UnsupportedEncodingException;

import org.htmlparser.beans.StringBean;

public class extracthtmlcon {

/**
* @param args
*/
public static String getText(String f){
StringBean sb=new StringBean();
sb.setLinks(false);
sb.setReplaceNonBreakingSpaces(true);
sb.setCollapse(true);
sb.setURL(f);
String s=sb.getStrings();
try {
s=new String(s.getBytes("ISO-8859-1"));
} catch (UnsupportedEncodingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return s;

}
public static void main(String[] args) {
// TODO Auto-generated method stub
String s=getText("./htmls/360a.htm");
System.out.print(s);

}

}

2、效果如下：

360网址导航－实用网址大全,安全上网从360开始
起始页搜索页网址导航设置 | 设为主页 | 收藏
选择邮箱@163.com网易@126.com网易@[e-mail]邮箱@sina.com 新浪@sina.cn 新浪@[e-mail]@[e-mail]@sohu.com搜狐@[e-mail]@[e-mail]@china.com 中华@139.com-其他服务-百度账号51帐号chinaren校友录校内网
关闭页面设置
运程
闹钟
网页|图片|音乐|视频|贴吧|知道
公安部公布赌球案进展 “裸体官员”(不能任正职) 捡钱归还反成被告 信春哥不挂科 专家建议准生二胎(少儿人口大降) 房补饭补缴税 更多>>
百度 谷歌 奇虎 购物
百 度
新浪--微博
搜狐--白社会
网易--邮箱
凤 凰 网
腾讯QQ--空间
校内-人人网
开 心 网
智联招聘
谷 歌
奇虎问答
360安全卫士
淘 宝 网
优酷视频
土 豆 网
迅雷看看
东方财富网
京东网上商城
新 华 网
人 民 网
CCTV
证券之星
彩票大赢家
中国新闻网
51个人空间
猫扑大杂烩
天涯社区
世纪佳缘交友
百合婚恋网
起点中文网
易 车 网
电脑之家
中国移动
工商银行
招商银行
搜 房 网
E家网购物
当当购物
凡客诚品服饰
58 同 城
摩尔庄园
中国供应商
安居客二手房
卓 越 网
东京时尚内衣
佳人女性网
No5化妆品网
百 姓 网
赶 集 网
多玩游戏网
360游戏中心
易购打折网
大众点评网
宝宝树育儿网
A 股
实时行情 大盘 荐股 提示
基金
净值排名 盘中净值 回报排行
消息
股市播报 股吧热贴 论坛精华
新闻
滚动新闻 媒体头条 新闻排行
环球
港股 美股 美股评论 外汇
彩票
每日开奖 统计列表 彩民论坛
福彩
双色球 3D 十一夺金 时时彩
体彩
大乐透 排列三 排列五 七星彩
足彩
胜负彩 进球彩 任九场 六场半
酷讯特价机票
酷讯特惠酒店
玛萨玛索男装
麦网时尚购物
麒迅打折机票
齐购手机商城
乐行精品鞋包
名牌特卖会
vancl男装商城
热门分类
彩票
查询
股票
女性
两性
音乐
视频
游戏
购物
电影
图片
更多
生活服务
天气
基金
银行
NBA
票务
充值
汽车
房产
手机
数码
健康
美食
亲子
旅游
宠物
电视
法律
招聘
娱乐休闲
新闻
小说
军事
体育
足球
娱乐
动漫
交友
社区
闪游
笑话
星座
美女
减肥
地方网站
北京
天津
上海
河南
湖北
湖南
广东
广西
海南
四川
贵州
云南
陕西
甘肃
宁夏
山东
江西
重庆
河北
山西
辽宁
吉林
黑龙江
更多
电脑网络
软件
电脑
博客
黑客
BT
聊天
硬件
搜索
编程
建站
杀毒
设计
动画
资源
文化教育
教育
科技
外语
考试
论文
校园
爱好
人文
公益
留学
其它类别
黄页
政府
地方
行业
国外
WAP
酷站
欧美冬季服装3折限量热卖 游戏-小说-音乐-视频-图片-闪游
更多>>
[游戏]
商业大亨
武林英雄
德州扑克
弹弹堂
三国风云
幸福厨房
更多>>
[小说]
起点中文网
新浪小说
小说阅读网
榕树下
幻剑书盟
看书小说网
更多>>
[音乐]
QQ163音乐
我爱音乐
一听音乐
谷歌音乐
搜刮音乐下载
爱听音乐
更多>>
[视频]
优酷网
土豆网
激动网
酷6网
六间房
56网
更多>>
[图片]
口袋酷图
美空美图
蜂鸟影像
大旗贴图
POCO摄影网
新华图片
更多>>
[闪游]
4399小游戏
17173小游戏
7k7k
JJ斗地主
新浪小游戏
地瓜小游戏
最新万人在线网游 新闻-体育-军事-房产-财经-招聘
更多>>
[新闻]
新浪新闻
搜狐新闻
新华网
联合早报
百度新闻
CCTV新闻
更多>>
[体育]
搜狐体育
网易体育
NBA中文网
ESPN中文网
新传NBA
新浪体育
更多>>
[军事]
中华网军事
新浪军事
环球网军事
西陆军事
新华网军事
铁血军事
更多>>
[房产]
搜房网
焦点房产
新浪房产
房价网
易居房产
安居客二手房
更多>>
[财经]
东方财富网
金融界
和讯财经
凤凰财经
和瑞财经
中金在线
更多>>
[招聘]
中华英才网
前程无忧
智联招聘
中国人才热线
职酷招聘
上海第一招聘
玩网游卡吗？看这里！购物-旅游-生活-亲子-宠物-女性
更多>>
[购物]
淘宝网
当当网
京东商城
E家购物网
名牌折扣网
广购网名品
更多>>
[旅游]
酷讯折扣机票
携程旅行网
艺龙旅行网
去哪儿酒店
芒果网
到到酒店网
更多>>
[生活]
赶集网
58同城
百姓网
大众点评网
爱帮网
701生活搜索
更多>>
[亲子]
妈妈说
红孩子
摇篮网
中国早教网
宝宝树
CCTV少儿点播
更多>>
[宠物]
新浪宠物
宠物中国
中国名犬网
爱狗网
宠物之家
海网宠物
更多>>
[女性]
yoka时尚网
瑞丽女性网
太平洋女性网
新浪女性
闺密女性网
网易女人
邮箱-银行-社区-博客-交友-两性
更多>>
[邮箱]
163邮箱
126邮箱
QQ邮箱
雅虎邮箱
新浪邮箱
Hotmail
更多>>
[银行]
工商银行
招商银行
农业银行
建设银行
中国银行
交通银行
更多>>
[社区]
百度贴吧
天涯社区
搜狐社区
猫扑大杂烩
139社区
开心网
更多>>
[博客]
QQ空间
网易博客
新浪博客
百度空间
搜狐博客
新浪微博
更多>>
[交友]
世纪佳缘
珍爱婚恋网
嫁我网
百合网
赛我网
爱情公寓
更多>>
[两性]
腾讯健康
女娲健康网
新浪两性学堂
搜狐两性
人民网两性
39健康网
玩游戏必备杀软汽车-手机-数码-软件-票务-酷站
更多>>
[汽车]
易车网
太平洋汽车
搜狐汽车
新浪汽车
汽车用品
汽车之家
更多>>
[手机]
新浪手机
手机世界
泡泡手机
太平洋手机
友人网
塞班手机论坛
更多>>
[数码]
泡泡网
电脑之家
太平洋电脑
中关村在线
IT168
天极网
更多>>
[软件]
天空软件
腾讯下载
华军软件
非凡软件
太平洋下载
新浪下载
更多>>
[票务]
票务通
携程机票
去哪儿机票
酷讯火车票
火车票网
中国票务网
更多>>
[酷站]
阿里巴巴
星岛新闻网
MSN中文网
金蝶友商网
汽车点评网
手机中国
Copyright ?360网址导航. All Rights Reserved. | 申请收录网站 | 有奖挑错 | 意见反馈 | 广告销售
京ICP备06060858号
当前时间：2009年09月14日 18时41分15秒
定时闹钟
提醒时间：
23 时 45 分
闹钟铃声：
爱如潮水春江花月夜二泉映月回家卡农梁祝浏阳河茉莉花南泥湾起床号千里之外上海滩水边的阿迪丽娜天仙配甜蜜蜜土耳其进行曲我只在乎你星语心愿致爱丽丝猪八戒背媳妇最浪漫的事试听
提示文字：
重复提醒：
不重复 每天提醒
隐藏
温馨提示：
·如关闭360网址导航首页，闹钟功能将失效。
·需要打开音响或佩戴耳机，以便听到提示铃声。
'+solarDay2()+'';getObj('chineseCalendar').innerHTML = ''+weekday()+'
黄历'; setTimeout('$("#xxadboo").html("");' , 1000); (function(){try{g_securityId = external.twGetSecurityID( window );g_strTwVersion = external.twGetVersion( g_securityId );PATH =external.twGetRunPath; is360SE=PATH.toLowerCase().indexOf('360se')>-1?true:flase; if(g_strTwVersion && is360SE){getObj('m5').style.display='';}}catch(e){}})();

二、使用org.htmlparser.visitors.TextExtractingVisitor

1、代码

package extract;
import java.io.UnsupportedEncodingException;

import org.htmlparser.Parser;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.TextExtractingVisitor;

public class extracthtmlparcon {
public static String getText(String f) {
String s="";
try {
Parser parser=new Parser(f);
TextExtractingVisitor visitor=new TextExtractingVisitor();
parser.visitAllNodesWith(visitor);
s=visitor.getExtractedText();
s=new String(s.getBytes("iso-8859-1"));
} catch (ParserException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
catch (UnsupportedEncodingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}


return s;

}
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
String s=getText("./htmls/360a.htm");
System.out.print(s);

}

}

2、效果

360网址导航－实用网址大全,安全上网从360开始

function getObj(id){return document.getElementById(id);}
function Menu(index){var num= getObj("conBox").getElementsByTagName("div");for(var i=1;i<=num.length;i++){if(getObj("con"+i)&?tObj("m"+i)){getObj("con"+i).style.display = "none";getObj("m"+i).className = "";}}if(getObj("con"+index)&?tObj("m"+index)){if(index==2&?tObj("ifrm"+index)){getObj("ifrm2").src='http://finance.sina.com.cn/promotion/20081119/001.shtml';}if(index==3&?tObj("ifrm"+index)){getObj("ifrm3").src='http://d.hao.360.cn/city/province_index.html';}if(index==4&?tObj("ifrm"+index)){getObj("ifrm4").src='http://d.hao.360.cn/listMyBookMark.php';}if(index==5&?tObj("ifrm"+index)){getObj("ifrm5").src='http://hao.360.cn/unclosedlist2.html';}getObj("con"+index).style.display ="block";getObj("m"+index).className = "at";}}
function getCookie(name){var arr; var reg=new RegExp("(^| )"+name+"=([^;]*)(;|$)");if(arr=document.cookie.match(reg)){return unescape(arr[2]);}else{return null;}}
function setCookie(name,value){var expire = arguments[2] ? arguments[2] : 365*24*60*60*1000;var exp = new Date();exp.setTime(exp.getTime() + expire);document.cookie = name + "="+ escape (value) + ";path=/;expires=" + exp.toGMTString();}
function setDisplay(i, d){getObj(i).style.display= d ? "block" : "none";}
/** search tab start **/
function getSearchTabCookieName(){return 'schtab';}
function setSearchTab(value){expire = 1000*3600*24*30;setCookie(getSearchTabCookieName(), value, expire);}
function getSearchTabByIndex(){var index = arguments[0] ? arguments[0] : 0;var schtab = getCookie(getSearchTabCookieName());if( ( schtab==null || schtab=='' ) ){if(arguments[1]){return arguments[1];}else{return 0;}}schtabs = schtab.split(',');return schtabs[index];}
/** search tab end **/
var indexUrl = getCookie("360WEBINDEXCK");
if(indexUrl != null){if(indexUrl != window.location && indexUrl.match(/^http:\/\/hao\.360\.cn\//i)){window.location.href = indexUrl;}}
function getPWCookieName() { return "360WEBPW";}
if(getCookie(getPWCookieName()) == 1){getObj("widthS").href="css/ws_y.css";}
function getRight(){if(getCookie(getPWCookieName()) == 1){getObj("setPageMenu").style.marginRight = screen.availWidth > 1020&&screen.availWidth < 1124? "136px" : "";getObj("set").style.right = screen.availWidth > 1020&&screen.availWidth < 1124? "136px" : "";}}

起始页搜索页网址导航设置 | 设为主页 | 收藏
选择邮箱@163.com网易@126.com网易@[e-mail]邮箱@sina.com
新浪@sina.cn 新浪@[e-mail]@[e-mail]@sohu.com搜狐@[e-mail]@[e-mail]@china.com 中华@139.com-其他服务-百度账号51帐号chinaren校友录校内网

<!--

hr0 ='<a href="http://koudai.360.cn/u/22629655/article_230993554.html?k=ac10" target="_blank">妻子生了个“也好”</a>';
hr1 ='<a href="http://koudai.360.cn/u/22629655/article_230993361.html?k=90fb" target="_blank">深夜遇到一赤身裸体的男子</a>';
hr2 ='<a href="http://koudai.360.cn/u/22629655/article_230993249.html?k=e6d2" target="_blank">学生的巧辩</a>';
hr3 ='<a href="http://koudai.360.cn/u/22629655/article_230993117.html?k=11e7" target="_blank">老大爷的银行密码</a>';
hr4 ='<a href="http://koudai.360.cn/u/22629655/article_230992900.html?k=f80d" target="_blank">上帝无所不在无所不知</a>';

function getunum(){
var now=new Date();
var number = now.getSeconds()%5;
document.write(eval('hr'+number));
}
getunum();
//-->

关闭页面设置

运程闹钟

网页|图片|音乐|视频|贴吧|知道

 

公安部公布赌球案进展 “裸体官员”(不能任正职) 捡钱归还反成被告 信春哥不挂科 专家建议准生二胎(少儿人口大降) 房补饭补缴税 更多>>
百度 谷歌 奇虎 购物

init();
highlightSearchTab();
showSehomeMode();

百 度
新浪--微博

搜狐--白社会

网易--邮箱
凤 凰 网
腾讯QQ--空间
校内-人人网

开 心 网
智联招聘

谷 歌
奇虎问答
360安全卫士
淘 宝 网
优酷视频
土 豆 网
迅雷看看
东方财富网
京东网上商城

新 华 网
人 民 网
CCTV
证券之星
彩票大赢家
中国新闻网
51个人空间
猫扑大杂烩
天涯社区
世纪佳缘交友

百合婚恋网

起点中文网

易 车 网
电脑之家
中国移动
工商银行
招商银行
搜 房 网

E家网购物
当当购物

凡客诚品服饰

58 同 城
摩尔庄园
中国供应商
安居客二手房

卓 越
网
东京时尚内衣

佳人女性网
No5化妆品网
百 姓 网
赶 集 网

多玩游戏网
360游戏中心
易购打折网
大众点评网
宝宝树育儿网

 

A
股
实时行情 大盘 荐股 提示

基金
净值排名 盘中净值 回报排行

消息
股市播报 股吧热贴 论坛精华

新闻
滚动新闻 媒体头条 新闻排行

环球
港股 美股 美股评论 外汇





彩票
每日开奖 统计列表 彩民论坛

福彩
双色球 3D 十一夺金 时时彩

体彩
大乐透 排列三 排列五 七星彩

足彩
胜负彩 进球彩 任九场 六场半

酷讯特价机票

酷讯特惠酒店

玛萨玛索男装

麦网时尚购物

麒迅打折机票

齐购手机商城

乐行精品鞋包

名牌特卖会

vancl男装商城

热门分类

彩票
查询
股票
女性
两性
音乐
视频
游戏
购物
电影
图片
更多

生活服务

天气
基金
银行
NBA
票务
充值
汽车
房产
手机
数码
健康
美食
亲子
旅游
宠物
电视
法律
招聘

娱乐休闲

新闻
小说
军事
体育
足球
娱乐
动漫
交友
社区
闪游
笑话
星座
美女
减肥

地方网站

北京
天津
上海
河南
湖北
湖南
广东
广西
海南
四川
贵州
云南
陕西
甘肃
宁夏
山东
江西
重庆
河北
山西
辽宁
吉林
黑龙江
更多

电脑网络

软件
电脑
博客
黑客
BT
聊天
硬件
搜索
编程
建站
杀毒
设计
动画
资源

文化教育

教育
科技
外语
考试
论文
校园
爱好
人文
公益
留学

其它类别

黄页
政府
地方
行业
国外
WAP
酷站

欧美冬季服装3折限量热卖 游戏-小说-音乐-视频-图片-闪游

更多>>
[游戏]
商业大亨
武林英雄
德州扑克
弹弹堂
三国风云
幸福厨房
更多>>
[小说]
起点中文网
新浪小说
小说阅读网
榕树下
幻剑书盟
看书小说网
更多>>
[音乐]
QQ163音乐
我爱音乐
一听音乐
谷歌音乐
搜刮音乐下载
爱听音乐
更多>>
[视频]
优酷网
土豆网
激动网
酷6网
六间房
56网
更多>>
[图片]
口袋酷图
美空美图
蜂鸟影像
大旗贴图
POCO摄影网
新华图片
更多>>
[闪游]
4399小游戏
17173小游戏
7k7k
JJ斗地主
新浪小游戏
地瓜小游戏

最新万人在线网游 新闻-体育-军事-房产-财经-招聘

更多>>
[新闻]
新浪新闻
搜狐新闻
新华网
联合早报
百度新闻
CCTV新闻
更多>>
[体育]
搜狐体育
网易体育
NBA中文网
ESPN中文网
新传NBA
新浪体育
更多>>

[军事]
中华网军事
新浪军事
环球网军事
西陆军事
新华网军事
铁血军事
更多>>

[房产]
搜房网
焦点房产
新浪房产
房价网
易居房产
安居客二手房

更多>>
[财经]
东方财富网
金融界
和讯财经
凤凰财经
和瑞财经
中金在线
更多>>

[招聘]
中华英才网
前程无忧
智联招聘
中国人才热线
职酷招聘
上海第一招聘

玩网游卡吗？看这里！购物-旅游-生活-亲子-宠物-女性

更多>>
[购物]
淘宝网
当当网
京东商城
E家购物网
名牌折扣网
广购网名品

更多>>

[旅游]
酷讯折扣机票
携程旅行网
艺龙旅行网
去哪儿酒店
芒果网
到到酒店网
更多>>

[生活]
赶集网
58同城
百姓网
大众点评网
爱帮网
701生活搜索

更多>>
[亲子]
妈妈说
红孩子
摇篮网
中国早教网
宝宝树
CCTV少儿点播
更多>>
[宠物]
新浪宠物
宠物中国
中国名犬网
爱狗网
宠物之家
海网宠物
更多>>
[女性]
yoka时尚网
瑞丽女性网
太平洋女性网
新浪女性
闺密女性网
网易女人

邮箱-银行-社区-博客-交友-两性

更多>>

[邮箱]
163邮箱
126邮箱
QQ邮箱
雅虎邮箱
新浪邮箱
Hotmail
更多>>
[银行]

工商银行
招商银行
农业银行
建设银行
中国银行
交通银行
更多>>
[社区]
百度贴吧
天涯社区
搜狐社区
猫扑大杂烩
139社区
开心网
更多>>
[博客]
QQ空间
网易博客
新浪博客
百度空间
搜狐博客
新浪微博

更多>>

[交友]
世纪佳缘
珍爱婚恋网
嫁我网
百合网
赛我网
爱情公寓
更多>>
[两性]
腾讯健康
女娲健康网
新浪两性学堂
搜狐两性
人民网两性
39健康网

玩游戏必备杀软汽车-手机-数码-软件-票务-酷站

更多>>
[汽车]
易车网
太平洋汽车
搜狐汽车
新浪汽车
汽车用品
汽车之家
更多>>

[手机]
新浪手机
手机世界
泡泡手机
太平洋手机
友人网
塞班手机论坛
更多>>
[数码]
泡泡网
电脑之家
太平洋电脑
中关村在线
IT168
天极网
更多>>
[软件]
天空软件
腾讯下载
华军软件
非凡软件
太平洋下载
新浪下载
更多>>
[票务]
票务通
携程机票
去哪儿机票
酷讯火车票
火车票网
中国票务网
更多>>
[酷站]
阿里巴巴
星岛新闻网
MSN中文网
金蝶友商网
汽车点评网
手机中国

Copyright ?360网址导航. All Rights Reserved.
| 申请收录网站 | 有奖挑错 | 意见反馈 | 广告销售京ICP备06060858号

当前时间：2009年09月14日
18时41分15秒

定时闹钟

提醒时间：
23 时
45 分

闹钟铃声：
爱如潮水春江花月夜二泉映月回家卡农梁祝浏阳河茉莉花南泥湾起床号千里之外上海滩水边的阿迪丽娜天仙配甜蜜蜜土耳其进行曲我只在乎你星语心愿致爱丽丝猪八戒背媳妇最浪漫的事试听

提示文字：


重复提醒：
不重复 每天提醒

隐藏

温馨提示：
·如关闭360网址导航首页，闹钟功能将失效。
·需要打开音响或佩戴耳机，以便听到提示铃声。

document.getElementById("rightBo").style.height=document.getElementById("left").offsetHeight-2+"px";

getObj('solarYear').innerHTML = '<a href="http://hao.360.cn/tools/wnl.htm">'+YYMMDD()+''+solarDay2()+'';getObj('chineseCalendar').innerHTML = ''+weekday()+'黄历';
setTimeout('$("#xxadboo").html("");' , 1000);
(function(){try{g_securityId = external.twGetSecurityID( window );g_strTwVersion = external.twGetVersion( g_securityId );PATH =external.twGetRunPath; is360SE=PATH.toLowerCase().indexOf('360se')>-1?true:flase; if(g_strTwVersion && is360SE){getObj('m5').style.display='';}}catch(e){}})();

var gaJsHost = (("https:" == document.location.protocol) ? "https://ssl." : "http://www.");document.write(unescape("%3Cscript src='" + gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));

try {var pageTracker = _gat._getTracker("UA-6143502-1");pageTracker._trackPageview();} catch(err) {}