import java.lang.reflect.InvocationTargetException;
import java.lang.reflect.Method;
import java.net.HttpURLConnection;
import java.net.URL;
import org.htmlparser.Node;
import org.htmlparser.PrototypicalNodeFactory;
import org.htmlparser.Tag;
import org.htmlparser.lexer.Lexer;
import org.htmlparser.lexer.Page;
import org.htmlparser.nodes.TagNode;
import org.htmlparser.nodes.TextNode;
import org.htmlparser.tags.ScriptTag;
import org.htmlparser.tags.StyleTag;
import org.htmlparser.util.ParserException;
import com.lietu.tag.CnTagMaker.WordWeight;
public class TagExt {
private static StringBuffer body;
private static String title;
public static void main(String[] args) throws Exception {
String path;
if (0 >= args.length) {
path =
/** 以下是测试地址 * */
// "http://www.ibm.com/developerworks/cn/webservices/0901_haoxf_humantask/";
// "http://developers.sun.com.cn/Java/xref_index.html";
"http://mil.news.sina.com.cn/2009-01-09/0839538126.html";
// "http://www.sina.com.cn/";
// "http://www.ibm.com/";
// "http://hao861002.iteye.com/blog/301581";
} else {
path = args[0];
}
/**
*
* 构造 URL ，并打开网络链接。
*
*/
URL url = new URL(path);
HttpURLConnection httpUrl = (HttpURLConnection) url.openConnection();
/** 对该网页进行解析 * */
parseHTML(httpUrl);
/** 打印解析后的内容 * */
System.out.println("body=" + body);
}
/**
*
* 解析网页内容
*
* @param uc
* 传入一个 HttpURLConnection 链接对象
*
* @throws ParserException
*
*/
public static void parseHTML(HttpURLConnection uc) throws ParserException {
/** 声明节点 * */
Node node;
String stringText;
body = new StringBuffer();
/***********************************************************************
* 从 head 头获取网页编码格式。该方式取决于服务器是否设置 charSet 值，如果没有，该
*
* 方式将无法获取 charSet 值
**********************************************************************/
String contentType = uc.getContentType();
String charSet = getCharset (contentType);
Lexer lexer = null ;
if (charSet == null ) {
charSet = "UTF-8" ;
}
try {
lexer = new Lexer( new Page(uc.getInputStream(), charSet));
} catch (Exception e) {
e.printStackTrace();
return ;
}
/** 对网页内容进行解析 * */
lexer.setNodeFactory( new PrototypicalNodeFactory());
/** 设置开关，决定网页是否重新解析 * */
boolean tryAgain = false ;
while ( null != (node = lexer.nextNode())) {
/** 以下是判断节点的类型，并作相应的处理 * */
if (node instanceof ScriptTag) {
while ( null != (node = lexer.nextNode())) {
if (node instanceof Tag) {
Tag tag = (Tag) node;
if (tag.isEndTag() && "SCRIPT" .equals(tag.getTagName())) {
break ;
}
}
}
if ( null == node)
break ;
} else if (node instanceof StyleTag) {
while ( null != (node = lexer.nextNode())) {
if (node instanceof Tag) {
Tag tag = (Tag) node;
if (tag.isEndTag())
break ;
}
}
if ( null == node)
break ;
} else if (node instanceof TextNode) {
stringText = node.toPlainTextString();
if ( "" .equals( title ))
continue
else if (node instanceof TextNode) {
stringText = node.toPlainTextString();
if ( "" .equals( title ))
continue ;
stringText = stringText.replaceAll( "[ \t\n\f\r ]+" , " " );
stringText = TextHtml.html2text (stringText.trim());
if (! "" .equals(stringText)) {
body .append(stringText);
body .append( " " );
}
} else if (node instanceof TagNode) {
TagNode tagNode = (TagNode) node;
String name = ((TagNode) node).getTagName();
if (name.equals( "TITLE" ) && !tagNode.isEndTag()) {
node = lexer.nextNode();
stringText = node.toPlainTextString().trim();
if (! "" .equals(stringText)) {
title = stringText;
}
} else if (name.equals( "META" )) {
String contentCharSet = tagNode.getAttribute( "CONTENT" );
// System.out.println("contentCharset="+contentCharSet);
int b = contentCharSet.toLowerCase().indexOf( "charset" );
if (b > -1) {
String newCharSet = getCharset (contentCharSet);
// System.out.println("newCharSet=" + newCharSet);
if (!charSet.equals(newCharSet)) {
tryAgain = true ;
charSet = newCharSet;
// System.out.println("charSet=" + charSet);
// System.out.println("newCharSet=" + newCharSet);
break ;
}
}
}
}
}
/***********************************************************************
* 如果在 Meta 信息中检测到新的字符编码，则需要按照 meta 信息中的编码再次解析网页 。
**********************************************************************/
if (tryAgain) {
body = new StringBuffer();
try {
uc = (HttpURLConnection) uc.getURL().openConnection();
lexer = new Lexer( new Page(uc.getInputStream(), charSet));
} catch (Exception e) {
e.printStackTrace();
}
lexer.setNodeFactory( new PrototypicalNodeFactory());
while ( null != (node = lexer.nextNode())) {
if (node instanceof TextNode) {
stringText = node.toPlainTextString();
if ( "" .equals( title ))
continue ;
stringText = stringText.replaceAll( "[ \t\n\f\r ]+" , " " );
stringText = TextHtml.html2text (stringText.trim());
if (! "" .equals(stringText)) {
body .append(stringText);
body .append( " " );
}
}
}
}
}
/**
*
* 找出最终的网页编码
*
* @param name
* 经过 getCharset 方法处理后 meta 标签的值
*
* @param _default
* 默认的编码集
*
* @return
*
*/
public static String findCharset(String name, String _default) {
String ret;
try {
Class<java.nio.charset.Charset> cls;
Method method;
Object object;
cls = java.nio.charset.Charset.class;
method = cls.getMethod("forName", new Class[] { String.class });
object = method.invoke(null, new Object[] { name });
method = cls.getMethod("name", new Class[] {});
object = method.invoke(object, new Object[] {});
ret = (String) object;
} catch (NoSuchMethodException nsme) {
ret = name;
} catch (IllegalAccessException ia) {
ret = name;
} catch (InvocationTargetException ita) {
ret = _default;
System.out
.println("unable to determine cannonical charset name for "
+ name + " - using " + _default);
}
return (ret);
}
/**
*
* 处理 meta 中的内容，并调用 findCharset() 方法获取编码值
*
* @param content
* Meta 中的内容
*
* @return
*
*/
public static String getCharset(String content) {
final String CHARSET_STRING = "charset";
int index;
String ret;
ret = null;
if (null != content) {
index = content.indexOf(CHARSET_STRING);
if (index != -1) {
content = content.substring(index + CHARSET_STRING.length())
.trim();
if (content.startsWith("=")) {
content = content.substring(1).trim();
index = content.indexOf(";");
if (index != -1)
content = content.substring(0, index);
if (content.startsWith("\"") && content.endsWith("\"")
&& (1 < content.length()))
content = content.substring(1, content.length() - 1);
if (content.startsWith("'") && content.endsWith("'")
&& (1 < content.length()))
content = content.substring(1, content.length() - 1);
ret = findCharset(content, ret);
}
}
}
return (ret);
}
}
说明：
该类使用 Boolean 型 tryAgain 来判断是否进行第二次解析！
如果通过 String contentType = uc.getContentType() 来获得 http 协议中 Head 头中contentType 中的值，并使用 String charSet = getCharset(contentType); 从 contentType 中获取charSet 值。如果此时 charSet 获取的为空，则先用 charSet=UTF-8 （即：默认情况下， charSet 值为 UTF-8 ）进行解析。使用 org.htmlparser.tags 包中的类对比节点 node ，并对合适的节点的内容进行处理，本例中是对类型为 TextNode 的 node 节点，获取其中的内容，并将其添加到类型为StringBuffer 的 body 当中。当解析到 <meta> 标签的时候，会试图从 <meta> 中获取 newCharSet 值，并将 newCharSet 和 charSet 进行比较，如果相同，则不再进行解析，主函数将 body 打印。如果不同，说明默认的的 charSet 值并不是网页的编码格式，刚才的解析可能不正确，会出现乱码。这时候，将 newCharSet 中的值赋给 charSet ，并将 tryAgain 值设为 true 。当程序进行到 if(tryAgain){ …… } 判断时，结果为真，则根据新得到的 charSet 值进行二次解析。这时候，我们就会得到正确的解析结果。
分享到：
相关推荐
`HtmlParser`通常提供一种方法来解析HTML源代码，将其转换为DOM（Document Object Model）树形结构，用户可以通过这个结构轻松地遍历和提取所需的信息。然而，当HTML文档编码与预期的编码不一致时，就可能出现乱码...
HTTP（超文本传输协议）是互联网上应用最为广泛的一种网络协议。在Python中，我们可以使用requests库来发送HTTP请求并下载文件。当找到歌曲链接后，可以通过构造GET请求，设置URL为歌曲的链接，然后调用response对象...
使用HTMLParser或其他解析库时，需要正确识别和设置编码，以避免乱码问题。 4. **HTMLParser库**：HTMLParser是一个Java库，用于解析HTML文档并提取有用的信息。它可以解析HTML标记、属性、文本等，对于提取网页...
Python 的 `SGMLParser` 模块提供了一种结构化的方式来解析 HTML，它将 HTML 分解成不同的组成部分，然后调用相应的方法处理这些部分。HTML 的结构决定了方法的调用顺序和传递给方法的参数。`SGMLParser` 将 HTML ...
HTTPParser是一款用于解析HTTP协议的Java库，它在处理HTTP请求和响应时提供了一种高效且灵活的方法。这个包主要用于解析HTTP头、消息体以及其他的HTTP相关数据，为开发者提供了低级别的访问，允许他们深入理解并操作...
在IT领域，爬虫是一种广泛使用的工具，用于自动地抓取网络上的信息。在这个主题中，我们将深入探讨如何使用MATLAB构建爬虫来获取网页信息。MATLAB虽然以数值计算和科学计算见长，但通过扩展功能，也可以实现网页数据...
总的来说，iTextPDF和XMLWorker提供了一种有效的方法来将网页内容转化为PDF格式，这在很多场景下都非常实用。这两个库的结合使用，使得开发人员能够在Java环境中方便地处理PDF文档，满足各种业务需求。不过，需要...
- 解决方法是先尝试以当前网页实际使用的编码方式解码，然后再转为统一的编码格式（如UTF-8），以避免乱码问题。 ##### 3. HTML解析技巧 - 使用`HTMLParser`类解析HTML文档时可能会遇到一些特殊字符导致解析失败的...
Python是一种强大的编程语言，其丰富的第三方库极大地拓展了它的功能。以下是一些在Python中常用的库及其用途： 1. Chardet：这是一个字符编码探测器，能够自动识别文本、网页或XML文件的编码，确保正确读取和处理...
Python爬虫技术是一种用于自动化网络数据抓取的工具，它可以帮助我们从网页中提取大量有用的信息，例如在本例中，我们将使用Python爬取豆瓣电影的相关数据。这个实例主要涉及了以下几个关键知识点： 1. **HTTP请求...
- **简介**：提供了一种快速计算字符串相似度的方法。 - **应用场景**：拼写检查、语音识别等领域。 #### fuzzywuzzy - **简介**：实现字符串间的模糊匹配。 - **应用场景**：搜索系统中的近似匹配查找，如用户输入...
1.4使用方法与步骤 开发环境：需要 使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。 1.创建HttpClient对象。 HttpClient client = new HttpClient(); 2.创建请求方法的实例，并指定请求URL。如果...