import java.lang.reflect.InvocationTargetException;
import java.lang.reflect.Method;
import java.net.HttpURLConnection;
import java.net.URL;
import org.htmlparser.Node;
import org.htmlparser.PrototypicalNodeFactory;
import org.htmlparser.Tag;
import org.htmlparser.lexer.Lexer;
import org.htmlparser.lexer.Page;
import org.htmlparser.nodes.TagNode;
import org.htmlparser.nodes.TextNode;
import org.htmlparser.tags.ScriptTag;
import org.htmlparser.tags.StyleTag;
import org.htmlparser.util.ParserException;
import com.lietu.tag.CnTagMaker.WordWeight;
public class TagExt {
private static StringBuffer body ;
private static String title ;
public static void main(String[] args) throws Exception {
String path;
if (0 >= args. length ) {
path =
/** 以下是测试地址 **/
// "http://www.ibm.com/developerworks/cn/webservices/0901_haoxf_humantask/";
// "http://developers.sun.com.cn/Java/xref_index.html";
"http://mil.news.sina.com.cn/2009-01-09/0839538126.html" ;
// "http://www.sina.com.cn/";
// "http://www.ibm.com/";
// "http://hao861002.iteye.com/blog/301581";
} else {
path = args[0];
}
/**
* 构造 URL ，并打开网络链接。
*/
URL url = new URL(path);
HttpURLConnection httpUrl = (HttpURLConnection) url.openConnection();
/** 对该网页进行解析 **/
parseHTML (httpUrl);
/** 打印解析后的内容 **/
System. out .println( "body=" + body );
}
/**
* 解析网页内容
* @param uc 传入一个 HttpURLConnection 链接对象
* @throws ParserException
*/
public static void parseHTML(HttpURLConnection uc) throws ParserException {
/** 声明节点 **/
Node node;
String stringText;
body = new StringBuffer();
/** 从 head 头获取网页编码格式。该方式取决于服务器是否设置 charSet 值，如果没有，该方式将无法获取 charSet 值 **/
String contentType = uc.getContentType();
String charSet = getCharset (contentType);
Lexer lexer = null ;
if (charSet == null ) {
charSet = "UTF-8" ;
}
try {
lexer = new Lexer( new Page(uc.getInputStream(), charSet));
} catch (Exception e) {
e.printStackTrace();
return ;
}
/** 对网页内容进行解析 **/
lexer.setNodeFactory( new PrototypicalNodeFactory());
/** 设置开关，决定网页是否重新解析 **/
boolean tryAgain = false ;
while ( null != (node = lexer.nextNode())) {
/** 以下是判断节点的类型，并作相应的处理 **/
if (node instanceof ScriptTag) {
while ( null != (node = lexer.nextNode())) {
if (node instanceof Tag) {
Tag tag = (Tag) node;
if (tag.isEndTag() && "SCRIPT" .equals(tag.getTagName())) {
break ;
}
}
}
if ( null == node)
break ;
} else if (node instanceof StyleTag) {
while ( null != (node = lexer.nextNode())) {
if (node instanceof Tag) {
Tag tag = (Tag) node;
if (tag.isEndTag())
break ;
}
}
if ( null == node)
break ;
} else if (node instanceof TextNode) {
stringText = node.toPlainTextString();
if ( "" .equals( title ))
continue
else if (node instanceof TextNode) {
stringText = node.toPlainTextString();
if ( "" .equals( title ))
continue ;
stringText = stringText.replaceAll( "[ \t\n\f\r ]+" , " " );
stringText = TextHtml.html2text (stringText.trim());
if (! "" .equals(stringText)) {
body .append(stringText);
body .append( " " );
}
} else if (node instanceof TagNode) {
TagNode tagNode = (TagNode) node;
String name = ((TagNode) node).getTagName();
if (name.equals( "TITLE" ) && !tagNode.isEndTag()) {
node = lexer.nextNode();
stringText = node.toPlainTextString().trim();
if (! "" .equals(stringText)) {
title = stringText;
}
} else if (name.equals( "META" )) {
String contentCharSet = tagNode.getAttribute( "CONTENT" );
// System.out.println("contentCharset="+contentCharSet);
int b = contentCharSet.toLowerCase().indexOf( "charset" );
if (b > -1) {
String newCharSet = getCharset (contentCharSet);
// System.out.println("newCharSet=" + newCharSet);
if (!charSet.equals(newCharSet)) {
tryAgain = true ;
charSet = newCharSet;
// System.out.println("charSet=" + charSet);
// System.out.println("newCharSet=" + newCharSet);
break ;
}
}
}
}
}
/** 如果在 Meta 信息中检测到新的字符编码，则需要按照 meta 信息中的编码再次解析网页。 **/
if (tryAgain) {
body = new StringBuffer();
try {
uc = (HttpURLConnection) uc.getURL().openConnection();
lexer = new Lexer( new Page(uc.getInputStream(), charSet));
} catch (Exception e) {
e.printStackTrace();
}
lexer.setNodeFactory( new PrototypicalNodeFactory());
while ( null != (node = lexer.nextNode())) {
if (node instanceof TextNode) {
stringText = node.toPlainTextString();
if ( "" .equals( title ))
continue ;
stringText = stringText.replaceAll( "[ \t\n\f\r ]+" , " " );
stringText = TextHtml.html2text (stringText.trim());
if (! "" .equals(stringText)) {
body .append(stringText);
body .append( " " );
}
}
}
}
}
/**
* 找出最终的网页编码
* @param name 经过 getCharset 方法处理后 meta 标签的值
* @param _default 默认的编码集
* @return
*/
public static String findCharset(String name, String _default) {
String ret;
try {
Class<java.nio.charset.Charset> cls;
Method method;
Object object;
cls = java.nio.charset.Charset. class ;
method = cls.getMethod( "forName" , new Class[] { String. class });
object = method.invoke( null , new Object[] { name });
method = cls.getMethod( "name" , new Class[] {});
object = method.invoke(object, new Object[] {});
ret = (String) object;
} catch (NoSuchMethodException nsme) {
ret = name;
} catch (IllegalAccessException ia) {
ret = name;
} catch (InvocationTargetException ita) {
ret = _default;
System. out
.println( "unable to determine cannonical charset name for "
+ name + " - using " + _default);
}
return (ret);
}
/**
* 处理 meta 中的内容，并调用 findCharset() 方法获取编码值
* @param content Meta 中的内容
* @return
*/
public static String getCharset(String content) {
final String CHARSET_STRING = "charset" ;
int index;
String ret;
ret = null ;
if ( null != content) {
index = content.indexOf(CHARSET_STRING);
if (index != -1) {
content = content.substring(index + CHARSET_STRING.length())
.trim();
if (content.startsWith( "=" )) {
content = content.substring(1).trim();
index = content.indexOf( ";" );
if (index != -1)
content = content.substring(0, index);
if (content.startsWith( "\"" ) && content.endsWith( "\"" )
&& (1 < content.length()))
content = content.substring(1, content.length() - 1);
if (content.startsWith( "'" ) && content.endsWith( "'" )
&& (1 < content.length()))
content = content.substring(1, content.length() - 1);
ret = findCharset (content, ret);
}
}
}
return (ret);
}
}
说明：
该类使用 Boolean 型 tryAgain 来判断是否进行第二次解析！
如果通过 String contentType = uc.getContentType() 来获得 http 协议中 Head 头中 contentType 中的值，并使用 String charSet = getCharset(contentType); 从 contentType 中获取 charSet 值。如果此时 charSet 获取的为空，则先用 charSet=UTF-8 （即：默认情况下， charSet 值为 UTF-8 ）进行解析。使用 org.htmlparser.tags 包中的类对比节点 node ，并对合适的节点的内容进行处理，本例中是对类型为 TextNode 的 node 节点，获取其中的内容，并将其添加到类型为 StringBuffer 的 body 当中。当解析到 <meta> 标签的时候，会试图从 <meta> 中获取 newCharSet 值，并将 newCharSet 和 charSet 进行比较，如果相同，则不再进行解析，主函数将 body 打印。如果不同，说明默认的的 charSet 值并不是网页的编码格式，刚才的解析可能不正确，会出现乱码。这时候，将 newCharSet 中的值赋给 charSet ，并将 tryAgain 值设为 true 。当程序进行到 if(tryAgain){ …… } 判断时，结果为真，则根据新得到的 charSet 值进行二次解析。这时候，我们就会得到正确的解析结果
分享到：
相关推荐
SAX（Simple API for XML）是一种轻量级的解析方式，适用于处理大型HTML文档。SAX解析器以流式方式处理文档，只在需要时读取和处理部分数据，降低了内存占用。HTMLParser也提供了SAX解析器接口，适合处理大体积的...
通过使用HtmlParser，我们可以高效地从网页中提取有用的信息，并对其进行清洗和存储。这对于自动化处理大量网页数据、实现信息检索和数据分析等方面都具有重要的意义。未来还可以进一步探索如何利用这些提取的信息来...
Java作为一种广泛应用的编程语言，提供了多种库来实现网页抓取。本篇将重点讲解如何利用HTMLParser库在Java中抓取网页数据。 HTMLParser是Java的一个开源库，专门用于解析HTML文档，提取其中的数据。它的设计目标是...
HtmlParser通过解析HTML标签、属性和文本，提供了一种方法来有序地访问和操作网页内容。这通常涉及到DOM（Document Object Model）模型的构建，使得开发者可以像遍历树一样遍历HTML文档。 网页抓取是HtmlParser的另...
实际应用中，HTMLParser常与网络请求库（如Apache HttpClient或OkHttp）结合使用，以获取远程网页内容，再进行后续的解析操作。同时，为了提高代码的可维护性和复用性，建议封装自己的数据抓取和处理模块。
Java使用HtmlParser实现简单的网络爬虫是一种常见的技术实践，它涉及到网络编程、HTML解析和数据提取等核心概念。本文将详细讲解如何运用Java语言结合HtmlParser库来构建一个基础的网络爬虫，以便从网页中获取所需...
3. 网页抓取和分析方法的实现：文章中提出的基于HttpClient与HTMLParser的网页抓取解析方法，结合了两者的优点，实现了快速且有效的网页内容抓取和正文提取。该方法能够针对特定的网页内容进行深入分析，并能够应对...
总结来说，htmlparser库为Java开发者提供了一种强大且灵活的方式来解析和处理HTML文档。通过使用它，你可以高效地抓取网页数据，进行内容分析，甚至修改HTML结构。对于需要从网页中提取信息的项目，htmlparser是一个...
HTMLParser是一种专门用于解析HTML文档的工具，它可以帮助开发者从网页中抽取特定的数据或信息。HTMLParser具有以下特点： - **过滤器**：允许用户定义规则来过滤掉不相关的HTML元素。 - **访问者模式**：支持通过...
HTML（HyperText Markup Language）是用于创建网页的标准标记语言...总之，`htmlparser.jar`是一个强大且灵活的HTML解析工具，它提供了一种高效的方法来处理和分析HTML文档，为Java开发者在处理HTML任务时提供了便利。
`HtmlParser`库为开发者提供了一种简便的方式来解析HTML文档，并从中提取所需的信息。本文将通过一个具体的例子来详细介绍如何在Java中使用`HtmlParser`库进行HTML文档的解析。 #### 示例背景 假设我们正在开发一...
总之，C#结合正则表达式和HTMLParser为我们提供了一种强大的手段，可以从网页中提取所需信息。尽管这个实例中代码的可读性可能不高，但通过学习正则表达式和HTML解析库的基本用法，我们可以自己构建类似的解决方案，...
HTMLParser是一种强大的工具，用于解析HTML文档并从中提取有用的信息。它适用于多种场景，包括但不限于网页爬虫、数据分析等。本文将详细介绍如何使用HTMLParser从网页上抓取数据，并通过一个具体的Java代码示例来...
Winista.Htmlparser.Net是一个基于C#的开源HTML解析库，它为开发者提供了一种高效且灵活的方式来处理HTML文档，尤其在需要从HTML中提取数据或者进行网页抓取时显得尤为重要。本文将深入探讨该库的核心功能、设计原理...
它提供了线性和嵌套两种解析模式，便于进行网页转换和内容抽取。HtmlParser的特点包括过滤器、访问者模式、处理自定义标签以及使用JavaBeans的便利性。这个库被设计得既快速又健壮，适用于处理互联网上的实际网页。...
总的来说，C#的HTMLParser为开发者提供了一种高效且灵活的方式来处理HTML文档，无论是在简单的数据提取还是复杂的网页分析中，都能发挥重要作用。理解并熟练掌握HTMLParser的使用，无疑会提升我们的开发效率和代码...
HTMLParser是一个开源的Java库，专门设计用来解析HTML文档，它允许开发者以编程方式处理HTML元素，提供了一种强大的方式来操纵和操作HTML内容。 HTMLParser的核心功能包括： 1. **解析HTML文档**：HTMLParser能够...
HtmlParser提供了两种主要的解析器模式：`SAX-like`（类似SAX的）和`DOM-like`（类似DOM的）。SAX-like模式逐个事件处理，适合处理大型文档，内存占用低；DOM-like模式则将整个HTML结构加载到内存中，便于遍历和...