htmlparser分析网页链接时的问题

转：http://gbfd2012.iteye.com/blog/685005

利用htmlparser在解析网页的url链接时，我们想提取指定标签下的链接。例如：div id=wrap下的链接，可以通过下面代码实现： 

 

Parser	parser = new Parser(url);
NodeFilter nodefilter1=new AndFilter(new TagNameFilter(nodename),new HasAttributeFilter(attr,attrvalue));
		try {
			org.htmlparser.util.NodeList nodeList=parser.extractAllNodesThatMatch(nodefilter1);
			nodefilter1=new NodeClassFilter(LinkTag.class);
			nodeList=nodeList.extractAllNodesThatMatch(nodefilter1,true);
			for(org.htmlparser.Node node:nodeList.toNodeArray()){
				if(node instanceof LinkTag){
				LinkTag links=(LinkTag)node;
//				if(links.extractLink().length()>textleaf.length()){
				
				uArrayList.add(links.extractLink());
//			}
				}
			}

 但是发现在有时解析出的url网址没有全部被解析(是不是htmlparser的BUG)。举例说明下： 

http://news.sina.com.cn/china/我们解析新浪新闻网下<div id="wrap">的链接，而用上述只能解析出http://news.sina.com.cn等四个网址，这是上述标签下的一个子标签的链接。而如果我们将网页中的Script,STYLE标签过滤掉之后，链接就都有了。。过滤Script、style等标签我是用的DOM树进行。 
    不知道有没有人知道上述问题的原因。