[Android]分析 Sax解析Rss xml文件时,遇到的not well-formed错误

由于sax是触发式的解析xml流, 在手持设备的系统中,应用相当广泛. 在android的应用开发中,自然也偏向于选择sax来解析xml了.
在做一份rss应用中,需要解析baidu.com的rss文件时遇到了not well-formed的错误. 查询了相关资料以及不断debug and log之后, 终于确定了是文件编码遇到了问题.
在此说下我的一些理解, 如有错误请留言指出
首先国内资讯内容提供商使用的rss编码各不相同 网易使用gb2312， 新浪utf-8, 百度GBK 等等.
1． 当URL请求rss.xml后, 通过openStream将返回一个InputStream的字节流对象, 字节流本身是不带编码信息的.
(ps. 为什么说字节流前3个字节,保存的是编码信息? 我通过测试byte[3]的数组,比对UTF8字节数组(-17，-69，-65) 无论是否是UTF8编码均不能匹配上)
2． 得到字节流后,通常是可以直接使用InputStream对象去生成一个InputSource对象,来给saxParser或者是XmlReader进行解析的. 默认的情况下, parser解析的InputSource对象是按照utf8编码方式的, 所以,在不做任何处理时, utf8编码的xml文件解析是正常的.
3． 当遇到Gbk,或者gb2312编码时,解析ANSI字符是没有问题的,解析到中文时,parser是按照默认的UTF8编码进行解析的, UTF8是每个字符分配3字节, gb2312是分配两字节,必然会造成错误.这时也就报出了not well-formed error.
当时注意到inputSource有个setEncoding的方法,是告诉sarpar使用何种编码去解析这个inputStream, 你可以设置使用GBK去解析这个stream, 但是资源文件的编码都是utf8，而你使用GBK去解析明显是不符合的.
4． SetEncoding是不会将编码进行转换的,仅仅是告诉sarpar如何去解析, 那么遇到xml encoding是gbk gb2312的情况下, 可以使用inputStreamReader的方式,
inputStreamReader(inputStream, charsetName)来指定编码生成字符流.这里显然发生了编码转换.
然后传递这个字符流对象到InputSource对象,这个对象在接受字符流时,是不能setEncoding的, 原因也很简单,字符流是带编码信息的,仍然不放心可以再次setEncoding,(不过是无效的)
5． 这样最后只要通过判别文件的编码方式,然后告诉sarpar如何去解析,程序就可以正常执行了.
识别字节流的编码方式可以google查询到很多方法,常用的是通过mozilla提供的一个开源工具来识别的. 目前最新为: cpdetector_1.0.8 可以在SourceForge下载到.
关键代码:

View Code JAVA1

XMLContentHandler handler = new XMLContentHandler();
XMLReader reader = null;
InputSource is = null;
try{  
URL url = new URL(w163); 
SAXParserFactory parserFactory = SAXParserFactory.newInstance();
SAXParser saxParser = parserFactory.newSAXParser();
if(!isUTF8(url)){
InputStream stream = url.openStream();
InputStreamReader streamReader = new InputStreamReader(stream,"GBK");
is = new InputSource(streamReader);
}else{
is = new InputSource(url.openStream());
is.setEncoding("UTF-8");
}
reader = saxParser.getXMLReader();
reader.setContentHandler(handler);
}catch(Exception e){
Log.e(TAG, "Exception updateRss()");
}
try {
reader.parse(is);
} catch (IOException e) {
e.printStackTrace();
} catch (SAXException e) {
Log.e(TAG, e.getMessage());
        }


其中isUTF8是通过mozilla的jar包来实现的,具体可以参考cpdetector使用方法的相关文章.



原文地址 http://www.lshine.com/index.php/2010/08/sax_not_well-formed/ 

评论

2 楼 zhangjiajun1988 2011-04-02  

楼主，请教一下如何来判断编码，，还有就是如何URL转换为FILE ...

1 楼 lovext 2010-11-25  

不同网站提供的RSS，还有可能会有其他的不同，比如sina的description是CDATA,用sax的话就有可能只显示一行