[转]UTF-8到GBK转码的特殊字符问题（乱码原因）

Unicode字符集现在有超过10万个字符，其BMP部分也有六万多个字符；而GBK字符集只有两万以前多个字符。这样的话，从支持 unicode字符集或者unicode字符集BMP的编码方式，转化到GBK编码的时候，就会有编码落到GBK字符集以外，不能转化成GBK编码。在 java中，转换之后的字符串，这部分字符都变成了’?’。通常这些都是非常生僻的字符，倒是可以不考虑；但是有一个特殊的unicode字符，不在GBK字符集中。却频繁用于xml/html等格式的文件中。这个字符unicode序号为0xA0，utf-8编码结果为C2A0，作用是一个排版空格——普通的ascii空格在xml/html中是被忽略的。大量UTF-编码的网页使用这个字符用作占位的空格。而且似乎浏览器对它的处理方式也不同：IE8浏览器会认得这个空格，firefox3.6简单的把它替换成 。当把一个utf-8编码的网页转成gbk编码时，这个字符就变成讨厌的问号了。

处理方法，就是在字符串以GBK编码写出之前，把这个字符替换掉：

str = str.replace('/u00A0', ' ');

彻底而保险的方法是过滤所有GBK不能表示的字符:

str = str.replaceAll("[^/u4E00-/u9FA5/u3000-/u303F/uFF00-/uFFEF/u0000-/u007F/u201c-/u201d]", " ");