说一说Java的native2ascii中的encoding

     如果大家处理过多语言资源，那么对JDK这个自带的native2ascii肯定不会陌生，它能够帮我们把不同的编码转化成统一的unicode编码，来实现国际化。

    一般我们都这么用，假设我们有这么一个文件zh.txt,其内容只有这么一行：

    

    然后我们使用native2ascii来将其内容转成unicode编码：

 

    

 

    很简单，但是你考虑过zh.txt文件的编码了吗？如果这个zh.txt文件是别人提供给你的，可能里面是采用了别的编码，那么如果仅仅是通过简单的native2ascii zh.txt是不可以的。

 

    很庆幸，native2ascii这个工具本身提供了一个encoding选项，但是，这个encoding选项是代表什么意思呢？网上大多数人都认为，这个是指生成的目的文件的编码，如，

 

    

 

    则表示将zh.txt转成ISO 8859-1编码，真的是这样的吗？

 

    还有一些人认为，这个encoding选项所指的是，源文件即zh.txt的编码格式，这个解释有点贴近，但仍不让我满意，这个encoding选项指的应该是native2ascii工具读取源文件zh.txt所采用的编码方式，如对于上面的iso-8859-1的例子，则表示native2ascii工具将采用iso-8859-1编码格式来读取源文件zh.txt,并将其内容转化成unicode编码格式。这样有什么用呢？这个就像我前面说的，可能这个源文件zh.txt可能是别人在他自己的机器上编写并提供给你的，要知道linux上默认的编码格式是ISO 8859-1，而window上一般是GBK（对于中文系统），如果我们用GBK的编码格式来读取ISO 8859-1编码的内容，可想而知，会发生什么样的错误。

 

   这个也就是下面两个不同的native2ascii使用都有一样的输出的原因：

 

   

 

   这里没有指定encoding选项，则采用操作系统默认的编码格式来读取解析zh.txt文件（这里默认是GBK）

 

   

 

   这里明确指定了GBK encoding选项,可以看到跟上面的输出一致。

 

   最后再让我们以代码来验证下以上的说法：

   还是zh.txt文件，让我们以utf-8的编码来读取它，

 

   

 

   可以看到输出为\u04ac\ufffd\ufffd,

 

   如果我们是通过代码来以utf-8的编码来读取源文件再转成unicode，会不会结果也是\u04ac\ufffd\ufffd呢？

 

    

BufferedReader br = new BufferedReader(new InputStreamReader(
				new FileInputStream(new File(
						"C:\\Documents and Settings\\yeson\\zh.txt")), "utf-8"));
		String line = null;
		while ((line = br.readLine()) != null) {
			for (char c : line.toCharArray())
				System.out.println((byte) c);
		}

		System.out.println();//new line
		
		char[] utf8 = new char[] { '\u04ac', '\ufffd', '\ufffd' };
		for (char c : utf8)
			System.out.println((byte)c);

 

   输出：

   

 

   可以看到，实际上是一样，java中的char本身就是unicode.

 

 

   而如果-encoding和-reverse选项并存，则这里的encoding则表示将以什么样的编码格式写入文件，如：   

   

 

   这个表示将转换后的文件以utf8的编码格式写入文件utf8.txt.

 

 

 

评论

3 楼 gaoshuaidage 2011-07-07  

是不是因为我操作系统是英文的 然后它默认编码方式就是ISO-8859-1，但实际运行中所采用的编码方式是 GBK？

2 楼 gaoshuaidage 2011-07-07  

终于找到一个靠近的了

我想问一个问题

D:\>native2ascii  test.txt
\u00d2\u00ac\u00d7\u00d3

D:\>native2ascii -encoding iso8859-1  test.txt
\u00d2\u00ac\u00d7\u00d3

这是我运行的结果，是不是说明操作系统默认的编码格式是ISO-8859-1呢

可是ISO-8859-1 不支持中文的，但我的xp系统能显示中文，这是什么原因呢？

不甚赐教。

1 楼 hunnuxiaobo 2011-05-05  

顶一个，这个分析很让我满意！网上很多都是误人子弟啊！