`
hz_chenwenbiao
  • 浏览: 1007856 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Unicode,ISO-8859,GBK,UTF-8编码及相互转换(java)(转)

阅读更多

1、函数介绍在Java中,字符串用统一的Unicode编码,每个字符占用两个字节,与编码有关的两个主要函数为:

1)将字符串用指定的编码集合解析成字节数组,完成Unicode-〉charsetName转换
public byte[] getBytes(String charsetName) throws UnsupportedEncodingException 

2)将字节数组以指定的编码集合构造成字符串,完成charsetName-〉Unicode转换
public String(byte[] bytes, String charsetName) throws UnsupportedEncodingException

2、Unicode与各编码之间的直接转换下面以对中文字符串"a中文"的编码转换为例,来了解各种编码之间的转换

1)Unicode和GBK
测试结果如下,每个汉字转换为两个字节,且是可逆的,即通过字节可以转换回字符串
String-GBK〉ByteArray:\u0061\u4E2D\u6587(a中文)-〉0x61 0xD6 0xD0 0xCE 0xC4
ByteArray-GBK〉String:0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u4E2D\u6587(a中文)

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String gbk = new String(abcd.getBytes("gbk"),"gbk");
			System.out.println(gbk);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

2)Unicode和UTF-8
测试结果如下,每个汉字转换为三个字节,且是可逆的,即通过字节可以转换回字符串
String-UTF-8〉ByteArray:\u0061\u4E2D\u6587(a中文)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87
ByteArray-UTF-8〉String:0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉\u0061\u4E2D\u6587(a中文)

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String utf_8 = new String(abcd.getBytes("utf-8"),"utf-8");
			System.out.println(utf_8);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

3)Unicode和ISO-8859-1

测试结果如下,当存在汉字时转换失败,非可逆,即通过字节不能再转换回字符串
String-ISO-8859-1〉ByteArray:\u0061\u4E2D\u6587(a中文)-〉0x61 0x3F 0x3
FByteArray-ISO-8859-1〉String:0x61 0x3F 0x3F-〉\u0061\u003F\u003F(a??)

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			byte[] bt1 = abcd.getBytes("Unicode");//[-2, -1, 0, 97, 78, 45, 101, -121]
			byte[] bt2 = abcd.getBytes("iso-8859-1");//[97, 63, 63]
			String iso = new String(abcd.getBytes("iso-8859-1"),"iso-8859-1");//会将两个字节的unicode字符截取为一个字节的iso-8859-1字符,而为当截取后的字符不在iso字符集里面的字符时,就使用默认的63字符给它,即?,表示不可识别
			System.out.println(iso);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

3、Unicode与各编码之间的交叉转换在上面直接转换中,由字符串(Unicode)生成的字节数组,在构造回字符串时,使用的是正确的编码集合,如果使用的不是正确的编码集合会怎样呢?会正确构造吗?如果不能正确构造能有办法恢复吗?会信息丢失吗?

下面我们就来看看这种情况,这部分可以说明在某些情况下虽然我们最终正确显示了结果,但其间仍然进行了不正确的转换。

1)能够正确显示的中间不正确转换


我们知道String-GBK〉ByteArray-GBK〉String是正确的,但如果我们采用String-GBK〉ByteArray-ISO-8859-1〉String呢?通过测试结果如下:
String-GBK〉ByteArray-ISO-8859-1〉String:\u0061\u4E2D\u6587(a中文)-〉0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u00D6\u00D0\u00CE\u00C4(a????)

这时我们得到的字符串为?乱码“a????”,但是通过继续转换我们仍然可以复原回正确的字符串“a中文”,过程如下:

String-GBK〉ByteArray-ISO-8859-1〉String-ISO-8859-1〉ByteArray-GBK〉String

对应:\u0061\u4E2D\u6587(a中文)-〉0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u00D6\u00D0\u00CE\u00C4(a????)-〉0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u4E2D\u6587(a中文)

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String iso = new String(abcd.getBytes("gbk"),"iso-8859-1");//过渡乱码:aÖÐÎÄ
			String gbk = new String(iso.getBytes("iso-8859-1"),"gbk");
			//这里由unicode->gbk->iso-8859-1->gbk过程是一个错错却得正的过程,原因:由于用gbk解析unicode时,成了双字节,字节没丢失。再用iso-8859-1来解析这些字节数组,其实就是直接使用,然后看是否在字符集里,应该是gbk兼容iso-8859-1,所以它们的字符编码值是一样的,故不会用?替换,因此信息没有丢失。
			byte[] bt1 = abcd.getBytes("gbk");//[97, -42, -48, -50, -60]
			byte[] bt2 = iso.getBytes("iso-8859-1");//[97, -42, -48, -50, -60]
			System.out.println(gbk);//正常显示:a中文
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

也就是我们在首次构造字符串时,我们用了错误的编码集合得到了错误的乱码,但是我们通过错上加错,再用错误的编码集合获取字节数组,然后再用正确的编码集合构造,就又恢复了正确的字符串。这时就属于是“能够正确显示的中间不正确转换”。在Jsp页面提交数据处理时常常发生这种情况。

此外能够正确显示的中间不正确转换还有:
String-UTF-8〉ByteArray-ISO-8859-1〉String-ISO-8859-1〉ByteArray-UTF-8〉String

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String iso = new String(abcd.getBytes("utf-8"),"iso-8859-1");//过渡乱码:a中文
			String utf_8 = new String(iso.getBytes("iso-8859-1"),"utf-8");
			byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121]
			byte[] bt2 = iso.getBytes("iso-8859-1");//[97, -28, -72, -83, -26, -106, -121]
			System.out.println(utf_8);//正常显示:a中文
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

String-UTF-8〉ByteArray-GBK〉String-GBK〉ByteArray-UTF-8〉String
对应:\u0061\u4E2D\u6587(a中文)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉\u0061\u6D93\uE15F\u6783(a涓枃)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉\u0061\u4E2D\u6587(a中文)

//中文有偶数个时,错错恢复后还可以显示正确:
		try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String gbk = new String(abcd.getBytes("utf-8"),"gbk");//过渡乱码:a涓枃
			String utf_8 = new String(gbk.getBytes("gbk"),"utf-8");
			byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121]
			byte[] bt2 = gbk.getBytes("gbk");//[97, -28, -72, -83, -26, -106, -121]
			System.out.println(utf_8);//正常显示:a中文
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}
		
		//串的结尾中文有奇数个时,错错恢复后只有最后一个中文出现乱码,这个现象比较奇怪,后加一个汉字或字母就正常显示:
		try {
			String abcd = "a中文啊afdasf学会了";//或者使用abcd = "\u0061\u4E2D\u6587";
			String gbk = new String(abcd.getBytes("utf-8"),"gbk");//过渡乱码:a涓枃
			String utf_8 = new String(gbk.getBytes("gbk"),"utf-8");
			byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121, -27, -107, -118, 97, 102, 100, 97, 115, 102, -27, -83, -90, -28, -68, -102, -28, -70, -122]
			byte[] bt2 = gbk.getBytes("gbk");   //[97, -28, -72, -83, -26, -106, -121, -27, -107, -118, 97, 102, 100, 97, 115, 102, -27, -83, -90, -28, -68, -102, -28, -70, 63]
			System.out.println(utf_8);//最后一个汉字乱码:a中文啊afdasf学会�?
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 对比出现乱码的:

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String utf_8 = new String(abcd.getBytes("gbk"),"utf-8");//过渡乱码:a����
			String gbk = new String(utf_8.getBytes("utf-8"),"gbk");
			byte[] bt1 = abcd.getBytes("gbk");//[97, -42, -48, -50, -60]
			byte[] bt2 = utf_8.getBytes("utf-8");//[97, -17, -65, -67, -17, -65, -67, -17, -65, -67, -17, -65, -67]
			System.out.println(utf_8);//乱码:a锟斤拷锟斤拷
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

4、编码过程中错误诊断参考

1)一个汉字对应一个问号
在通过ISO-8859-1从字符串获取字节数组时,由于一个Unicode转换成一个byte,当遇到不认识的Unicode时,转换为0x3F,这样无论用哪种编码构造时都会产生一个?乱码。

2)一个汉字对应两个问号
在通过GBK从字符串获取字节数组时,由于一个Unicode转换成两个byte,如果此时用ISO-8859-1或用UTF-8构造字符串就会出现两个问号。若是通过ISO-8859-1构造可以再通过上面所说的错上加错恢复(即再通过从ISO-8859-1解析,用GBK构造);若是通过UTF-8构造则会产生Unicode字符"\uFFFD",不能恢复,若再通过String-UTF-8〉ByteArray-GBK〉String,则会出现杂码,如a锟斤拷锟斤拷

3)一个汉字对应三个问号
在通过UTF-8从字符串获取字节数组时,由于一个Unicode转换成三个byte,如果此时用ISO-8859-1构造字符串就会出现三个问号;用GBK构造字符串就会出现杂码,如a涓 枃

 

载自:http://blog.csdn.net/wuzejun1275/archive/2009/09/28/4610716.aspx

分享到:
评论

相关推荐

    JAVA字符编码:Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换

    ### JAVA字符编码详解:Unicode, ISO-8859-1, GBK, UTF-8 及其相互转换 #### 一、引言 在Java编程中,字符编码的管理和转换是一项基本而又重要的任务。不同的编码标准适用于不同的场景,而理解和掌握这些编码之间...

    关于JAVA字符编码:Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换

    ### 关于JAVA字符编码:Unicode, ISO-8859-1, GBK, UTF-8 编码及相互转换 在Java开发过程中,字符编码是处理文本数据的基础,不同的编码方式会影响数据的存储、传输以及显示。本文将详细介绍几种常见的字符编码...

    java 编码 UTF-8、ISO-8859-1、GBK

    UTF-8、ISO-8859-1 和 GBK 是三种常见的字符编码格式,每种都有其特定的应用场景和优缺点。 首先,UTF-8 是一种广泛使用的多字节编码,能够表示几乎所有的Unicode字符,包括中文。在Java中,UTF-8 支持国际化,是...

    GBK GB2312 UTF-8 ISO-8859-1区别

    字符编码标准之GBK、GB2312、UTF-8和ISO-8859-1的比较 字符编码标准是计算机领域中的一项基本技术,用于将文字或符号转换为计算机能够识别的二进制代码。常见的字符编码标准有GBK、GB2312、UTF-8和ISO-8859-1等,...

    乱码 编码方式解决 gbk ISO8859-1 utf8 编码

    3. **UTF-8编码**:UTF-8是一种可变长度的Unicode编码方式,支持世界上几乎所有语言的文字,包括中文。UTF-8的最大特点是兼容ASCII,且对于英文字符只需要一个字节,因此在网络传输中非常高效。 #### 二、乱码问题...

    各种字符集编码表,包括iso-8859-1,gbk,gb18030, unicode

    本文将深入探讨四种常见的字符集编码:ISO-8859-1、GBK、GB18030以及Unicode,并结合Java国际化的字符集转换进行详细说明。 1. ISO-8859-1:这是一种西欧字符编码,包含拉丁字母、数字、标点符号和一些特殊字符。它...

    java编码格式转换

    - 解决方法:先将UTF-8编码的字节流转换为Unicode,然后再从Unicode转换为GBK。 - 示例:`String s = "中文"; byte[] utf8s = s.getBytes("UTF-8"); String uni = new String(utf8s, "UTF-8"); byte[] gbks = uni....

    ISO-8859.docx

    如果我们要正确处理这些数据,需要将其转换为Java默认或者更通用的UTF-8编码。转换的代码如下所示: ```java public static String autoToUtf8(String str) { if (str == null) { return null; } String newStr...

    Java文件编码转换源码

    下面是一个简单的Java代码示例,演示如何将一个GB2312编码的文件转换为UTF-8编码: ```java import java.io.*; import java.nio.*; import java.nio.channels.*; import java.nio.charset.*; public class ...

    转换为GB2312.bat转换为UTF8.bat

    在这个场景中,批处理文件可能是为了帮助用户将使用GBK编码的文本文件转换为UTF-8编码,以便在更广泛的系统和平台上兼容。批处理脚本通常包含一系列命令行指令,可以自动化执行重复或复杂的任务,比如文件编码转换。...

    java字符串的各种编码转换

    根据提供的文件信息,本文将详细解释Java中字符串的不同编码转换方法及原理,并深入探讨每种编码格式的特点。 ### Java字符串的编码转换 在Java中,处理不同字符集之间的字符串转换是一项常见任务。尤其是在处理...

    java字符串编码转换

    例如,将一个GBK编码的字符串转换为UTF-8编码: ```java String oldStr = "你好世界"; byte[] gbBytes = oldStr.getBytes("GBK"); String newStr = new String(gbBytes, "UTF-8"); ``` 这里的 `getBytes` 方法用于...

    Java字符编码及获取文件编码

    3. 如果以上步骤都无法确定,可以尝试使用平台默认编码或常见编码(如GBK、ISO-8859-1)读取文件,看是否能正确解码。 在`FIleCode.java`这个文件中,可能包含了实现上述过程的Java代码。通过阅读和理解这段代码,...

    Java中的字符集编码入门(五)Java代码中的字符编码转换Part1.pdf

    这意味着,如果尝试读取一个UTF-8编码的文件,Reader会错误地使用GBK进行解码,导致数据丢失或乱码。 为了在Java中进行精确的编码控制,可以使用`InputStreamReader`和`OutputStreamWriter`,它们允许指定字符编码...

    java中各种编码转换.pdf

    在Java编程语言中,字符编码转换是一个常见的任务,特别是在处理多国语言...例如,将UTF-8编码的字符串错误地用GBK解码,会导致中文字符无法正确显示。因此,正确地识别和处理字符编码是确保数据正确传输和存储的关键。

    java编码转换介绍文档

    这是因为Java本身默认使用Unicode作为其内部字符编码,而操作系统或其他文件可能使用GBK、GB2312或UTF-8等不同的编码。通过转换编码,我们可以确保Java程序能够正确读取和处理这些文件。 2. 获取和使用`native2...

    java中文乱码解决之道(4)java编码转换过程Java

    例如,如果你的代码文件是UTF-8编码,但在IDE中设置成了GBK,那么在包含中文字符的字符串常量时就可能出现乱码。 2. **IDE设置**:确保你的集成开发环境(如Eclipse、IntelliJ IDEA)的编码设置与你的源文件编码...

    解决source insight3.5不支持中文utf8问题

    然而,对于中文支持的问题,Source Insight 3.5版本曾经存在一些困扰用户的局限性,尤其是当处理UTF-8编码的源代码时可能会出现乱码现象。本文将详细探讨这个问题及其解决方案。 首先,我们需要了解UTF-8编码。UTF-...

    java中文乱码解决问题

    JDBC 驱动程序,在 Java 程序和数据库之间传递数据都是以 ISO-8859-1 为默认编码格式,所以,我们在程序中向数据库存储包含中文的数据时,JDBC 驱动程序首先把程序内部的 Unicode 编码格式的数据转化为 ISO-8859-1 ...

    java字符集编码问题

    2. **转换为UTF-8编码** 使用`getBytes("UTF-8")`方法,可以获得“中文”的UTF-8编码,即字节数组“e4 b8 ad e6 96 87”。 3. **从GBK编码恢复原字符串** 如果我们有字节数组“d6 d0 ce c4”,并已知它是GBK...

Global site tag (gtag.js) - Google Analytics