常用ASCII/ISO-8859-1/GB2312/GBK/UTF-8等字符编码梳理

zl378837964

浏览: 189418 次
性别:
来自: 北京

最近访客更多访客>>

wwj_415259272

萧仁武

hyc1991

另一花生

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

java
杂谈
web

java 编码字符集字节

在计算机中所有的数据在存储和计算时都以二进制形式存在。我们平时使用的 a, b, c等字符，也要转换成二进制方式进行存储。具体哪个二进制数字表示哪个字符，是按照约定形成的一套映射标准，这就是编码。

如果没有统一的标准，每个人都按照自己的方式进行字节和字符的映射，那就乱了。因此，1967年 ASCII 码诞生：适用于所有拉丁文字字母、阿拉伯数字、部分符号。然而 ASCII 也不是万能的，首要问题就是它只能表达 128 个字符，且仅适用于英语环境（其扩展能胜任部分西欧语言）。比如中文汉字有近十万个（91251），ASCII 码完全不能适用。

计算机中存储信息的最小单位是字节（byte），即 8 个 bit，能够表示的字符范围是 2^8 = 256 个。而人类社会语言众多符号众多，一个字节根本不足以表示所有符号，所以需要多个字节。个人总结，这种用若干个字节，根据一定的标准映射关系，完成从二进制数据和特定字符集之间的转换过程，就是编码。

比如：

// 编码过程：将目标字符变成字节流
byte[] bytes = "测试".getBytes("UTF-8");
// 解码过程：字节流恢复成可用字符
String s = new String(bytes, "UTF-8");

在各种系统，网络，空间介质传播信息的时候，按照字节流传递，编码就变得尤为重要了。

Java 中很多地方默认使用 ISO-8859-1，但它不支持中文，要注意。

GBK 和 GB18030 都完全兼容 GB2312，也就是说用 GB2312 生成的编码序列，可以用 GBK 和 GB18030 正常解码

GB18030 基本兼容 GBK

UTF-16 编码效率最高，但是它也有不足：

所有字符都用 2 个字节编码，某种情况下浪费空间
字节流一旦损坏则很难恢复。

UTF-8 编码效率略低于 UTF-16，但它的优点很明显（所以一般更推荐 UTF-8）：

无缝兼容 ASCII
变长编码，有些情况下不会过度浪费空间
另外单个字符的损坏不会影响其他字符（网络传输中很有优势）

ISO-8859-1：

正式编号为ISO/IEC 8859-1:1998，又称Latin-1或“西欧语言”，是国际标准化组织内ISO/IEC 8859的第一个8位字符集。它以ASCII为基础，在空置的0xA0-0xFF的范围内，加入96个字母及符号，藉以供使用附加符号的拉丁字母语言使用。

总之，ASCII 码只能用于纯英文环境下，不能用于一些带有附加符号的拉丁文字（ Š、š、Ž、ž）以及其他符号，所以在 ASCII 基础上扩展出 ISO-8859-1 编码。大多用于欧洲语言（比如法语、德语、西班牙语等），也可用于其他地区语言（比如印尼语、马来语等）。

ISO-8859-1编码规则如下：

0x00-0x7F 属于原 ASCII 区块
0x00-0x1F、0x7F、0x80-0x9F在此字符集中未有定义

如下代码验证，可打印如上图展示结果：

public class ISO_8859_1 {
    private static final String ISO88591 = "ISO-8859-1";
    private static void print() throws Exception {
        byte[] bytes = new byte[1];
        int count = 0;
        for (int code = 0x00; code <= 0xFF; code ++) {
            bytes[0] = (byte) code;
            System.out.print(new String(bytes, ISO88591) + " ");
            if (++count % 16 == 0) {
                System.out.println();
                count = 0;
            }
        }
    }
    public static void main(String[] args) throws Exception {
        print();
    }
}

GB2312：

GB2312或GB2312–80是中华人民共和国国家标准简体中文字符集，全称《信息交换用汉字编码字符集·基本集》，又称GB0，由中国国家标准总局发布，1981年5月1日实施。GB 2312编码通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。

共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个字符。

通常采用 EUC-CN 作为 GB2312 的表示法。EUC-CN 分为 4 个码集（GB2312 只用到码集0、码集1）：

码集0：单字节表示，范围是 0x21-0x7E，对应的是 ASCII 的可显示字符范围，这么做主要是为了兼容 ASCII

码集1：双字节表示，第一个字节称为“高位字节”，第二个字节称为“低位字节”。

高位字节：范围是 0xA1-0xF7，用于对字符进行分区处理，每区 94 个字符

低位字节：范围是 0xA1-0xFE，对应各个区块的各个字符，94 个字符

码集1的高位字节用于对字符进行分区处理：

0xA1-0xA9：01-09区（0xA1 = 0x01 + 0xA0，0xA0是基准数值），特殊字符

0xB0-0xD7：16-55区，一级汉字，按拼音排序的汉字

0xD8-0xF7：56–87区，二级汉字，按部首／笔画排序

10–15区及88–94区则未有编码。所以 GB2312 共收录汉字数量应为：(40 + 32) * 94 = 6768 个，但是一级汉字区块里的最后 5 个字符没有编码，所以实际收录汉字数量为：6768 - 5 = 6763 个。

GB2312的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆99.75%的使用频率。但对于人名、古汉语等方面出现的罕用字和繁体字，GB2312不能处理，因此后来GBK及GB18030汉字字符集相继出现以解决这些问题。

代码运行验证可知：

public class GB2312 {
    private static final String GB2312 = "GB2312";
    private static final int BASE = 0xA0;
    private static void printSet0() throws Exception {
        byte[] bytes = new byte[1];
        for (int code = 0x21; code <= 0x7E; code++) {
            bytes[0] = (byte) code;
            System.out.print(new String(bytes, GB2312));
        }
        System.out.println();
    }
    private static void printSet1(int highBegin, int highEnd) throws Exception {
        byte[] bytes = new byte[2];
        for (int high = highBegin; high <= highEnd; high++) {
            System.out.print(high + ": ");
            bytes[0] = (byte) (BASE + high);
            for (int low = 1; low <= 94; low++) {
                bytes[1] = (byte) (BASE + low);
                System.out.print(new String(bytes, GB2312) + "");
            }
            System.out.println();
        }
    }
    public static void main(String[] args) throws Exception {
        System.out.println("\n码集0[ASCII可显示字符]: ");
        printSet0();
        System.out.println("\n码集1[PART1 特殊符号]: ");
        printSet1(1, 9);
        System.out.println("\n码集1[PART2 一级汉字]: ");
        printSet1(16, 55);
        System.out.println("\n码集1[PART3 二级汉字]: ");
        printSet1(56, 87);
    }
}

GBK：

汉字内码扩展规范，称GBK，全名为《汉字内码扩展规范(GBK)》1.0版，由中华人民共和国全国信息技术标准化技术委员会1995年12月1日制订，国家技术监督局标准化司和电子工业部科技与质量监督司1995年12月15日联合以《技术标函[1995]229号》文件的形式公布。 GBK共收录21886个汉字和图形符号，其中汉字（包括部首和构件）21003个，图形符号883个。

由于GB1312编码范围实在有限，很多繁体字、新简化字、日语等都不支持，所以推出了 GBK 编码。GBK 编码完全兼容 GB1312，也就是说 GB1312 编码的数据，可以用 GBK 进行正常解码。

编码方式与 GB1312 类似，也包含单字节和双字节两种方式：

单字节：范围 00–7F，与 ASCII 完全一致，注意 GB1312 仅支持部分 ASCII

双字节：完全兼容 GB1312 的双字节，

如下：

可以看出，GBK/1 和 GBK/2 与 GB1312 完全一致，其他区块是新扩展的编码。

以下是 GBK 编码图，可以看出GBK/1和GBK/2的领域即GB 2312-80用通常方法编码的区域。GB2312中对于AA–AF和F8–FE区域是空的，没有赋予编码。于是GBK就在这些领域里进行拓展。二者剩余部分作为用户定义区。

UTF-8：

UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部分修改，即可继续使用。

Unicode（中文：万国码、国际码、统一码、单一码）是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码，使得电脑可以用更为简单的方式来呈现和处理文字。它废掉所有的地区性编码方案（比如 GB2312、GBK等等），统一使用 2 个字节（这里指的是 UCS-2，UCS-4使用 4 个字节）来表示所有字符，也就是说它能编码范围是 65536。

U+0000 - U+007F：128 个 ASCII 字符

U+0080 - U+07FF：带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文等

U+0800 - U+FFFF：其他基本多文种平面（BMP）中的字符（这包含了大部分常用字，如大部分的汉字）

U+10000 - U+7FFFFFFF：其他极少使用的Unicode 辅助平面的字符

Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。

比如“二”字的unicode十六进制编码是：“4E8C”，对应二进制是：“100111010001100”共有15位，也就是说至少需要两个字节来存储。但是问题来了，在一段二进制流中如何区分这个字符是1个字节、还是2个字节？

UTF-8 就是 Unicode 的一种实现方式（还有其他实现方式，比如 UTF-16、UTF-10等），它的特点是用1-4个字节来存储一个字符，且是可变长度。Unicode 和 UTF-8 的转换关系如下：

对于 1 个字节，最高位（第 8 位）是0，则表示这是 1 个 ASCII 字符

对于 1 个字节，以 11 开头，则连续的 1 的个数表示这个字符的字节数，比如 110xxxxx 表示它是双字节 UTF-8 字符的首字节

对于 1 个字节，以 10 开头，则表示它不是首字节，需要向前查找得到当前字符的首字节

UTF-8使用1-6个字节为每个字符编码：

U+0000 - U+007F：1 个字节

U+0080 - U+07FF：2 个字节

U+0800 - U+FFFF：3 个字节

U+10000 - U+1FFFFF：4 个字节

U+200000 - U+3FFFFFF：5 个字节

U+4000000 - U+7FFFFFFF：6 个字节

例如：

例如"汉"字的Unicode编码是6C49。6C49在0800-FFFF之间，所以要用3字节模板：1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是：0110 1100 0100 1001，将这个比特流按三字节模板的分段方法分为0110 110001 001001，依次代替模板中的x，得到：1110-0110 10-110001 10-001001，即E6 B1 89，这就是UTF8编码。

本文节选整理自其它文章，仅作备忘之用。感谢受用