字符集的基本知识

最近看到一个关于Oracle字符集的文章, 对字符集的基本知识讲解的不错, 特此摘抄. 重点关注GB2312/GBK/GB18030的关系

 

讲到数据库的字符集设置，首先需要对字符集的知识有些了解。以下是字符集的基本知识介绍：由于计算机只能存储使用二进制数据，因此对于一些字符或符号，需要对它们进行编码，用编码后的数值来表示这些字符。对于一组符号的编码集合就是字符集。
字符集有很多种，最初的字符集是ASCII，它用一个字节中的7位来表示128个字符，第8位没有使用。它包括大小写字母、数字0-9、标点符号、非打印字符（换行符、制表符等4个）以及控制字符（退格、响铃等）等。由于ASCII支持的字符很有限，因此随后又出现了很多的编码方案，这些编码方案大部分都是包括了ASCII的，它们只是做了扩展，这些扩展的内容一般各不相同，因此说ASCII是一个比较基本的编码，EBCDIC编码是另一个比较基本的编码，它的部分字符采用了和ASCII不同的编码值，因此两者是不兼容的基本编码方案。采用EBCDIC编码的比较少，目前主要是IBM 的系统采用，如AS400及S390系统，大部分的系统都是基于ASCII编码的。
由于亚洲国家的字符集相对复杂一些，因此一般都使用了两个及以上的字节进行编码的方案。对于简体中文，GB2312码是国家1981年实施的编码标准，通行于大陆。新加坡等地也使用此编码。GBK编码是GB2312码的扩展，是1995年发布的指导性规范，它在字汇一级支持 ISO/IEC 10646-1 和GB 13000-1 的全部中日韩 (CJK) 汉字(20902字)。目前最新的汉字字符集是2000年的GB18030，它是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。目前简体WINDOWS的缺省内码还是GBK，可以通过GB18030升级包升级到GB18030。不过GB18030相对GBK增加的字符，普通人是很难用到的，因此GBK还是我们目前最常用的简体中文字符集。
由于编码方案太多且彼此之间不兼容，存在互相之间存在冲突的情况，即对于同一个编码数值，在两种不同的编码方案中代表的是两个不同的字符。这样对于一些WEB应用来说，由于多种语言文字的同时使用及存储，需要采用一种统一的字符集。为此，国际标准化组织(ISO)制定了ISO 10646码表，而Unicode协会制定了Unicode规范，这两个体系刚开始时是独立建立的，在1991年，双方都认识到世界不需要两个不兼容的字符集。于是它们开始合并双方的工作成果，并为创立一个单一编码表而协同工作。从Unicode2.0开始，Unicode项目采用了与ISO 10646-1相同的字库和字码。目前两个项目仍都存在，并独立地公布各自的标准。Unicode协会现在的最新版本是2006年的Unicode 5.0。ISO的最新标准是10646-3:2003。下面简单介绍一下几种常见的编码方式：
UCS(Universal Character Set)是按ISO-10646定义的字符集，有两种最常用编码方式： UCS-2和UCS-4。
UCS-2：使用0-65535之间的数表示一个unicode字符。UCS-2无法表示所有的unicode字符，只能表示其前65536个字符（称为Basic Multilingual Plane，BMP）。我们一般经常使用的UNICODE码就是指这个编码方案。
UCS-4:使用0-FFFFFFFF之间的数表示一个unicode字符，但为了和unicode体系兼容(unicode体系是一个20bit系统），ISO-10646表示所有定义的字符将不超过10FFFF。UCS-4可以表示所有的unicode字符。
Unix 下使用 UCS-2/UCS-4会导致非常严重的问题，因为有一些特殊的字符, 比如 ''\0'' 或 ''/'', 它们在文件名和其他C的库函数参数里都有特别的含义，C语言使用''\0''作为字符串结尾，而Unicode里恰恰有很多字符都有一个字节为0，这样一来，C语言的字符串函数将无法正常处理Unicode，除非把世界上所有用C写的程序以及他们所用的函数库全部换掉 。
为了解决这个问题，于是产生了将Unicode编码规则和计算机的实际编码对应起来的一个规则，UTF,英文为UCS Transformation Format，即UCS转换格式，目前常用的有UTF-8、UTF-16、UTF-32三种。（还有UTF-7在此就不介绍了）。正如名字所示，它们分别使用8位、16位、32位比特对UCS进行编码。
UTF-8：一种变长的Unicode编码方式，使用1到4个字节表示一个字符。这种方式的最大好处，是UTF－8保留了ASCII字符的编码作为它的一部分，因此在ASCII表示的128个字符在UTF-8的编码没有变化，它的兼容性比较好。UTF-8在目前WEB应用上使用很广泛。
UTF-16:一种变长Unicode编码方式，使用两个或者四个字节表示一个字符。这种编码方式比较节省空间，因为它把最常使用的字符都用两个字节来表示，而那些不常用的字节则用两个或四个字节来表示。但对于英文字符来说，它要用两个字节来编码。
UTF-32:一种固定长度的Unicode编码方式，使用四个字节表示一个字符，它适用在内存很充足，需要定长的编码场合。