字符编码

  最近被字符集搞得头大，基于为自己扫盲的目的，索性收集资料研究一下，现将各方资料归纳成本文。这里并不想把复杂的规则说明一大通。如有需要，请参照其他资料或本文给出的参考资料。
        如有错误，欢迎指正。
        [顺便发下牢骚，je的编辑器真TMD难用，排版排得我半死]

基础知识

字节和字符
        字节（octet）：顾其英文名而思义，就是一个八位的存储单元，取值范围一定是0～255；
        字符（character）：就是一个语言上的符号，"中"字就是一个字符。字符所占的大小由其编码方式解决，比如"中"在UTF-8中占3个字节（0xE4A8AD），而在GBK中，则占两个字节(0xD6D0)。

字符集和编码
        字符集：字符的集合，像Unicode字符集，目标就是收纳了这个世界上所有语言的文字、符号等；
        字符编码：注意，字符集只是规定了有哪些字符，而最终决定采用哪些字符，每一个字符用多个字节表示等问题，则是由编码来决定的。像Unicode字符集的编码方式有很多，诸如UTF-8、UFT-16、UTF-32等。
        字符集和字符编码是分开的概念，但有时候称呼上会有些模糊，我们经常笼统地称这些Unicode字符集的编码为Unicode编码。

内码
        内码：操作系统内部的字符编码。像早期的DOS采用的是ASCII，而现在的操作系统大把采用Unicode编码。

编码简史

        在讲各种编码之前，有必要先讲一个编码这个令人头疼的家伙的历史，这样有助于大家理解今天的编码世界为什么会是这样一个局面。
        计算机对多语言的支持，大致为分以下三个阶段。
        阶段一：ASCII时代。计算机是DOS时代的计算内码是ASCII码，ASCII的表示范围就是0到127那几个符号，这意味着，DOS时代的计算机只能显示英文，而无法支持其他语言。没办法，由于英文系国家开创了并继续主导了计算机的世界，他们自然而然地认为全世界的文字用8个字节表示足矣。
        阶段二：ANSI时代。由于上述原因，像我们这些非英文系的国家的为了显示自家的文字，不得不一开始就得面对字符编码的问题，不同国家不同地区都创建了自己的编码标准。像是中国大陆是GB2312及后来的GBK，台湾是BIG5，日本是JIS。ASCII字符集，以及这些由此派生并兼容的字符集称为ANSI字符集。
        阶段三：Unicode时代。为了和谐而出现，相较于以上两个阶段，这个时代称为国际化时代，适应了跨平台，跨语言之间交换信息的需求。

Unicode和UTF系列

Unicode
        Unicode 字符集收录了这世界上所有的文字符号和特殊符号。对于每一个符号都定义了一个值，称为代码点（code point）。代码点可以用2个字节表示(UCS-2)，也可以用4个字节（UCS-4编码）。

UTF系列
为什么出现UTF编码？
        UCS编码虽然定义了每个代码点的编码方式，但是没规定如何传输和存储。比如，在UCS-2码中，英文符号是在ACSII码的前面加上一个0 byte，像"A"的ASCII码 0x41，在UCS码中就是0x0041，这样，对于英文系统来讲会出现大量的0 byte，造成不必要的浪费。而且容易存在对现在ASCII码不兼容的问题。所以这个重担就落在了UTF编码身上，全称是Unicode Transformation Format。
什么是Endian?
        我们知道"中"字的UFT-16编码是0x4E，0x2D，但是传输存储的过程中，字节的顺序有可能是(0x4E，0x2D)，也可能是(0x2D，0x4E)，这就是涉及一个字节序的问题。对于前一种，我们称为Big Endian（大尾，也就是高位在前），而后一总称为Little Endian（小尾，低位在前）。
        那我们如何知道在不清楚哪一"尾"的情况下进行解析？
先人已有解决的办法，就是在最前面加多2个字节，OxFEFF表示BE，而0xFFFE表示LE。（注：OxFEFF是实际上不存在的字符，所以正常情况下是不会使用到的，所以，不用担心出现与正常的字符数据冲突的问题），这就是所谓的BOM(Bill Of Material)。
        UTF系列都存在LE,BE,BOM,无BOM几种版本。
        比如"中国"的各个版本UTF-16字符编码如下：

编码	字节序列
UTF-16BE	4E,2D,56,FD
UTF-16LE	2D,4E,fD,56
UTF-16(BOM,BE)	FE,FF,4E,2D,56,FD
UTF-16(BOM,LE)	FF,FE,2D,4E,fD,56

UFT-8
        UTF-8采用的是变长码的方式，其编码规则如下：

代码点值的范围（16进制）	第1字节	第2字节	第3字节
0000 0000-0000 007F	0xxxxxxx0-127）
0000 0080-0000 07FF	110xxxxx （192-223）	10xxxxxx （128-191）
0000 0800-0000 FFFF	1110xxxx （224-239）	10xxxxxx （128-191）	10xxxxxx （128-191）

        注：x的内容是将左边代码点的二进制值依次注入。
        理论上UTF-8可以达到6个字节编码（上表省略后3位字节以上的编码方式），但实际上，我们一般只采用0x0000 0000 到0x0000 0000FFFF的范围内的字符，也就说UTF-8实际上只采用了3个字节编码。
        UTF-8除了省空间和兼容ASCII的优点后，其编码方式（类似于哈夫曼编码，很容易判断出1个字节及其后面的字节数）决定了它以下两个优点：
        1、与字节顺序无关, 可以在不同平台之间交流。
        2、容错能力高, 任何一个字节损坏后, 最多只会导致一个编码码位损失, 不会链锁错误(如GB码错一个字节就会整行乱码)

UTF-16和UTF-32
        UTF-16是变长码，大致上相当于UCS-2码的直接实现，但是也有一部分UCS-4的字符。所以可以猜到，它大部分是采用2个字节编码，而有部分特殊符号采用3字节编码，所以大致相当于20位编码, 值在0到0x10FFFF之间。
        UTF-32用四个字节表示代码点，这样就可以完全表示UCS-4的所有代码点。

GB2312、GBK和 GB18030
        简单来讲，这三者是这样一个关系：GB2312扩展便成了GBK,GBK扩展便成了GB18030。后者都对前者兼容。
        GB2312：采用2个字节。简体字的编码规范，也包括其他的符号、字母、日文假名等，共7445个图形字符，其中汉字占6763个
        GBK：采用了2个字节。GB2312明显收录的汉字不够，于是增加了大量不常用汉字，还加入了几乎所有的Big5中的繁体汉字之后便成了GBK。
        GB18030：与前两者不同，采用了变长的编码方式，有1、2、4个字节的编码长度。1个字节编码与ASCII兼容，2个字节编码与GBK兼容，4个字节主要是收录了少数民族的文字等。GB18030诞生的原因类似于GBK，就是增加了大量的汉字，多收录了藏文、蒙文、维吾尔文等主要的少数民族文字。GB18030现在是国家非手持/非嵌入式设备的强制性标准。
但是GB18030与前者不同的是，所有的Unicode编码都可以转换为GB18030,而且GB18030除了兼容GBK以及Unicode的BMP部分外，其余的Unicode扩展平面和它的4字节扩展平面都是简单直接的映射
        其具体映射关系的计算参见《GB18030编码研究以及GBK、GB18030与Unicode的映射》：[http://blog.csdn.net/fmddlmyy/archive/2008/04/13/2288312.aspx] 
        如果说GB2312、GBK是ANSI时代的产物，为什么如今还需要制定GB18030呢？以下引用官方的话："世界许多国家和地区从方便本国和民族应用的角度出发，制定了相应的编码标准和内码体系，如日本的JIS X 0208和JIS X 0212，韩国的KS C 5601和KS C 5657等，这是国际上采用的通行惯例。制定GB 18030同样符合国际惯例，它全面兼容GB 2312，在字汇上兼容GB 13000.1，可以充分利用已有资源，保证不同系统间的兼容性，最大限度地共享资源，为我国软件产业留有巨大的发展空间。可以相信，GB 18030的实施将有利于国产软件的发展并形成规模，使我国的中文信息技术再上一个台阶。"

        GB2312、GBK的编码范围如下：

名称	第一字节	第二字节
GB2312	0xA1-0xF7(161-247)	0xA1-0xFE（161-254）
GBK	0x81-0xFE（129-254）	0x40-0xFE（64-254）

        GB18030编码范围如下：

字节数	码位空间
单字节	0x00~0x7F (0-127)
双字节	第一字节在0x81~0xFE （129-254）第二字节在0x40~0x7E，0×80至0×FE（64-126），（128-254）
四字节	第一字节在0x81~0xFE之间 （129-254） 第二字节在0x30~0x39之间 （48-57） 第三字节在0x81~0xFE之间 （129-254） 第四字节在0x30~0x39之间 （48-57）

ASCII和ISO 8859-1
        ISO 8859-1就比较简单了，我们知道ASCII码是从0x00到0x7F，也就是还有1位没有用到，ISO 8859-1就是在空置的0xA0-0xFF的范围内，加入192个字母及符号，藉以供使用变音符号的拉丁字母语言使用。所以ISO 8859-1又称Latin-1。

其他编码
        这里"编码"的含义与以上不同，并不是指字符集的编码，而是一种对文本加工处理的编制方式。因为在开发过程中，也会经常遇到，所以一并介绍。

application/x-www-form-urlencoded

        我们在提交表单的时候，常常会看到形如http://localhost:6888/aomstudy/Servlet1?name=%D6%D0%B9%FA
这样的地址，这些就是application/x-www-form-urlencoded格式编码后的字符串。包括用POST提交表单内容默认是使用这种编码方式。另一种是multipart/form-data，用于有大量非ASCII码文本或二进制数据时，因为这时使用application/x-www-form-urlencoded需要大量的转换，需要耗费太多时间。
        为什么需要这个application/x-www-form-urlencoded编码？我还不是很明白。个人猜测是：以下规则提到的安全字符都是7位的ASCII字符，虽然HTTP协议支持任意字符，但由于历史原因，在HTTP传输过程，只能保证这7位是安全的，也就是说不被当作其他用途，比如用作控制符等。
        application/x-www-form-urlencoded的编码规则如下：
        1.字母数字字符 "a" 到"z"、"A"到 "Z" 和 "0" 到"9" 保持不变。
        2.特殊字符 "."、"-"、"*" 和"_" 保持不变。
        3.空格字符 " " 转换为一个加号"+"。
        4.所有其他字符都是不安全的，因此首先使用一些编码机制将它们转换为一个或多个字节。然后每个字节用一个包含3个字符的字符串"%xy" 表示，其中 xy 为该字节的两位十六进制表示形式。
        注：以上URL中使用的是GBK编码，原文是http://localhost:6888/aomstudy/Servlet1?name=中国

Base64
        介绍之前，先给一段"乱码"，让我们有一个感观的认识。
u7bTrcC0tb1BcHVzaWO1xMrAvec=
是不是很眼熟？是的，在电子邮件中我们经常见到。Base64可以用来将binary的字节序列数据编码成ASCII字符序列构成的文本。主要应用在电子邮件技术、LDIF档案等。
        Base64怎么编码？简单来讲，Base64不管你使用的是什么编码，UTF－8也好，ASCII也好，它的眼里只有二进制序列，比如说"中国"GBK编码的二进制序列是[11010110],[11010000],[10111001],[11111010]。那么接下Base64 会做以下几件事：
        一、Base64按照每3个字节一组（共3*8=24位），依次编入4个字节里。
只使用低位6个位(共4*6=24位)，每个字节前两位置0。值的范围在0到63。
如果不是3的倍数怎么办？就先全部补[01000000]（为什么不是0？因为0是有意义的），比如上面最后一个字节[11111010]变成：[00111110],[00100000],[01000000],[01000000]，解码时，由于只考虑低6位，而这个值用了第7位，所以不会影响到正常字符的解码。
        最终转换后成了这样[00110101],[00101101],[00000010],[00111001],[00111110],[00100000],[01000000],[01000000]        
        二、根据编码的值转换成对应的ASCII字符。对应规则如下：

值	ASCII字符	值	ASCII字符	值	ASCII字符	值	ASCII字符
0	A	17	R	34	i	51	z
1	B	18	S	35	j	52	0
2	C	19	T	36	k	53	1
3	D	20	U	37	l	54	2
4	E	21	V	38	m	55	3
5	F	22	W	39	n	56	4
6	G	23	X	40	o	57	5
7	H	24	Y	41	p	58	6
8	I	25	Z	42	q	59	7
9	J	26	a	43	r	60	8
10	K	27	b	44	s	61	9
11	L	28	c	45	t	62	+
12	M	29	d	46	u	63	/
13	N	30	e	47	v	64(pad)	=
14	O	31	f	48	w
15	P	32	g	49	x
16	Q	33	h	50	y

         [00110101],[00101101],[00000010],[00111001],[00111110],[00100000],[01000000],[01000000]的十进制值分别经[53]，[45]，[2]，[57]，[62]，[32]，[64]，[64]，找到相应的ASCII值，最终，我们得到编码后的字符串为1tC5+g==
         注：以上"乱码"原文为"欢迎来到Apusic的世界"。

常见的应用场景（以后再补充完整）

参考资料
         1.《Unicode详解》：http://tech.idv2.com/2008/02/21/unicode-intro/
         2.《Unicode、UCS和UTF编码简介》：http://hi.baidu.com/%D0%DB%CF%D8/blog/item/f3e0d7f221c09c12b17ec512.html
         3.《GB18030编码研究以及GBK、GB18030与Unicode的映射》：http://blog.csdn.net/fmddlmyy/archive/2008/04/13/2288312.aspx
         4.《汉字编码问题》：http://www.css8.cn/css8_document/gb2312.htm
         5.《Java:Unicode简介》：http://tech.it168.com/oldarticle/2006-11-09/200611092313338.shtml
         6.《字符，字节和编码》：http://www.regexlab.com/zh/encoding.htm
         7.《ISO 8859-1》：http://baike.baidu.com/view/758577.htm
         8.《Base64》：http://zh.wikipedia.org/wiki/Base64

=====================================================

 很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为"字节"。

再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为"计算机"。



开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。

他们把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上00x10, 终端就换行，遇上0x07, 终端就向人们嘟嘟叫，例好遇上0x1b, 打印机就打印反白的字，或者终端就用彩色显示字母。他们看到这样很好，于是就把这些0x20以下的字节状态称为"控制码"。 

他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。大家看到这样，都感觉很好，于是大家都把这个方案叫做 ANSI 的"Ascii"编码（American Standard Code for Information Interchange，美国信息互换标准代码）。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。

后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128到255这一页的字符集被称"扩展字符集"。从此之后，贪婪的人类再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧！ 

等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉, 规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。 

中国人民看到这样很不错，于是就把这种汉字方案叫做 "GB2312"。GB2312 是对 ASCII 的中文扩展。

但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。

后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。 

后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK 扩成了 GB18030。从此之后，中华民族的文化就可以在计算机时代中传承了。

中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 "DBCS"（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣们都要每天念下面这个咒语数百遍： 

"一个汉字算两个英文字符！一个汉字算两个英文字符......"



因为当时各个国家都像中国这样搞出一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码，连大陆和台湾这样只相隔了150海里，使用着同一种语言的兄弟地区，也分别采用了不同的 DBCS 编码方案。当时的中国人想让电脑显示汉字，就必须装上一个"汉字系统"，专门用来处理汉字的显示、输入的问题，但是那个台湾的愚昧封建人士写的算命程序就必须加装另一套支持 BIG5 编码的什么"倚天汉字系统"才可以用，装错了字符系统，显示就会乱了套！这怎么办？而且世界民族之林中还有那些一时用不上电脑的穷苦人民，他们的文字又怎么办？

真是计算机的巴比伦塔命题啊！

正在这时，大天使加百列及时出现了：一个叫 ISO （国际标谁化组织）的国际组织决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码！他们打算叫它"Universal Multiple-Octet Coded Character Set"，简称 UCS, 俗称 "UNICODE"。

UNICODE 开始制订时，计算机的存储器容量极大地发展了，空间再也不成为问题了。于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，对于ascii里的那些"半角"字符，UNICODE 包持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于"半角"英文符号只需要用到低8位，所以其高8位永远是0，因此这种大气的方案在保存英文文本时会多浪费一倍的空间。 

这时候，从旧社会里走过来的程序员开始发现一个奇怪的现象：他们的strlen函数靠不住了，一个汉字不再是相当于两个字符了，而是一个！是的，从 UNICODE 开始，无论是半角的英文字母，还是全角的汉字，它们都是统一的"一个字符"！同时，也都是统一的"两个字节"，请注意"字符"和"字节"两个术语的不同，"字节"是一个8位的物理存贮单元，而"字符"则是一个文化相关的符号。在UNICODE 中，一个字符就是两个字节。一个汉字算两个英文字符的时代已经快过去了。

从前多种字符集存在时，那些做多语言软件的公司遇上过很大麻烦，他们为了在不同的国家销售同一套软件，就不得不在区域化软件时也加持那个双字节字符集咒语，不仅要处处小心不要搞错，还要把软件中的文字在不同的字符集中转来转去。UNICODE 对于他们来说是一个很好的一揽子解决方案，于是从 Windows NT 开始，MS 趁机把它们的操作系统改了一遍，把所有的核心代码都改成了用 UNICODE 方式工作的版本，从这时开始，WINDOWS 系统终于无需要加装各种本土语言系统，就可以显示全世界上所有文化的字符了。 

但是，UNICODE 在制订时没有考虑与任何一种现有的编码方案保持兼容，这使得 GBK 与UNICODE 在汉字的内码编排上完全是不一样的，没有一种简单的算术方法可以把文本内容从UNICODE编码和另一种编码进行转换，这种转换必须通过查表来进行。

如前所述，UNICODE 是用两个字节来表示为一个字符，他总共可以组合出65535不同的字符，这大概已经可以覆盖世界上所有文化的符号。如果还不够也没有关系，ISO已经准备了UCS-4方案，说简单了就是四个字节来表示一个字符，这样我们就可以组合出21亿个不同的字符出来（最高位有其他用途），这大概可以用到银河联邦成立那一天吧！ 



UNICODE 来到时，一起到来的还有计算机网络的兴起，UNICODE 如何在网络上传输也是一个必须考虑的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF8就是每次8个位传输数据，而UTF16就是每次16个位，只不过为了传输时的可靠性，从UNICODE到UTF时并不是直接的对应，而是要过一些算法和规则来转换。

受到过网络编程加持的计算机僧侣们都知道，在网络里传递信息时有一个很重要的问题，就是对于数据高低位的解读方式，一些计算机是采用低位先发送的方法，例如我们PC机采用的 INTEL 架构，而另一些是采用高位先发送的方式，在网络中交换数据时，为了核对双方对于高低位的认识是否是一致的，采用了一种很简便的方法，就是在文本流的开始时向对方发送一个标志符。如果之后的文本是高位在位，那就发送"FEFF"，反之，则发送"FFFE"。不信你可以用二进制方式打开一个UTF-X格式的文件，看看开头两个字节是不是这两个字节？ 



讲到这里，我们再顺便说说一个很著名的奇怪现象：当你在 windows 的记事本里新建一个文件，输入"联通"两个字之后，保存，关闭，然后再次打开，你会发现这两个字已经消失了，代之的是几个乱码！呵呵，有人说这就是联通之所以拼不过移动的原因。

其实这是因为GB2312编码与UTF8编码产生了编码冲撞的原因。

从网上引来一段从UNICODE到UTF8的转换规则：

Unicode

UTF-8 
0000 - 007F

0xxxxxxx



0080 - 07FF

110xxxxx 10xxxxxx



0800 - FFFF

1110xxxx 10xxxxxx 10xxxxxx



例如"汉"字的Unicode编码是6C49。6C49在0800-FFFF之间，所以要用3字节模板：1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是：0110 1100 0100 1001，将这个比特流按三字节模板的分段方法分为0110 110001 001001，依次代替模板中的x，得到：1110-0110 10-110001 10-001001，即E6 B1 89，这就是其UTF8的编码。 

而当你新建一个文本文件时，记事本的编码默认是ANSI, 如果你在ANSI的编码输入汉字，那么他实际就是GB系列的编码方式，在这种编码下，"联通"的内码是：

c1 1100 0001

aa 1010 1010

cd 1100 1101

a8 1010 1000

注意到了吗？第一二个字节、第三四个字节的起始部分的都是"110"和"10"，正好与UTF8规则里的两字节模板是一致的，于是再次打开记事本时，记事本就误认为这是一个UTF8编码的文件，让我们把第一个字节的110和第二个字节的10去掉，我们就得到了"00001 101010"，再把各位对齐，补上前导的0，就得到了"0000 0000 0110 1010"，不好意思，这是UNICODE的006A，也就是小写的字母"j"，而之后的两字节用UTF8解码之后是0368，这个字符什么也不是。这就是只有"联通"两个字的文件没有办法在记事本里正常显示的原因。 

而如果你在"联通"之后多输入几个字，其他的字的编码不见得又恰好是110和10开始的字节，这样再次打开时，记事本就不会坚持这是一个utf8编码的文件，而会用ANSI的方式解读之，这时乱码又不出现了。