Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符,最多可以容纳1114112个字符,或者说有1114112个码位。码位就是可以分配给字符的数字。UTF-8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。
Unicode字符集可以简写为UCS(Unicode Character Set)。早期的unicodeUnicode标准有UCS-2、UCS-4的说法。UCS-2用两个字节编码,UCS-4用4个字节编码。UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个平面(plane)。
每个平面根据第3个字节分为256行 (row),每行有256个码位(cell)。group 0的平面0被称作BMP(Basic Multilingual Plane)。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。
每个平面有2^16=65536个码位。Unicode计划使用了17个平面,一共有17*65536=1114112个码位。在Unicode 5.0.0版本中,已定义的码位只有238605个,分布在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15和平面16上只是定义了两个各占65534个码位的专用区(Private Use Area),分别是0xF0000-0xFFFFD和0x100000-0x10FFFD。所谓专用区,就是保留给大家放自定义字符的区域,可以简写为PUA。
平面0也有一个专用区:0xE000-0xF8FF,有6400个码位。平面0的0xD800-0xDFFF,共2048个码位,是一个被称作代理区(Surrogate)的特殊区域。代理区的目的用两个UTF-16字符表示BMP以外的字符。在介绍UTF-16编码时会介绍。
如前所述在Unicode 5.0.0版本中,238605-65534*2-6400-2408=99089。余下的99089个已定义码位分布在平面0、平面1、平面2和平面14上,它们对应着Unicode目前定义的99089个字符,其中包括71226个汉字。平面0、平面1、平面2和平面14上分别定义了52080、3419、43253和337个字符。平面2的43253个字符都是汉字。平面0上定义了27973个汉字。
Unicode中:汉字“字”对应的数字是23383。在Unicode中,我们有很多方式将数字23383表示成程序中的数据,包括:UTF-8、UTF-16、UTF-32。UTF是“UCS Transformation Format”的缩写,可以翻译成Unicode字符集转换格式,即怎样将Unicode定义的数字转换成程序数据。例如,“汉字”对应的数字是0x6c49和0x5b57,而编码的程序数据是:
BYTE data_utf8[] = {0xE6, 0xB1, 0x89, 0xE5, 0xAD, 0x97}; // UTF-8编码WORD data_utf16[] = {0x6c49, 0x5b57}; // UTF-16编码
DWORD data_utf32[] = {0x6c49, 0x5b57}; // UTF-32编码
这里用
BYTE、WORD、DWORD分别表示无符号8位整数,无符号16位整数和无符号32位整数。UTF-8、UTF-16、UTF-32分别以BYTE、WORD、DWORD作为编码单位。“汉字”的UTF-8编码需要6个字节。“汉字”的UTF-16编码需要两个WORD,大小是4个字节。“汉字”的UTF-32编码需要两个DWORD,大小是8个字节。根据字节序的不同,UTF-16可以被实现为UTF-16LE或UTF-16BE,UTF-32可以被实现为UTF-32LE或UTF-32BE。下面介绍UTF-8、UTF-16、UTF-32、字节序和BOM。
URLEncode之后的
%E6%B1%89%E5%AD%97 UTF8
%FE%FF%6C%49%5B%57 UTF16
%00%00%6C%49%00%00%5B%57 UTF32
可以看出 unicode对应的数字(16进制)被转换成各种形式翻译!
UTF-8
UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下: Unicode编码(16进制) ||UTF-8 字节流(二进制)
000000 - 00007F ║ 0xxxxxxx
000080 - 0007FF ║ 110xxxxx 10xxxxxx
000800 - 00FFFF ║ 1110xxxx 10xxxxxx 10xxxxxx
010000 - 10FFFF ║ 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符,UTF-8
编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出,4字节模板
有21个x,即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。
例1:“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间,使用用3字节模板了:1110xxxx 10xxxxxx 10xxxxxx。将0x6C49写成二进制是:0110 1100 0100 1001, 用这个比特流依次代替模板中的x,得到:11100110 10110001 10001001,即E6 B1 89。
例2:Unicode编码0x20C30在0x010000-0x10FFFF之间,使用用4字节模板了:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字(不足21位就在前面补0):0 0010 0000 1100 0011 0000,用这个比特流依次代替模板中的x,得到:11110000 10100000 10110000 10110000,即F0 A0 B0 B0。
QISH
深入理解的话
去
http://baike.baidu.com/view/40801.htm
分享到:
相关推荐
在VB6(Visual Basic 6)环境中,Unicode是一种字符编码标准,它定义了每个字符的二进制表示,包括世界上所有语言的字符。Unicode的使用能够处理多种语言的数据,使得软件具有更好的国际化和本地化能力。本文将深入...
**Delphi与Unicode** Delphi,作为一款强大的Object Pascal编程环境,自其早期版本就开始支持Unicode编码。Unicode是一种国际标准,旨在表示世界上几乎所有的字符集,包括但不限于拉丁字母、希腊字母、汉字、阿拉伯...
Unicode编码表是计算机行业中用于字符编码的一种标准,它为世界上大多数的文字系统提供了唯一的数字标识。Unicode标准是由Unicode联盟开发和维护的,用于映射字符到唯一的数字(也称为码点)。Unicode 5.0是该标准的...
**Unicode编码:全球字符统一表示法** Unicode,全称统一码、万国码或单一码,是一种在计算机上表示文本的标准化系统。它的目标是为世界上所有的字符提供一个唯一的数字编码,使得各种语言和符号都能在不同的计算机...
"Unicode标准,版本15.0" Unicode标准是计算机industry中最重要的字符编码标准之一,最新版本为15.0。该标准规定了计算机中字符的编码方式,以便于不同语言和地区的字符可以在计算机中正确地表示和存储。 Unicode...
JavaScript(简称JS)是一种广泛用于前端开发的编程语言,它在处理字符串时,尤其是在与Unicode字符打交道时,有一些特殊的操作和技巧。Unicode是一种国际字符集,它包含了世界上几乎所有的文字和符号,使得跨语言的...
Unicode编码是一种全球统一的字符编码标准,旨在为世界上所有语言的字符提供唯一的数字标识。它由Unicode联盟制定,包括了各种文字系统,如拉丁字母、汉字、日文、韩文、阿拉伯文等。通过Unicode编码,不同的计算机...
### Unicode转换成GBK知识点解析 #### 一、前言 在多语言环境下,字符编码转换是常见的需求之一。Unicode作为一种国际标准的字符编码方案,能够支持世界上几乎所有已知的文字系统,而GBK则是一种用于简体中文环境...
不要在求官方支持Unicode啦自己完全能使得易语言支持Unicode 本源码Unicode播放音乐 Unicode文件名自己找,自己看源码,如果你问我界面不支持Unicode怎么解决那我想给你一拳,不会用UI?写代码最重要的是能傻瓜化就傻瓜...
Unicode 和 GBK 是两种常见的字符编码标准,它们各自有着不同的特点和应用范围。本篇将详细阐述 Unicode 与 GBK 编码之间的关系、它们的工作原理以及如何进行双向转换。 Unicode 是一个全球性的字符集,它试图为...
本资源主要关注的是“十进制与Unicode”之间的转换,这在Java编程中尤其常见,因为Java使用Unicode作为其内部字符集。Unicode是一个包含世界上几乎全部字符的编码标准,而十进制则是我们日常计算中最常用的数制系统...
本文将深入探讨如何在C#中进行ASCII到Unicode的转化,以及相关编码转换的重要性。 ASCII(American Standard Code for Information Interchange,美国信息交换标准代码)是一种基于拉丁字母的字符编码,它只包含128...
Unicode码是一种国际标准字符编码,它能够表示世界上几乎所有的文字和符号,包括中文。Unicode码以16位或32位二进制形式存储每个字符,确保了不同语言间的兼容性和可交换性。中文转Unicode码和Unicode码转中文的过程...
《中英文与Unicode码互转》是一款非常实用的工具,主要功能是帮助用户将中文和英文字符转换成Unicode编码,反之亦然。Unicode是一种全球通用的字符编码标准,旨在为世界上所有的文字提供一个统一的表示方式,使得...
汉字UNICODE互换工具是一款专为处理汉字编码转换问题而设计的应用程序,它主要用于在不同的字符编码系统之间进行转换,确保在不同环境下汉字的正确显示和处理。在信息技术领域,尤其是在处理文本数据时,了解汉字...
在编程领域,Unicode 是一种字符编码标准,它旨在表示世界上所有语言的文字,包括中文。Unicode 编码使得跨平台和跨语言的文本处理变得更加简单。本文将深入探讨如何将中文字符转换为 Unicode 格式,并介绍一个名为 ...
GBK编码和Unicode编码是两种广泛使用的字符编码标准,它们在处理中文字符时起着至关重要的作用。这篇内容将深入解析这两个编码系统,并介绍它们之间的对应关系。 首先,GBK编码是GB2312编码的扩展,是中华人民...
在IT领域,尤其是在编程语言的学习和应用中,Unicode是一个至关重要的概念。Unicode是一个字符编码标准,旨在为全球各种语言提供一个统一的字符集,确保所有字符都能被正确地表示和处理。VB(Visual Basic)是...
Unicode汉字编码表是全球计算机系统中用于表示汉字的标准编码之一,它在中文信息处理领域扮演着至关重要的角色。Unicode,全称统一码或万国码,是一个为所有字符集提供唯一数字标识的国际标准,旨在解决不同语言字符...
**TMS Unicode Component Pack**是针对Delphi早期版本的一个组件包,它的主要目的是为了使2009年之前发布的Delphi版本能够支持Unicode编码。Unicode是一种广泛使用的字符编码标准,旨在涵盖全球几乎所有的文字系统,...