通过这几天的研究,终于明白了Unicode和UTF-8之间编码的区别。Unicode是一个字符集,而UTF-8是Unicode的其中一种,Unicode是定长的都为双字节,而UTF-8是可变的,对于汉字来说Unicode占有的字节比UTF-8占用的字节少1个字节。Unicode为双字节,而UTF-8中汉字占三个字节。
网魂小兵 http://xdotnet.cnblogs.com
UTF-8编码字符理论上可以最多到6个字节长,然而16位BMP(Basic Multilingual Plane)字符最多只用到3字节长。下面看一下UTF-8编码表:
U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
xxx 的位置由字符编码数的二进制表示的位填入, 越靠右的 x 具有越少的特殊意义,只用最短的那个足够表达一个字符编码数的多字节串。 注意在多字节串中, 第一个字节的开头"1"的数目就是整个串中字节的数目。而第一行中以0开头,是为了兼容ASCII编码,为一个字节,第二行就为双字节字符串,第三行为3字节,如汉字就属于这种,以此类推。(个人认为:其实我们可以简单的把前面的1的个数看成字节数)
网魂小兵 http://xdotnet.cnblogs.com
为了要将Unicode转换为UTF-8,当然要知道他们的区别到底在什么地方。下面来看一下,在Unicode中的编码是怎样转换成UTF-8的,在UTF-8中,如果一个字符的字节小于0x80(128)则为ASCII字符,占一个字节,可以不用转换,因为UTF-8兼容ASCII编码。假如在Unicode中汉字“你”的编码为“u4F60”,把它转换为二进制为100111101100000,然后按照UTF-8的方法进行转换。可以将Unicode二进制从地位往高位取出二进制数字,每次取6位,如上述的二进制就可以分别取出为如下所示的格式,前面按格式填补,不足8位用0填补。
unicode: 100111101100000 4F60
utf-8: 11100100,10111101,10100000 E4BDA0
从上面就可以很直观的看出Unicode到UTF-8之间的转换,当然知道了UTF-8的格式后,就可以进行逆运算,就是按照格式把它在二进制中的相应位置上取出,然后在转换就是所得到的Unicode字符了(这个运算可以通过“位移”来完成)。
网魂小兵 http://xdotnet.cnblogs.com
如上述的“你”的转换,由于其值大于0x800小于0x10000,因此可以判断为三字节存储,则最高位需要向右移“12”位再根据三字节格式的最高位为11100000(0xE0)求或(|)就可以得到最高位的值了。同理第二位则是右移“6”位,则还剩下最高位和第二位的二进制值,可以通过与111111(0x3F)求按位于(&)操作,再和11000000(0x80)求或(|)。第三位就不用移位了,只要直接取最后六位(与111111(ox3F)取&),在与11000000(0x80)求或(|)。OK了,转换成功!在VC++中的代码如下所示(Unicode到UTF-8的转换)。
1 const wchar_t pUnicode = L"你";
2 char utf8[3+1];
3 memset(utf8,0,4);
4 utf8[0] = 0xE0|(pUnicode>>12);
5 utf8[1] = 0x80|((pUnicode>>6)&0x3F);
6 utf8[2] = 0x80|(pUnicode&0x3F);
7 utf8[3] = "\0";
8 //char[4]就是UTF-8的字符“你”了。
当然在UTF-8到Unicode的转换也是通过移位等来完成的,就是把UTF-8那些格式相应的位置的二进制数给揪出来。在上述例子中“你”为三个字节,因此要每个字节进行处理,有高位到低位进行处理。在UTF-8中“你”为11100100,10111101,10100000。从高位起即第一个字节11100100就是把其中的"0100"给取出来,这个很简单只要和11111(0x1F)取与(&),由三字节可以得知最到位肯定位于12位之前,因为每次取六位。所以还要将得到的结果左移12位,最高位也就这样完成了0100,000000,000000。而第二位则是要把“111101”给取出来,则只需将第二字节10111101和111111(0x3F)取与(&)。在将所得到的结果左移6位与最高字节所得的结果取或(|),第二位就这样完成了,得到的结果为0100,111101,000000。以此类推最后一位直接与111111(0x3F)取与(&),再与前面所得的结果取或(|)即可得到结果0100,111101,100000。OK,转换成功!在VC++中的代码如下所示(UTF-8到Unicode的转换)。
1 //UTF-8格式的字符串
2 const char* utf8 = "你";
3 wchar_t unicode;
4 unicode = (utf8[0] & 0x1F) << 12;
5 unicode |= (utf8[1] & 0x3F) << 6;
6 unicode |= (utf8[2] & 0x3F);
7 //unicode is ok!
网魂小兵 http://xdotnet.cnblogs.com
当然在编程过程中不可能只转换一个字符,这里需要注意的是字符的长度一定要算清楚,不然会带来...以上就是我这几天研究的结果,至于Unicode的转换为GB2312在MFC中Windows有自带的API(WideCharToMultiByte)可以转换。这样也就能够将UTF-8格式转换为GB2312了,这里就不再赘述,如果大家有更好的方法希望指教。
转自:
http://hi.baidu.com/dustin_xiao/blog/item/2ab75b24c27ca32ed507426f.html
《windows 核心编程》第二章有详细讲解unicode编码
例子(注意大写S与小写s的使用):
[code='c']
char szA[100]; //An ANSI string buffer
WCHAR szW[100]; //A Unicode string buffer
//Normal sprintf: all strings are ANSI
sprintf(szA, "&s", "ANSI Str");
//Converts Unicode string to ANSI
sprintf(szA, "%S", L"Unicode Str");
//Nomal swprintf: all string are unicode
swprintf(szW, L"%s", L"Unicode Str");
//Converts ANSI string to Unicode
swprintf(szW, L"%S", "ANSI str");
分享到:
相关推荐
### 多字节与UTF-8、Unicode之间的转换 在计算机科学领域,字符编码是将文字映射到二进制数据的一种方式。不同的字符编码方案适用于不同的应用场景。本篇文章主要探讨的是多字节(MBCS)编码与UTF-8、Unicode编码...
### JAVA字符编码详解:Unicode, ISO-8859-1, GBK, UTF-8 及其相互转换 #### 一、引言 在Java编程中,字符编码的管理和转换是一项基本而又重要的任务。不同的编码标准适用于不同的场景,而理解和掌握这些编码之间...
### Unicode与UTF-8转换详解 #### 一、引言 在计算机科学中,字符编码是一种将人类可读的文本转换为计算机可以处理的形式的方法。Unicode 和 UTF-8 是两种非常重要的字符编码标准,广泛应用于现代软件开发和互联网...
十六进制到UTF-8转换 ```javascript function Hex2Utf8(s) { var retS = ""; var tempS = ""; var ss = ""; if (s.length == 16) { tempS = "1110" + s.substring(0, 4); tempS += "10" + s.substring(4, 10)...
其中,UTF-8(8位通用转换格式)是一种可变长度的字符编码,它兼容ASCII,并且能够表示Unicode标准中的所有字符。在给定文件“UTF-8汉字码表.txt”的描述中提到的“utf-8中文汉字编码表”,主要关注的是如何用UTF-8...
6. **UTF8ToANSI()**: 通过先将UTF-8转换为Unicode,再将Unicode转换为ANSI实现。 这些函数使用了Windows API中的`MultiByteToWideChar()`和`WideCharToMultiByte()`函数来完成转换。例如,`ANSIToUnicode()`函数中...
### ANSI 文件转换为 UTF-8 的过程...此过程包括了从ANSI到Unicode的转换,以及从Unicode到UTF-8的转换,并且涉及到文件的读写操作。这种转换对于处理多语言环境下的文本数据尤为重要,可以确保数据的一致性和兼容性。
在C++编程中,将Unicode字符串转换为UTF-8编码并保存到文件是常见的操作,尤其是在处理跨平台的文本数据时。WideCharToMultiByte函数是Windows API提供的一种方法,用于将Unicode字符串转换为特定的多字节字符集,...
"labview text to utf8" 这个标题表明我们要探讨的是如何在LabVIEW中将包含汉字的字符串转换成UTF-8编码格式,以便在不同系统或平台之间进行兼容的数据传输。 默认情况下,LabVIEW可能会使用本地的字符编码,如ANSI...
**从UTF-8转换到GB2312:** 将UTF-8编码的文本转换为GB2312编码,需要通过中间步骤,通常是先将UTF-8解码为Unicode,然后再从Unicode编码到GB2312。这一过程可以使用Windows API函数`WideCharToMultiByte`来实现,...
### 中文转UTF-8编码知识点详解 #### 一、前言 在计算机科学与互联网技术领域中,字符编码是一项非常重要的技术。随着全球化的发展,多语言支持成为了软件开发中的基本需求之一。其中,UTF-8(Unicode ...
- **utf-8**: 一种通用的多字节编码方式,支持几乎所有语言的文字编码,具有良好的向后兼容性和扩展性。 **问题本质** 问题的根本在于不同浏览器对字符编码处理逻辑的不同。通常情况下,浏览器会根据HTTP响应头中...
- **不受约束的用户输入**:用户可能会提供非UTF-8编码的数据,这时需要检测和转换,以确保内部处理始终在UTF-8环境下进行。 - **避免依赖`mbstring.encoding_translation`**:此配置可能导致意外的字符转换,最好...
本文将详细解析字符编码的历史发展,以及Unicode、UTF-8和GBK等编码方式的差异。 ASCII编码,全称美国信息交换标准代码,是最基础的字符编码,使用7位二进制数(一个字节的前7位)表示128个字符,包括大写和小写...
该工具具备单一文件和批量转换的功能,能够灵活地在GB、BIG5和UTF-8这三种常见的中文编码之间进行转换。对于需要处理大量文件的用户,批量转换功能尤其实用,可以极大地提高工作效率,避免手动逐个转换的繁琐过程。 ...
"C程序中处理UTF-8文本的方法详解" 在C程序中处理UTF-8文本是一件复杂的事情,但却是非常必要的,因为UTF-8是互联网上使用最广的一种unicode实现方式。为了处理UTF-8文本,需要了解UTF-8的编码规则,包括单字节符号...
《编码规则与用法详解:Unicode、UCS、UTF-8、Base64、ANSI》 在信息技术领域,字符编码是至关重要的,它决定了我们如何在计算机中存储、传输和显示文本。本文将详细介绍几种常见的编码方式,包括Unicode、UCS、UTF...
这篇“Android UTF-8转码实例详解”将深入探讨如何在Android环境中进行UTF-8编码和解码。 首先,了解UTF-8编码的基本原理。UTF-8是一种变长编码,它根据字符的Unicode码点长度使用1到4个字节。ASCII字符(如英文...
UTF-8是Unicode的一种实现方式,它是一种变长编码,根据字符的不同,可以占用1至4个字节。UTF-8的优点在于对ASCII字符集的兼容性,使得英文字符只占用一个字节,而大部分中文字符则占用3个字节。 “中文 Big5/GBK/...
本文将详细介绍如何在VB中实现UTF-8到Unicode的转换,解决在使用`StrConv`函数时遇到的中文乱码问题。 #### 二、背景知识 1. **UTF-8与Unicode**: - **UTF-8**是一种变长字符编码,用于表示Unicode标准中的字符...