`
sea.8821
  • 浏览: 16324 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

unicode 和utf-8的转化

阅读更多
背景:在做Java开发的时候,常常会出现一些乱码,或者无法正确识别或读取的文件,比如常见的validator验证用的消息资源(properties)文件就需要进行Unicode重新编码。原因是java默认的编码方式为Unicode,而我们的计算机系统编码常常是GBK等编码。需要将系统的编码转换为java正确识别的编码问题就解决了。

1、native2ascii简介:native2ascii是sun java sdk提供的一个工具。用来将别的文本类文件(比如*.txt,*.ini,*.properties,*.java等等)编码转为Unicode编码。为什么要进行转码,原因在于程序的国际化。Unicode编码的定义:Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发,1994年正式公布。随着计算机工作能力的增强,Unicode也在面世以来的十多年里得到普及。(声明:Unicode编码定义来自互联网)。

2、获取native2ascii:安装了jdk后,假如你是在windows上安装,那么在jdk的安装目录下,会有一个bin目录,其中native2ascii.exe正是。

3、native2ascii的命令行的命名格式:
native2ascii -[options] [inputfile [outputfile]]

说明:
-[options]:表示命令开关,有两个选项可供选择
-reverse:将Unicode编码转为本地或者指定编码,不指定编码情况下,将转为本地编码。
-encoding encoding_name:转换为指定编码,encoding_name为编码名称。
[inputfile [outputfile]]
inputfile:表示输入文件全名。
outputfile:输出文件名。如果缺少此参数,将输出到控制台。
4、最佳实践:首先将JDK的bin目录加入系统变量path。在盘下建立一个test目录,在test目录里建立一个zh.txt文件,文件内容为:“熔岩”,打开“命令行提示符”,并进入C:\test目录下。下面就可以按照说明一步一步来操作,注意观察其中编码的变化。

A:将zh.txt转换为Unicode编码,输出文件到u.txt
native2ascii zh.txt u.txt
打开u.txt,内容为“\u7194\u5ca9”。
B:将zh.txt转换为Unicode编码,输出到控制台
C:\test>native2ascii zh.txt
\u7194\u5ca9
可以看到,控制台输出了“\u7194\u5ca9”。
C:将zh.txt转换为ISO8859-1编码,输出文件到i.txt
native2ascii -encoding ISO8859-1 zh.txt i.txt
打开i.txt文件,内容为“\u00c8\u00db\u00d1\u00d2”。
D:将u.txt转换为本地编码,输出到文件u_nv.txt
native2ascii -reverse u.txt u_nv.txt
打开u_nv.txt文件,内容为“熔岩”。
E:将u.txt转换为本地编码,输出到控制台
C:\test>native2ascii -reverse u.txt
熔岩
可以看到,控制台输出了“熔岩”。
F:将i.txt转换为本地编码,输出到i_nv.txt
native2ascii -reverse i.txt i_nv.txt
打开i_nv.txt文件,内容为“\u00c8\u00db\u00d1\u00d2”。发现转码前后完全一样的。也就是说,等于没有转,或者说思想糊涂,对命名没有理解。。

G:将i.txt转换为GBK编码,输出到i_gbk.txt
native2ascii -reverse -encoding GBK i.txt i_gbk.txt
打开i_gbk.txt文件,内容为“\u00c8\u00db\u00d1\u00d2”。发现转码前后完全一样的。也就是说,等于没有转,或者说思想糊涂,对命名没有理解。

H:将u_nv.txt转码到本地编码GBK,输出到控制台
C:\test>native2ascii -reverse -encoding ISO8859-1 i.txt
熔岩
从这个结果看,目标达到到了,编码i.txt为ISO8859-1,转为本地编码后内容为“熔岩”。从这里应该意识到,native2ascii -reverse命令中-encoding指定的编码为源文件的编码格式。而在native2ascii 命令中-encoding指定的编码为(生成的)目标文件的编码格式。这一点非常的重要!切记!!

继续探索,新建文件12a.txt,内容“12axyz”。看看纯字母数字的编码又如何。

I:将纯字母数字的文本文件12a.txt转换为Unicode编码
native2ascii 12a.txt 12a_nv.txt
打开12a_nv.txt文件,内容为“12axyz”。
继续测试,转为ISO8859-1编码看看
C:\test>native2ascii -encoding ISO8859-1 12a.txt
12axyz
结果还是没有转码。
从结果可以得出结论:对于纯数字和字母的文本类型件,转码前后的内容是一样的。

5、总结:native2ascii是一个非常的好转码工具,并且转码是可逆的!而其真正的含义并非本地编码——>转码为ASCII码,而是一个通用的文本文件编码转换工具。在做编码转换的时候有两类指定编码的情形,分别指输出文件编码和输入文件编码,具体可以看看最佳实践部分。
分享到:
评论

相关推荐

    ASCII 及UTF-8 与字符互相转换

    ASCII 和 UTF-8 是两种广泛使用的字符编码标准,它们在计算机科学中扮演着重要的角色,尤其是在文本处理和数据传输方面。这两个编码系统都是为了将人类可读的字符转化为计算机可以理解的形式,但它们的设计和使用...

    gb2312,utf-8,utf-8-bom等编码格式的互相转换

    UTF-8,即“统一字符集的8位无符号格式”,是一种变长编码,可以表示Unicode字符集中所有的字符。对于ASCII字符(如英文字符),UTF-8只用一个字节,而对于非ASCII字符,如汉字,可能需要2到4个字节。UTF-8的最大...

    Unicode编码转UTF-8编码程序

    Unicode转UTF-8

    gb2312,unicode,utf-8转换

    不同的字符编码标准有着各自的特点和应用范围,其中“GB2312”、“Unicode”和“UTF-8”是三种常见的编码格式,它们在中文环境下尤其重要。接下来,我们将深入探讨这三种编码格式及其相互转换。 **GB2312编码** GB...

    文件代码类型的相互转换,Shift_JIS、EUC-JP、ISO-2022-JP、 Unicode、UTF-8

    实现不同文件代码类型,诸如 Shift_JIS、EUC-JP、ISO-2022-JP、 Unicode、UTF-8 的相互変換,FREE软件

    unicode、utf-8、ansi的故事及其相互转换.txt

    在探讨 Unicode、UTF-8 和 ANSI 编码之前,我们需要先了解几个基础概念。 **1. 字符编码(Character Encoding):** 字符编码是将人类可读的文字转化为计算机可以处理的数据的过程。在早期计算机系统中,不同的国家...

    UTF-8-tool.rar_UTF-8toGB2312_UTF-8转化_tool_utf-8

    在实际应用中,由于UTF-8编码的普及,许多现代系统和软件都已支持UTF-8,因此将数据从UTF-8转为GB2312或BIG5的情况相对较少。但在与旧系统交互、处理老数据,或者与不支持UTF-8的第三方服务对接时,这样的工具依然有...

    UTF-8转ANSI文本文件转换器

    UTF-8(Unicode Transformation Format - 8 bit)是一种广泛使用的变长字符编码,它能够表示Unicode字符集中的所有字符。UTF-8的特点是前几个常用的ASCII字符(如英文字符)使用单字节编码,而其他非ASCII字符则使用...

    utf-8 互转 gb2312 转码

    "UTF-8"和"GB2312"是两种常见的字符编码标准,它们各自有不同的历史背景和应用场景。 UTF-8(8位Unicode转换格式)是一种广泛使用的多字节字符编码方案,它兼容ASCII编码并能表示Unicode字符集中的所有字符。UTF-8...

    C#写的 GBK GB2312 UTF-8转换

    3. **UTF-8编码**:UTF-8是一种变长的Unicode编码方式,它可以表示Unicode字符集中所有的字符。UTF-8的优点在于对英文字符使用单字节,对于中文等非ASCII字符则使用多个字节,这使得它在互联网上得到了广泛应用,...

    UTF-8编码转化(Visual Basic)

    UTF-8编码是一种广泛使用的字符编码标准,它能够表示Unicode字符集中的所有字符。在Visual Basic编程环境中,处理UTF-8编码的文件或数据时,你需要理解如何读取、写入以及转换UTF-8格式的数据。以下是一些关键的知识...

    Txt批量转UTF-8的工具

    2. UTF-8编码:这是一种Unicode的变体,支持几乎世界上所有的字符,包括汉字、日文、韩文等。UTF-8的特点是它使用1至4个字节表示一个字符,英文字符和ASCII字符只占用1个字节,这使得它在互联网上传输和存储时更为...

    快速转码(UTF-8转ASCII)

    而UTF-8是一种变长的Unicode编码,它可以表示世界上几乎所有的字符,包括汉字和其他非英文字符,它使用1到4个字节来编码一个字符。 在Java Web开发中,UTF-8转ASCII的场景通常出现在需要与只支持ASCII编码的系统或...

    VB中ANSI转换成UTF-8

    而UTF-8是一种广泛使用的Unicode编码,能表示世界上几乎所有的字符,具有良好的跨平台性和兼容性。 在VB中进行编码转换,可以使用内置的函数或者第三方库。一个基本的方法是利用`ADODB.Stream`对象,它可以读写文本...

    UCS-2转换为utf-8代码

    UCS-2转换为UTF-8代码集完整版 UCS-2(Universal Character Set 2)是一种 Unicode 编码形式,用于表示 Unicode 字符。...通过使用 UCS2toUTF8Code 函数和 TStr2UTF8 函数,可以实现 UCS-2 到 UTF-8 的转换。

    批量文件编码转换工具(Utf-8转GB2312、GB2312转Utf-8)

    Utf-8是一种广泛使用的Unicode编码方式,它能够表示世界上几乎所有的字符,且在互联网上被普遍接受。相比之下,GB2312是中国大陆早期的简体中文编码标准,主要针对简体汉字,但对其他语言或繁体字的支持不足。 描述...

    utf-8、ANSI、Unicode相互转化c++实现

    utf-8、ANSI、Unicode相互转化c++实现 std::string ConverANSI2UTF8(const std::string & str); std::wstring ConverANSI2Unicode(const std::string str); std::wstring ConverUTF82Unicode(const std::string str)...

    字符编码ASCII、GB2312、Unicode、UTF-8.pdf

    对于ASCII字符,UTF-8编码与ASCII编码完全一致,使用1个字节表示,这使得UTF-8在兼容ASCII文本的同时,也能处理Unicode字符,成为现代网络传输和存储文本的主流编码方式。 文章通过有趣的例子解释了字符编码的重要...

    WP7GB2312和utf-8转化

    总之,WP7GB2312和utf-8转化是一个涉及到字符编码理论和.NET Framework编程实践的重要话题,对于开发涉及多语言支持的应用程序至关重要。理解和掌握各种编码转换技巧,能够帮助开发者解决跨平台和跨语言环境下的数据...

    编码查询 各种文本转到 unicode utf-8 gb2312 编码 unicode utf-8 gb2312 编码转换到文字

    本文将深入探讨“编码查询”这一主题,包括Unicode、UTF-8和GB2312编码之间的转换,并讨论如何将这些编码转换为可读的文字。 首先,我们要理解编码的基本概念。编码是将字符(如字母、数字、符号)转化为二进制表示...

Global site tag (gtag.js) - Google Analytics