`

理解并解决GBK转UTF-8奇数中文乱码

 
阅读更多
最近在做一个反馈功能,把数据反馈到对方公司网站,我公司是GBK编码,对方公司是UTF-8编码。因此,我需要将GBK编码数据转换成UTF-8编码数据,这样对方网站才不会乱码。最简单的方法是将HttpClient的ContentCharset设置为utf-8;如果ContentCharset是gbk并且又不想设置为utf-8,那么就需要将数据转换成UTF-8编码再发到对方网站。

问题出现:GBK转UTF-8时,奇数个中文会乱码,偶数个中文不会乱码。
三个中文
Java代码 
public static void encodeError() throws UnsupportedEncodingException { 
    String gbk = "我来了"; 
    String utf8 = new String(gbk.getBytes("UTF-8")); 
 
    //模拟UTF-8编码的网站显示 
    System.out.println(new String(utf8.getBytes(),"UTF-8")); 

/*
我来??
*/ 
前面三个中文,后面一个中文,都是奇数
Java代码 
public static void encodeError2() throws UnsupportedEncodingException { 
    String gbk = "今年是2011年"; 
    String utf8 = new String(gbk.getBytes("UTF-8")); 
 
    //模拟UTF-8编码的网站显示 
    System.out.println(new String(utf8.getBytes(),"UTF-8")); 

/*
今年??011??
*/ 

原因:为什么只有奇数个中文才乱码,偶数个却不乱码?下面来分析原因
Java代码 
public static void analyze() throws UnsupportedEncodingException { 
    String gbk = "我来了"; 
    String utf8 = new String(gbk.getBytes("UTF-8")); 
    for (byte b : gbk.getBytes("UTF-8")) { 
        System.out.print(b + " "); 
    } 
    System.out.println(); 
    for (byte b : utf8.getBytes()) { 
        System.out.print(b + " "); 
    } 

/*
-26 -120 -111 -26 -99 -91 -28 -70 -122 
-26 -120 -111 -26 -99 -91 -28 -70 63 
*/ 
注意最后一个字节不同,上面一行才是正确的UTF-8编码。那么为什么下面一行最后一个字节是63,而不是-122呢?这就是导致乱码的原因所在。
GBK编码是一个中文2个字节,而UTF-8编码是一个中文3个字节,当我们调用getBytes("UTF-8")方法时,会通过计算来增加字节,使得从GBK的2个字节变成UTF-8对应的3个字节。因此,上例3个中文输出了9个字节。

这里讲一下怎么通过计算增加字节,不深究的读者可以跳过此段。为了醒目,直接用代码讲解
Java代码 
public static void gbk2Utf() throws UnsupportedEncodingException { 
    String gbk = "我来了"; 
    char[] c = gbk.toCharArray(); 
    byte[] fullByte = new byte[3*c.length]; 
    for (int i=0; i<c.length; i++) { 
        String binary = Integer.toBinaryString(c[i]); 
        StringBuffer sb = new StringBuffer(); 
        int len = 16 - binary.length(); 
        //前面补零 
        for(int j=0; j<len; j++){ 
                sb.append("0"); 
            } 
        sb.append(binary); 
        //增加位,达到到24位3个字节 
        sb.insert(0, "1110"); 
            sb.insert(8, "10"); 
            sb.insert(16, "10"); 
            fullByte[i*3] = Integer.valueOf(sb.substring(0,, 2).byteValue();//二进制字符串创建整型 
            fullByte[i*3+1] = Integer.valueOf(sb.substring(8, 16), 2).byteValue(); 
            fullByte[i*3+2] = Integer.valueOf(sb.substring(16, 24), 2).byteValue(); 
    } 
    //模拟UTF-8编码的网站显示 
    System.out.println(new String(fullByte,"UTF-8")); 


现在我们来找出最后一个字节是63,而不是-122的原因。
Java代码 
public static void analyze2() throws UnsupportedEncodingException { 
    String gbk = "我来了"; 
    byte[] utfBytes = gbk.getBytes("UTF-8");//得到9个字节 
    String utf8 = new String(utfBytes);//问题就出在这 
    System.out.print(utf8); 

/*
鎴戞潵浜?
*/ 
因为文件是GBK编码,new String(utfBytes)默认就是new String(utfBytes,"GBK")。它会2个字节2个字节地转换成字符,当字节是奇数时最后1个字节转字符就会计算错误,然后直接赋予最后这个字符为?,对应ASCII代码就是63。

解决问题
保证字节正确才是硬道理。当调用getBytes("UTF-8")转换成字节数组后,创建ISO-8859-1编码的字符串,ISO-8859-1编码是一个字节对应一个字符,因此不会使最后一个字节错误。
Java代码 
public static void correctEncode() throws UnsupportedEncodingException { 
    String gbk = "我来了"; 
    String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1"); 
    for (byte b : iso.getBytes("ISO-8859-1")) { 
        System.out.print(b + " "); 
    } 
    System.out.println(); 
 
    //模拟UTF-8编码的网站显示 
    System.out.println(new String(iso.getBytes("ISO-8859-1"),"UTF-8")); 

/*
-26 -120 -111 -26 -99 -91 -28 -70 -122 
我来了
*/ 

0
1
分享到:
评论

相关推荐

    GBK、UTF-8编码转换工具

    GBK、UTF-8批量文件3秒快速转码工具(支持GBK,UTF-8免费转换),UTF-8/GBK编码在线转换工具,压缩包可以有多目录与文件,如目录中有图片不会转码,但是会随转码好的文件一起打包下载。 使用帮助 . 上传压缩包(仅支持zip...

    UTF-8toGBK_labview编码gbk_LabVIEWUTF-8_utf-8toGbk_

    在IT行业中,字符编码是一个非常重要的概念,尤其是在处理多语言数据和跨平台通信时。UTF-8和GBK是两种常见..."UTF-8toGBK.vi"这个VI提供了一个实用的工具,可以帮助开发者解决在处理中文字符串时可能出现的编码问题。

    C#写的 GBK GB2312 UTF-8转换

    Console.WriteLine("GBK转UTF-8后的字符串:" + utf8Str); } } ``` 在这个例子中,`Encoding.GetEncoding("GBK")`获取了GBK编码器,`GetBytes()`方法将GBK编码的字符串转换为字节数组,然后`Encoding.UTF8....

    GBK与UTF-8转码(C++)

    ### GBK与UTF-8转码(C++) #### 知识点概述 本文将详细介绍如何在Microsoft Foundation Classes (MFC)环境下实现GBK与UTF-8之间的编码转换。该技术适用于那些需要处理不同字符集数据的应用程序开发场景,特别是在...

    c gbk和 utf-8 转换

    GBK和UTF-8是两种广泛使用的字符编码标准,它们各自有不同的特性和应用场景。本文将深入探讨C语言中如何实现GBK与UTF-8的互相转换,同时不依赖任何外部库。 GBK是中国大陆广泛采用的一种汉字编码标准,它是GB2312的...

    eclispe GBK转UTF-8乱码解决

    本文将详细讨论如何在Eclipse中解决GBK转UTF-8乱码的问题,以及介绍一种插件工具来帮助统一编码格式。 首先,我们需要了解GBK和UTF-8编码的区别。GBK是中国大陆的标准汉字编码,它是GB2312的扩展,包含更多的汉字和...

    批量转 GBK 转 UTF-8 gb2312 Iso-8959-1 转 UTF-8

    在标题和描述中提到的“批量转 GBK 转 UTF-8”、“gb2312 转 UTF-8”以及“Iso-8859-1 转 UTF-8”是指将使用这些编码格式的文件转换成UTF-8编码。这是因为UTF-8具有广泛的兼容性和通用性,许多系统和软件默认使用UTF...

    java文件编码GBK转utf8完美解决方案

    idea、Eclipse等项目导入.java文件中文乱码完美解决方案:文件夹下所有GBK编码的.java一键转为utf-8,操作方式:将GBK2UTF8.jar文件考到需要转码项目目录,在当前位置运行控制台,输入命令java -jar GBK2UTF8.jar,...

    GBK转UTF-8

    标题"GBK转UTF-8"指的是将使用GBK编码的文件或工程转换为使用UTF-8编码的过程。下面我们将深入探讨这两种编码以及转换工具的使用。 GBK编码,全称为“汉字内码扩展规范”,是中国大陆广泛使用的多字节字符集,它...

    GBK 与 UTF-8 间编码转换

    描述中提到的“用vs2017写的”小程序就是为了解决这个问题,通过编程实现GBK到UTF-8或者UTF-8到GBK的转换,以提高工作效率。 编码转换的原理通常是读取原始编码的字节流,然后根据目标编码的规则重新分配字节。对于...

    项目编码修改, GBK 变UTF-8 , 全格式转UTF-8, 编码转utf-8

    请使用这款软件,直接将代码转换为UTF-8 注意: 1、xml不需要转换,因为xml默认是utf-8,在你新建的时候已经是正确的格式了 2、图片更不需要转换 3、bin目录,gen目录的直接忽略 4.只需要src目录的代码转换,请确保...

    gbk转换utf-8工具!绝对给力!

    5. **转换过程**:GBK转UTF-8工具的工作原理是读取GBK编码的文件,根据GBK的编码规则解析出原始的Unicode码点,然后按照UTF-8的编码规则重新生成字节流,保存为新的UTF-8编码文件。 6. **注意事项**:在进行编码...

    pb12 gb转utf-8

    转换“pb12 gb转utf-8”意味着你可能有一个使用PowerBuilder 12编写的程序或数据库,其中的数据是以GBK编码存储的,现在需要将这些数据转换为UTF-8编码以便在更广泛的环境中使用或与其他系统进行兼容。 这个过程...

    Eclipse项目的GBK编码转为UTF-8插件

    当开发者将一个原本使用GBK编码的Eclipse项目导入到Android Studio时,由于Android Studio默认使用的是UTF-8编码,可能会遇到编码不匹配的问题,导致代码显示乱码或编译错误。解决这个问题通常需要手动逐个文件转换...

    Linux 下批量 gbk 转 utf-8 编码脚本

    Linux 下批量 gbk 转 utf-8 编码脚本

    转码工具gbk转utf-8,支持批量

    本篇文章将详细解析这两种编码方式以及如何进行转换,特别是针对“转码工具gbk转utf-8,支持批量”这一主题。 首先,GBK(Great Chinese Coding)是一种中文扩展的编码标准,它是GB2312的升级版,包含了更多的汉字...

    批量将Java源代码文件的编码从GBK转为UTF-8

    老项目采用GBK编码格式,而新项目采用的UTF-8编码格式,如果直接把Java源代码复制到Eclipse中所有的中文信息会出现乱码。所以写了个小的方法类,将java文件的编码格式从GBK转UTF-8

    eclipse中class乱码GBK-UTF-8转换工具

    这篇博客文章“eclipse中class乱码GBK-UTF-8转换工具”正是为了解决这个问题。 GBK是GB2312的扩展,包含了更多的汉字和其他字符,主要在中国大陆使用。UTF-8则是一种广泛使用的Unicode编码,支持世界上几乎所有的...

    文件编码转换,GBK和UTF-8双向互换,批处理文化方法

    文件包含:gbk2utf-8.bat、utf-82gbk.bat、iconv.exe及使用说明.txt四个文件 使用说明:1把要转换的所有.h和.c文件拷入该目录下,双击相应的bat文件即可。 2转换结果会保存在utf-8Res或gbkRes目录下。 3如果转换除...

    gbk转Utf8_编码转换_firegbi_GBK转UTF-8_

    总之,GBK到UTF-8的转换是解决中文字符编码问题的关键步骤,尤其在跨平台或与国际化的系统交互时。通过理解编码原理和使用Python的`codecs`模块,我们可以有效地完成这个任务,确保数据的正确性和兼容性。

Global site tag (gtag.js) - Google Analytics