java 把gbk字符串转为UTF8 的解决方案

0 0

java 把gbk字符串转为UTF8 的解决方案20

网上找了很多都不行啊大家能不能帮下忙全部分都给了

2013年4月20日 11:56

guava
1
0 0 4

看看这个 https://github.com/downgoon/gbk2utf8 直接提供了工具，下载先来，一条命令全搞定。java -jar gbk2utf8-0.0.1-SNAPSHOT-all.jar $src-gbk-path $dst-utf8-path

而且关键是，如果源目录中既有GBK，又有UTF-8，很多工具最终笼统的对每个文件都 GBK -> UTF-8，会导致原本就是UTF-8，被误做GBK转码，最后出来的反而是乱码的，这个工具首先识别了源文件是否是GBK，只有是GBK的才转，不是GBK的直接跳过。

2016年12月04日 11:22

eyesmore
10
0 0 0

添加评论

0 0

看个例子：
String s1 = "hello中国人";
String iso = new String(s1.getBytes("utf-8"), "iso-8859-1");
System.out.println(iso);//helloä¸å½äºº
String utf8 = new String(iso.getBytes("iso-8859-1"), "utf-8");
System.out.println(utf8);//hello中国人

String s1 = "hello中国人";
String gbk = new String(s1.getBytes("utf-8"), "gbk");
System.out.println(gbk);//hello涓浗浜�
String utf8 = new String(gbk.getBytes("gbk"), "utf-8");
System.out.println(utf8);//hello中国�?

并不是什么中文奇数偶数的问题，刚好偶数个中文可以成功，可以说是巧合也可是说不是巧合。
总之，用什么编码就用什么解码，如果已经是乱码了，可能可以恢复，也可能恢复不了。能恢复的前提是，产生乱码时用的是单字节编码。

2015年9月15日 21:56

落叶留步
30
0 0 2

添加评论

0 0

这篇文章应该能帮到你，编码问题汇总-http://www.blogjava.net/zhangchao/archive/2011/05/26/351051.html

2013年4月21日 12:14

chinaagan
60
0 0 5

添加评论

0 0

呵呵，没想到我的答案被评价为没有价值的，sigh。
好吧，看来不仔细说明不行。程序员的读代码能力是很重要滴。

首先，java在内存中是使用的双字节字符unicode的编码方式。
每个char对应的是32位的整型。
内存中对字符串操作其实不用考虑字符集。

只有在读取到内存中，和输出时，需要考虑字符集转换。

如果源代码中包含中文字符串，java编译器会按照编译时指定的字符集转换到unicode。
（不指定时，按当前操作系统的配置来）

当一个java程序从外部获取字符串时，使用Reader系列类，
会按照默认或者指定的字符集读取，然后转换到unicode。
也就是为啥我在读文件时指定了 Charset.forName("GBK")
单纯的InputStream类不能处理字符集。

需要utf-8一般是为了输出。有两种方式，一种，使用Writer，内置了字符集转换能力。
选择合适的，然后在构造函数中指定即可。（有Writer是往OutputStream输出的，一下想不起名字了）

还有一种就是，自己用String的getBytes(charset)方法，得到转换过后的编码的二进制数组，然后对这个数组处理。比如我的代码中的FileOutputStream

2013年4月21日 11:08

dwangel
941
0 1 13

1条评论

0 0

奇数个汉字直接gbk转utf-8乱码，可以使用以下：

String gbk = "我来了"; 
String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1"); 
String utf8=new String(iso.getBytes("ISO-8859-1"),"UTF-8");

，具体原理请参考：http://blog.csdn.net/xfblue2dreamfy/article/details/6935594

2013年4月20日 13:41

zyn010101
2795
2 3 156

添加评论

0 0

下面还有一种方式getUTF8StringFromGBKString（从其它博客转过来的），可供你参考：

package test;

import java.io.UnsupportedEncodingException;

public class TestEncoder {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws Exception {
		String gbk = "iteye问答频道编码转换问题";
		
		String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1"); 

		System.out.println(iso);
		
		String utf8 = new String(iso.getBytes("ISO-8859-1"),"UTF-8");
		System.out.println(utf8);
		
		System.out.println(getUTF8StringFromGBKString(gbk));
	}

	public static String getUTF8StringFromGBKString(String gbkStr) {
		try {
			return new String(getUTF8BytesFromGBKString(gbkStr), "UTF-8");
		} catch (UnsupportedEncodingException e) {
			throw new InternalError();
		}
	}
	
	public static byte[] getUTF8BytesFromGBKString(String gbkStr) {
		int n = gbkStr.length();
		byte[] utfBytes = new byte[3 * n];
		int k = 0;
		for (int i = 0; i < n; i++) {
			int m = gbkStr.charAt(i);
			if (m < 128 && m >= 0) {
				utfBytes[k++] = (byte) m;
				continue;
			}
			utfBytes[k++] = (byte) (0xe0 | (m >> 12));
			utfBytes[k++] = (byte) (0x80 | ((m >> 6) & 0x3f));
			utfBytes[k++] = (byte) (0x80 | (m & 0x3f));
		}
		if (k < utfBytes.length) {
			byte[] tmp = new byte[k];
			System.arraycopy(utfBytes, 0, tmp, 0, k);
			return tmp;
		}
		return utfBytes;
	}
}

2013年4月20日 12:46

Dead_knight
1227
2 3 49

添加评论

0 0

public class TestEncoder {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws Exception {
		String gbk = "iteye问答频道编码转换问题";
		
		String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1"); 

		System.out.println(iso);
		
		String utf8 = new String(iso.getBytes("ISO-8859-1"),"UTF-8");
		System.out.println(utf8);
	}
}

2013年4月20日 12:43

Dead_knight
1227
2 3 49

1条评论

0 1

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.nio.charset.Charset;


public class StringConverter {
	private static void convertFile(File src, String outputFile) throws IOException {
		char[] buf = new char[1024];
		StringBuilder strb = new StringBuilder();
		
		InputStreamReader isr = null;
		
		try {
			isr = new InputStreamReader(new FileInputStream(src), Charset.forName("GBK"));
			int readCount = 0;
			while ( -1 != (readCount =isr.read(buf))) {
				strb.append(buf, 0, readCount-1);
			}
			
		} finally {
			if (isr!=null) {
				try {
					isr.close();
				} catch (IOException e) {
				}
			}
		}
		// first method to output
		PrintWriter pw = null;
		try {
			pw = new PrintWriter(outputFile+"1.txt", "utf-8");
			pw.write(strb.toString());
			pw.flush();
		} finally {
			if (null != pw) {
				pw.close();
			}
		}
		// second method to output
		FileOutputStream fos = null;
		try {
			fos = new FileOutputStream(outputFile+"2.txt");
			fos.write(strb.toString().getBytes("utf-8"));
			fos.flush();
		} finally {
			if (fos!=null) {
				try {
					fos.close();
				} catch (IOException e) {
				}
			}
		}
	}
	
	public static void main(String[] args) throws IOException {
		convertFile(new File("content.txt"), "converted");
	}

}

2013年4月20日 20:19

dwangel
941
0 1 13