字符编码问题学习笔记

字符编码问题学习笔记

 

本文主要讨论几种常见的编码方式以及相互关系

（ISO-8859-1、GBK、GB2312、GB18030、UTF-8、UTF-16、UTF-16BE、UTF-16LE）

 

ISO-8859-1:

ISO/IEC 8859-1 ，又称Latin-1 或“西欧语言”，是国际标准化组织 内ISO/IEC 8859 的第一个8位字符集。它以ASCII 为基础，在空置的0xA0-0xFF的范围内，加入92 个字母及符号，藉以供使用变音符号 的拉丁字母 语言使用。

详细介绍请看： http://wiki.ccw.com.cn/ISO_8859-1

GBK、GB2312、GB18030、BIG5:

GB2312对应的简体汉字的编码，而BIG5则对于繁体汉字的编码；GBK对简体繁体的汉字都做了编码，且向下兼容GB2312；GB18030 是最新的汉字编码字符集国家标准, 向下兼容 GBK 和 GB2312 标准。 GB18030 编码是一二四字节变长编码，GB18030 编码在码位空间上做到了与 Unicode 标准一一对应,这一点与 UTF-8 编码类似。

详细介绍请看： http://blog.csdn.net/liujinchengjx/archive/2007/03/13/1527909.aspx

 

UTF-8、UTF-16、UTF-16BE、UTF-16LE:

详细介绍请看：http://blog.csdn.net/fmddlmyy/archive/2005/05/04/372148.aspx

 

 

附上一段代码，可以返回字符串在各种字符集下的编码值

D:\workspace\JavaBaseKnowledge\src>java CharsetTest "编码A"
字符串：[编码A]
===================================
java内码为：7f16 7801 41
字节数：5;编码：GB2312
字节数：5;编码：GBK
字节数：5;编码：GB18030
字节数：3;编码：ISO-8859-1
字节数：7;编码：UTF-8
字节数：8;编码：UTF-16
字节数：6;编码：UTF-16BE
字节数：6;编码：UTF-16LE
字节数：5;编码：defaulCharset
[编码A]在GB2312 下的字节码为：b1 e0 c2 eb 41
[编码A]在GBK    下的字节码为：b1 e0 c2 eb 41
[编码A]在GB18030        下的字节码为：b1 e0 c2 eb 41
[编码A]在ISO-8859-1     下的字节码为：3f 3f 41
[编码A]在UTF-8  下的字节码为：e7 bc 96 e7 a0 81 41
[编码A]在UTF-16 下的字节码为：fe ff 7f 16 78 1 0 41
[编码A]在UTF-16BE       下的字节码为：7f 16 78 1 0 41
[编码A]在UTF-16LE       下的字节码为：16 7f 1 78 41 0
[编码A]在defaulCharset  下的字节码为：b1 e0 c2 eb 41

从结果看：1.GB2312,GBK,GB18030汉字2个字节，英文一个字节；UTF-8汉字3个字节，英文一个字节。它们编码是变长的


        2.JAVA内码的编码类型为UTF-16BE

 import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Iterator;
import java.util.List;

public class CharsetTest {

	private final static String DEFAULT_CHARSET = "defaulCharset";

	/** 常用字符集 */
	private final static String[] CHARSETNAME_ARRAY = { "GB2312", "GBK",
			"GB18030", "ISO-8859-1", "UTF-8", "UTF-16", "UTF-16BE", "UTF-16LE",
			DEFAULT_CHARSET };

	/**
	 * 打印字符串在指定编码下的字节数和编码名称到控制台
	 * 
	 * @param aStr
	 *            字符串
	 * @param aCharsetName
	 *            编码格式
	 */
	public static void printByteLength(String aStr, String aCharsetName) {
		System.out.print("字节数：");
		try {
			byte[] bytes;
			if (DEFAULT_CHARSET.equals(aCharsetName)) {
				bytes = aStr.getBytes();
			} else {
				bytes = aStr.getBytes(aCharsetName);
			}
			System.out.print(bytes.length);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}
		System.out.println(";编码：" + aCharsetName);
	}

	/**
	 * 打印字符串在常用编码下的字节数和编码名称到控制台
	 * 
	 * @param aStr
	 *            字符串
	 */
	public static void printByteLength(String aStr) {
		for (String aCharsetName : CHARSETNAME_ARRAY) {
			printByteLength(aStr, aCharsetName);
		}
	}

	/**
	 * 打印字符串在指定编码下的字节码，16进制表示
	 * 
	 * @param aStr
	 *            字符串
	 * @param aCharsetName
	 *            编码格式
	 */
	public static void printByte(String aStr, String aCharsetName) {
		System.out.print("[" + aStr + "]在" + aCharsetName + "\t下的字节码为：");
		try {
			byte[] bytes;
			if (DEFAULT_CHARSET.equals(aCharsetName)) {
				bytes = aStr.getBytes();
			} else {
				bytes = aStr.getBytes(aCharsetName);
			}
			List<String> byteStrs = getByteStr(bytes);
			System.out.print(join(byteStrs, " "));
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}
		System.out.println();
	}

	public static List<String> getByteStr(byte[] bytes) {
		List<String> byteStrs = new ArrayList<String>();
		for (byte aByte : bytes) {
			String hexString = Integer.toHexString(aByte & 0xFF);
			//String hexString = Integer.toString(aByte & 0xFF);
			//String hexString = Byte.toString(aByte);
			byteStrs.add(hexString);
		}
		return byteStrs;
	}

	/**
	 * 打印字符串在常用编码下的字节码，16进制表示
	 * 
	 * @param aStr
	 *            字符串
	 */
	public static void printByte(String aStr) {
		for (String aCharsetName : CHARSETNAME_ARRAY) {
			printByte(aStr, aCharsetName);
		}
	}

	/**
	 * 打印字符串在java默认编码下的字符串，16进制表示
	 * 
	 * @param aStr
	 *            字符串
	 */
	public static void printJavaInnerUnicode(String aStr) {
		System.out.print("java内码为：");
		for (int i = 0, length = aStr.length(); i < length; i++) {
			char aChar = aStr.charAt(i);
			String yingHex = Integer.toHexString(aChar);
			System.out.print(yingHex + " ");
		}
		System.out.println();
	}

	public static <T> String join(final Collection<T> objs,
			final String delimiter) {
		if (objs == null || objs.isEmpty())
			return "";
		Iterator<T> iter = objs.iterator();
		StringBuffer buffer = new StringBuffer(iter.next().toString());
		while (iter.hasNext())
			buffer.append(delimiter).append(iter.next().toString());
		return buffer.toString();
	}

	public static void main(String[] args) {
		if (args.length == 0) {
			String usage = "Usage: java CharsetTest inputString";
			System.out.println(usage);
			return;
		}
		String ch = args[0];

		System.out.println("字符串：[" + ch
				+ "]\n===================================");
		printJavaInnerUnicode(ch);
		CharsetTest.printByteLength(ch);
		CharsetTest.printByte(ch);
	}

}