JAVA基础----java和Unicode

    Java与Unicode：(转)
    
    Java的class文件采用utf8的编码方式，JVM运行时采用utf16。Java的字符串是unicode编码的。总之，
    
    Java采用了unicode字符集，使之易于国际化。
    
    Java支持哪些字符集：
    
    
    即Java能识别哪些字符集并对它进行正确地处理？查看Charset 类，最新的JDK支持160种字符集。可以通
    
    过static方法availableCharsets拿到所有Java支持的字符集。
    
    Java代码 
    assertEquals(160, Charset.availableCharsets().size());   
    Set<String> charsetNames = Charset.availableCharsets().keySet();    
    assertTrue(charsetNames.contains("utf-8"));    
    assertTrue(charsetNames.contains("utf-16"));    
    assertTrue(charsetNames.contains("gb2312"));    
    assertTrue(Charset.isSupported("utf-8")); 
    
    
    需要在哪些时候注意编码问题？
    
    1.从外部资源读取数据：
    
    
    这跟外部资源采取的编码方式有关，我们需要使用外部资源采用的字符集来读取外部数据：
    
    Java代码 
    InputStream is = new FileInputStream("res/input2.data");    
    InputStreamReader streamReader = new InputStreamReader(is, "GB18030"); 
    
    
    这里可以看到，我们采用了GB18030编码读取外部数据，通过查看streamReader的encoding可以印证：
    
    Java代码 
    assertEquals("GB18030", streamReader.getEncoding());  
    
    
    正是由于上面我们为外部资源指定了正确的编码，当它转成char数组时才能正确地进行解码（GB18030 ->
    
     unicode）：
    
    Java代码 
    char[] chars = new char[is.available()];    
    streamReader.read(chars, 0, is.available()); 
    
    
    但我们经常写的代码就像下面这样：
    
    Java代码 
    InputStream is = new FileInputStream("res/input2.data");    
    InputStreamReader streamReader = new InputStreamReader(is); 
    
    
    这时候InputStreamReader采用什么编码方式读取外部资源呢？Unicode？不是，这时候采用的编码方式
    
    是JVM的默认字符集，这个默认字符集在虚拟机启动时决定，通常根据语言环境和底层操作系统的 charset
    
     来确定。可以通过以下方式得到JVM的默认字符集：
    
    Java代码 
    Charset.defaultCharset();   
    
    
    为什么要这样？因为我们从外部资源读取数据，而外部资源的编码方式通常跟操作系统所使用的字符集一样，
    
    所以采用这种默认方式是可以理解的。
    
    
    好吧，那么我通过我的IDE Ideas创建了一个文件，并以JVM默认的编码方式从这个文件读取数据，但读出来
    
    的数据竟然是乱码。为何？呵呵，其实是因为通过Ideas创建的文件是以utf-8编码的。要得到一个JVM默认
    
    编码的文件，通过手工创建一个txt文件试试吧。
    
    2.字符串和字节数组的相互转换
    
    
    我们通常通过以下代码把字符串转换成字节数组：
    
    Java代码 
    "string".getBytes(); 
    
    
    但你是否注意过这个转换采用的编码呢？其实上面这句代码跟下面这句是等价的：
    
    Java代码 
    "string".getBytes(Charset.defaultCharset());  
    
    
    也就是说它根据JVM的默认编码（而不是你可能以为的unicode）把字符串转换成一个字节数组。
    
    
    反之，如何从字节数组创建一个字符串呢？
    
    Java代码 
    new String("string".getBytes()); 
    
    
    同样，这个方法使用平台的默认字符集解码字节的指定数组（这里的解码指从一种字符集到unicode）。
    
    字符串编码迷思：
    
    Java代码 
    new String(input.getBytes("ISO-8859-1"), "GB18030") 
    
    
    上面这段代码代表什么？有人会说： “把input字符串从ISO-8859-1编码方式转换成GB18030编码方式”。
    
    如果这种说法正确，那么又如何解释我们刚提到的java字符串都采用unicode编码呢？
    
    
    这种说法不仅是欠妥的，而且是大错特错的，让我们一一来分析，其实事实是这样的：我们本应该用
    
    GB18030的编码来读取数据并解码成字符串，但结果却采用了ISO-8859-1的编码，导致生成一个错误的字
    
    符串。要恢复，就要先把字符串恢复成原始字节数组，然后通过正确的编码GB18030再次解码成字符串（即
    
    把以GB18030编码的数据转成unicode的字符串）。注意，字符串永远都是unicode编码的。
    
    
    但编码转换并不是负负得正那么简单，这里我们之所以可以正确地转换回来，是因为 ISO8859-1 是单字节编
    
    码，所以每个字节被按照原样 转换为 String ，也就是说，虽然这是一个错误的转换，但编码没有改变，所以
    
    我们仍然有机会把编码转换回来！
    
    总结：
    
    
    所以，我们在处理java的编码问题时，要分清楚三个概念：Java采用的编码：unicode，JVM平台默认字符
    
    集和外部资源的编码。
    
    
    程序示例：
    
   

public static void main(String args[])    
        {    
            System.out.println("default charset : "+Charset.defaultCharset());    
            String str = "abc你好";//string with UTF-8 charset    
        
            byte[] bytes = str.getBytes(Charset.forName("UTF-8"));//convert to byte array with UTF-8 encode    
            for (byte b : bytes)    
            {    
                System.out.print(b + " ");    
            }    
            System.out.println();    
            try    
            {    
                String str1 = new String(bytes, "UTF-8");//to UTF-8 string    
                String str2 = new String(bytes, "ISO-8859-1");//to ISO-8859-1 string    
                String str3 = new String(bytes, "GBK");//to GBK string    
        
                System.out.println(str1);//abc你好    
                System.out.println(str2);//abc??????    
                System.out.println(str3);//abc浣犲ソ    
        
                System.out.println();    
                byte[] bytes2 = str2.getBytes(Charset.forName("ISO-8859-1"));    
                for (byte b : bytes2)    
                {    
                    System.out.print(b + " ");    
                }    
                System.out.println();    
                String str22 = new String(bytes2, "UTF-8");    
                System.out.println(str22);//abc你好    
                    
                System.out.println();    
                byte[] bytes3 = str3.getBytes(Charset.forName("GBK"));    
                for (byte b : bytes3)    
                {    
                    System.out.print(b + " ");    
                }    
                System.out.println();    
                String str33 = new String(bytes3, "UTF-8");    
                System.out.println(str33);//abc你好    
            } catch (UnsupportedEncodingException e)    
            {    
                e.printStackTrace();    
            }    
        }    

    
    运行结果：
    
    [html]  www.2cto.com
    default charset : GBK   
    97 98 99 -28 -67 -96 -27 -91 -67    
    abc你好   
    abc??????   
    abc浣犲ソ   
       
    97 98 99 -28 -67 -96 -27 -91 -67    
    abc你好   
       
    97 98 99 -28 -67 -96 -27 -91 -67    
    abc你好   

字符集相关测试代码

package com.hank.comments;

import java.io.UnsupportedEncodingException;
import java.nio.charset.Charset;

public class Test {
	public static void main(String[] args) throws UnsupportedEncodingException {
		String str = "中文";
		//str = new String("中文".getBytes("gbk"), "gbk");
		//System.out.println(Charset.defaultCharset());
		
		System.out.println("中文unicode--->gbk");
		printBytes("中文".getBytes("gbk"));//unicode--->gbk
		System.out.println("中文unicode--->utf8");
		printBytes("中文".getBytes("utf8"));//unicode--->utf8
		
		str = new String("中文".getBytes("gbk"), "gbk");//unicode---->gbk---->unicode
		
		System.out.println("中文unicode---->gbk---->utf8---->unicode---->utf8");
		str = new String("中文".getBytes("utf8"), "gbk");//unicode---->gbk---->utf8---->unicode
		printBytes(str.getBytes("utf8"));
		
		str = new String(str.getBytes("gbk"), "utf8");
		System.out.println(str);
		
		
		//bytes数组，charset是字节数组安装什么方式编码生成字符串
		//new String(bytes, charset)
		//System.out.println(new String(str.getBytes("utf8"), "utf8"));
//		byte[] jvmBytes = str.getBytes("unicode");
//		System.out.println("jvm Encoding: " + bytesToHexString(jvmBytes));
//		
//		byte[] defaultBytes = str.getBytes();
//		System.out.println("page Encoding:" + bytesToHexString(defaultBytes));
//		
//		byte[] utf8Bytes = str.getBytes("utf8");
//		System.out.println("uft8:         " + bytesToHexString(utf8Bytes));
//		
//		byte[] gb2312Bytes = str.getBytes("gb2312");
//		System.out.println("gb2312:       " + bytesToHexString(gb2312Bytes));
//		
//		byte[] gbkBytes = str.getBytes("gbk");
//		System.out.println("gbk:          " + bytesToHexString(gbkBytes));
//		
//		byte[] gb18030Bytes = str.getBytes("gb18030");
//		System.out.println("gb18030Bytes: " + bytesToHexString(gb18030Bytes));
//		
//		byte[] iso8859_1Bytes = str.getBytes("iso8859-1");
//		System.out.println("iso8859-1:    " + bytesToHexString(iso8859_1Bytes));
//		
//		for(int i=0; i<iso8859_1Bytes.length; i++) {
//			System.out.println(iso8859_1Bytes[i]);
//		}
	}
	
	
	/** 
     * byte数组转换成16进制字符串 
     * @param src 
     * @return 
     */  
    public static String bytesToHexString(byte[] src){       
    	StringBuilder stringBuilder = new StringBuilder();       
        if (src == null || src.length <= 0) {       
        	return null;       
        }       
        for (int i = 0; i < src.length; i++) {       
        	int v = src[i] & 0xFF;      
        	String hv = Integer.toHexString(v);       
        	if (hv.length() < 2) {       
        		stringBuilder.append(0);       
        	}       
        	stringBuilder.append(hv);       
        }       
        return stringBuilder.toString();       
    }  
    
    public static void printBytes(byte[] src) {
    	for (byte b : src) {
			System.out.print(b + " ");
		}
    	System.out.println();
    }
}