`
无量
  • 浏览: 1148491 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

JAVA基础----java和Unicode

阅读更多
    Java与Unicode:(转)
    
    Java的class文件采用utf8的编码方式,JVM运行时采用utf16。Java的字符串是unicode编码的。总之,
    
    Java采用了unicode字符集,使之易于国际化。
    
    Java支持哪些字符集:
    
    
    即Java能识别哪些字符集并对它进行正确地处理?查看Charset 类,最新的JDK支持160种字符集。可以通
    
    过static方法availableCharsets拿到所有Java支持的字符集。
    
    Java代码 
    assertEquals(160, Charset.availableCharsets().size());   
    Set<String> charsetNames = Charset.availableCharsets().keySet();    
    assertTrue(charsetNames.contains("utf-8"));    
    assertTrue(charsetNames.contains("utf-16"));    
    assertTrue(charsetNames.contains("gb2312"));    
    assertTrue(Charset.isSupported("utf-8")); 
    
    
    需要在哪些时候注意编码问题?
    
    1.从外部资源读取数据:
    
    
    这跟外部资源采取的编码方式有关,我们需要使用外部资源采用的字符集来读取外部数据:
    
    Java代码 
    InputStream is = new FileInputStream("res/input2.data");    
    InputStreamReader streamReader = new InputStreamReader(is, "GB18030"); 
    
    
    这里可以看到,我们采用了GB18030编码读取外部数据,通过查看streamReader的encoding可以印证:
    
    Java代码 
    assertEquals("GB18030", streamReader.getEncoding());  
    
    
    正是由于上面我们为外部资源指定了正确的编码,当它转成char数组时才能正确地进行解码(GB18030 ->
    
     unicode):
    
    Java代码 
    char[] chars = new char[is.available()];    
    streamReader.read(chars, 0, is.available()); 
    
    
    但我们经常写的代码就像下面这样:
    
    Java代码 
    InputStream is = new FileInputStream("res/input2.data");    
    InputStreamReader streamReader = new InputStreamReader(is); 
    
    
    这时候InputStreamReader采用什么编码方式读取外部资源呢?Unicode?不是,这时候采用的编码方式
    
    是JVM的默认字符集,这个默认字符集在虚拟机启动时决定,通常根据语言环境和底层操作系统的 charset
    
     来确定。可以通过以下方式得到JVM的默认字符集:
    
    Java代码 
    Charset.defaultCharset();   
    
    
    为什么要这样?因为我们从外部资源读取数据,而外部资源的编码方式通常跟操作系统所使用的字符集一样,
    
    所以采用这种默认方式是可以理解的。
    
    
    好吧,那么我通过我的IDE Ideas创建了一个文件,并以JVM默认的编码方式从这个文件读取数据,但读出来
    
    的数据竟然是乱码。为何?呵呵,其实是因为通过Ideas创建的文件是以utf-8编码的。要得到一个JVM默认
    
    编码的文件,通过手工创建一个txt文件试试吧。
    
    2.字符串和字节数组的相互转换
    
    
    我们通常通过以下代码把字符串转换成字节数组:
    
    Java代码 
    "string".getBytes(); 
    
    
    但你是否注意过这个转换采用的编码呢?其实上面这句代码跟下面这句是等价的:
    
    Java代码 
    "string".getBytes(Charset.defaultCharset());  
    
    
    也就是说它根据JVM的默认编码(而不是你可能以为的unicode)把字符串转换成一个字节数组。
    
    
    反之,如何从字节数组创建一个字符串呢?
    
    Java代码 
    new String("string".getBytes()); 
    
    
    同样,这个方法使用平台的默认字符集解码字节的指定数组(这里的解码指从一种字符集到unicode)。
    
    字符串编码迷思:
    
    Java代码 
    new String(input.getBytes("ISO-8859-1"), "GB18030") 
    
    
    上面这段代码代表什么?有人会说: “把input字符串从ISO-8859-1编码方式转换成GB18030编码方式”。
    
    如果这种说法正确,那么又如何解释我们刚提到的java字符串都采用unicode编码呢?
    
    
    这种说法不仅是欠妥的,而且是大错特错的,让我们一一来分析,其实事实是这样的:我们本应该用
    
    GB18030的编码来读取数据并解码成字符串,但结果却采用了ISO-8859-1的编码,导致生成一个错误的字
    
    符串。要恢复,就要先把字符串恢复成原始字节数组,然后通过正确的编码GB18030再次解码成字符串(即
    
    把以GB18030编码的数据转成unicode的字符串)。注意,字符串永远都是unicode编码的。
    
    
    但编码转换并不是负负得正那么简单,这里我们之所以可以正确地转换回来,是因为 ISO8859-1 是单字节编
    
    码,所以每个字节被按照原样 转换为 String ,也就是说,虽然这是一个错误的转换,但编码没有改变,所以
    
    我们仍然有机会把编码转换回来!
    
    总结:
    
    
    所以,我们在处理java的编码问题时,要分清楚三个概念:Java采用的编码:unicode,JVM平台默认字符
    
    集和外部资源的编码。
    
    
    程序示例:
    
   
public static void main(String args[])    
        {    
            System.out.println("default charset : "+Charset.defaultCharset());    
            String str = "abc你好";//string with UTF-8 charset    
        
            byte[] bytes = str.getBytes(Charset.forName("UTF-8"));//convert to byte array with UTF-8 encode    
            for (byte b : bytes)    
            {    
                System.out.print(b + " ");    
            }    
            System.out.println();    
            try    
            {    
                String str1 = new String(bytes, "UTF-8");//to UTF-8 string    
                String str2 = new String(bytes, "ISO-8859-1");//to ISO-8859-1 string    
                String str3 = new String(bytes, "GBK");//to GBK string    
        
                System.out.println(str1);//abc你好    
                System.out.println(str2);//abc??????    
                System.out.println(str3);//abc浣犲ソ    
        
                System.out.println();    
                byte[] bytes2 = str2.getBytes(Charset.forName("ISO-8859-1"));    
                for (byte b : bytes2)    
                {    
                    System.out.print(b + " ");    
                }    
                System.out.println();    
                String str22 = new String(bytes2, "UTF-8");    
                System.out.println(str22);//abc你好    
                    
                System.out.println();    
                byte[] bytes3 = str3.getBytes(Charset.forName("GBK"));    
                for (byte b : bytes3)    
                {    
                    System.out.print(b + " ");    
                }    
                System.out.println();    
                String str33 = new String(bytes3, "UTF-8");    
                System.out.println(str33);//abc你好    
            } catch (UnsupportedEncodingException e)    
            {    
                e.printStackTrace();    
            }    
        }    

    
    运行结果:
    
    [html]  www.2cto.com
    default charset : GBK   
    97 98 99 -28 -67 -96 -27 -91 -67    
    abc你好   
    abc??????   
    abc浣犲ソ   
       
    97 98 99 -28 -67 -96 -27 -91 -67    
    abc你好   
       
    97 98 99 -28 -67 -96 -27 -91 -67    
    abc你好   

字符集相关测试代码
package com.hank.comments;

import java.io.UnsupportedEncodingException;
import java.nio.charset.Charset;

public class Test {
	public static void main(String[] args) throws UnsupportedEncodingException {
		String str = "中文";
		//str = new String("中文".getBytes("gbk"), "gbk");
		//System.out.println(Charset.defaultCharset());
		
		System.out.println("中文unicode--->gbk");
		printBytes("中文".getBytes("gbk"));//unicode--->gbk
		System.out.println("中文unicode--->utf8");
		printBytes("中文".getBytes("utf8"));//unicode--->utf8
		
		str = new String("中文".getBytes("gbk"), "gbk");//unicode---->gbk---->unicode
		
		System.out.println("中文unicode---->gbk---->utf8---->unicode---->utf8");
		str = new String("中文".getBytes("utf8"), "gbk");//unicode---->gbk---->utf8---->unicode
		printBytes(str.getBytes("utf8"));
		
		str = new String(str.getBytes("gbk"), "utf8");
		System.out.println(str);
		
		
		//bytes数组,charset是字节数组安装什么方式编码生成字符串
		//new String(bytes, charset)
		//System.out.println(new String(str.getBytes("utf8"), "utf8"));
//		byte[] jvmBytes = str.getBytes("unicode");
//		System.out.println("jvm Encoding: " + bytesToHexString(jvmBytes));
//		
//		byte[] defaultBytes = str.getBytes();
//		System.out.println("page Encoding:" + bytesToHexString(defaultBytes));
//		
//		byte[] utf8Bytes = str.getBytes("utf8");
//		System.out.println("uft8:         " + bytesToHexString(utf8Bytes));
//		
//		byte[] gb2312Bytes = str.getBytes("gb2312");
//		System.out.println("gb2312:       " + bytesToHexString(gb2312Bytes));
//		
//		byte[] gbkBytes = str.getBytes("gbk");
//		System.out.println("gbk:          " + bytesToHexString(gbkBytes));
//		
//		byte[] gb18030Bytes = str.getBytes("gb18030");
//		System.out.println("gb18030Bytes: " + bytesToHexString(gb18030Bytes));
//		
//		byte[] iso8859_1Bytes = str.getBytes("iso8859-1");
//		System.out.println("iso8859-1:    " + bytesToHexString(iso8859_1Bytes));
//		
//		for(int i=0; i<iso8859_1Bytes.length; i++) {
//			System.out.println(iso8859_1Bytes[i]);
//		}
	}
	
	
	/** 
     * byte数组转换成16进制字符串 
     * @param src 
     * @return 
     */  
    public static String bytesToHexString(byte[] src){       
    	StringBuilder stringBuilder = new StringBuilder();       
        if (src == null || src.length <= 0) {       
        	return null;       
        }       
        for (int i = 0; i < src.length; i++) {       
        	int v = src[i] & 0xFF;      
        	String hv = Integer.toHexString(v);       
        	if (hv.length() < 2) {       
        		stringBuilder.append(0);       
        	}       
        	stringBuilder.append(hv);       
        }       
        return stringBuilder.toString();       
    }  
    
    public static void printBytes(byte[] src) {
    	for (byte b : src) {
			System.out.print(b + " ");
		}
    	System.out.println();
    }
}
分享到:
评论

相关推荐

    离散数学课后题答案+sdut往年试卷+复习提纲资料

    离散数学课后题答案+sdut往年试卷+复习提纲资料

    智能点阵笔项目源代码全套技术资料.zip

    智能点阵笔项目源代码全套技术资料.zip

    英文字母手语图像分类数据集【已标注,约26,000张数据】

    英文字母手语图像分类数据集【已标注,约26,000张数据】 分类个数【28】:a、b、c等【具体查看json文件】 划分了训练集、测试集。存放各自的同一类数据图片。如果想可视化数据集,可以运行资源中的show脚本。 CNN分类网络改进:https://blog.csdn.net/qq_44886601/category_12858320.html 【更多图像分类、图像分割(医学)、目标检测(yolo)的项目以及相应网络的改进,可以参考本人主页:https://blog.csdn.net/qq_44886601/category_12803200.html】

    (31687028)PID控制器matlab仿真.zip

    标题中的“PID控制器matlab仿真.zip”指的是一个包含PID控制器在MATLAB环境下进行仿真的资源包。PID(比例-积分-微分)控制器是一种广泛应用的自动控制算法,它通过结合当前误差、过去误差的积分和误差变化率的微分来调整系统输出,以达到期望的控制效果。MATLAB是一款强大的数学计算软件,而Simulink是MATLAB的一个扩展模块,专门用于建模和仿真复杂的动态系统。 描述中提到,“PID控制器——MATLAB/Simulink仿真以及性能比较与分析”表明这个资源包不仅提供了PID控制器的模型,还可能包括对不同参数配置下的性能比较和分析。博主分享的是“最新升级版框架的Simulink文件”,意味着这些文件基于最新的MATLAB版本进行了优化,确保了与不同版本的MATLAB(从2015a到2020a共11个版本)的兼容性,这为用户提供了广泛的应用范围。 标签中的“PID”、“matlab”、“simulink”、“博文附件”和“多版本适用”进一步细化了内容的关键点。这表示该资源包是博客文章的附加材料,专门针对PID控制器在MATLAB的Simulink环境中进行仿真实验。多

    MATLAB代码:考虑P2G和碳捕集设备的热电联供综合能源系统优化调度模型 关键词:碳捕集 综合能源系统 电转气P2G 热电联产 低碳调度 参考文档:Modeling and Optimiza

    MATLAB代码:考虑P2G和碳捕集设备的热电联供综合能源系统优化调度模型 关键词:碳捕集 综合能源系统 电转气P2G 热电联产 低碳调度 参考文档:《Modeling and Optimization of Combined Heat and Power with Power-to-Gas and Carbon Capture System in Integrated Energy System》完美复现 仿真平台:MATLAB yalmip+gurobi 主要内容:代码主要做的是一个考虑电转气P2G和碳捕集设备的热电联供综合能源系统优化调度模型,模型耦合CHP热电联产单元、电转气单元以及碳捕集单元,并重点考虑了碳交易机制,建立了综合能源系统运行优化模型,模型为非线性模型,采用yalmip加ipopt对其进行高效求解,该模型还考虑了碳排放和碳交易,是学习低碳经济调度必备程序 代码非常精品,注释保姆级 这段代码是一个用于能源系统中的综合能源系统(Integrated Energy System)建模和优化的程序。它使用了MATLAB的优化工具箱和SDP(半定规划)变量来定义决策变

    中国飞行器设计大赛圆筒权重文件

    中国飞行器设计大赛圆筒权重文件

    java毕设项目之ssm社区文化宣传网站+jsp(完整前后端+说明文档+mysql+lw).zip

    项目包含完整前后端源码和数据库文件 环境说明: 开发语言:Java 框架:ssm,mybatis JDK版本:JDK1.8 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:eclipse/idea Maven包:Maven3.3 服务器:tomcat7

    风光储、风光储并网直流微电网simulink仿真模型 系统由光伏发电系统、风力发电系统、混合储能系统(可单独储能系统)、逆变器VSR+大电网构成 光伏系统采用扰动观察法实现mppt控

    风光储、风光储并网直流微电网simulink仿真模型。 系统由光伏发电系统、风力发电系统、混合储能系统(可单独储能系统)、逆变器VSR+大电网构成。 光伏系统采用扰动观察法实现mppt控制,经过boost电路并入母线; 风机采用最佳叶尖速比实现mppt控制,风力发电系统中pmsg采用零d轴控制实现功率输出,通过三相电压型pwm变器整流并入母线; 混合储能由蓄电池和超级电容构成,通过双向DCDC变器并入母线,并采用低通滤波器实现功率分配,超级电容响应高频功率分量,蓄电池响应低频功率分量,有限抑制系统中功率波动,且符合储能的各自特性。 并网逆变器VSR采用PQ控制实现功率入网 以下是视频讲解文案: 接下来我来介绍一下 就是这个风光储直流微电网 整个仿真系统的一些架构啊 然后按照需求呢正常的讲一些 多讲一些 就是储能的这块的 还有这个并网的 三相两电瓶调的这个 并网继变器的这个模块 首先就是来介绍一下呃 整个系统的一个架构 你可以看到这个系统的架构 分别有四大部分组成 最左边的这块就是混合储能啊 这边这个是蓄电池 这个超级电容 他们都是

    ajax发请求示例.txt

    ajax发请求示例.txt

    深圳建筑安装公司“电工安全技术操作规程”.docx

    深圳建筑安装公司“电工安全技术操作规程”

    220) Vinkmag - 多概念创意报纸新闻杂志 WordPress v5.0.zip

    220) Vinkmag - 多概念创意报纸新闻杂志 WordPress v5.0.zip

    智力残疾评定标准一览表.docx

    智力残疾评定标准一览表.docx

    MDIN380 SDI转VGA 转LVDS VGA转SDI 高清视频处理 MDIN380芯片 PCB代码方案资料 3G-SDI转VGA ?3G-SDI转LVDS ?高清视频 MDIN380、GV76

    MDIN380 SDI转VGA 转LVDS VGA转SDI 高清视频处理 MDIN380芯片 PCB代码方案资料 3G-SDI转VGA ?3G-SDI转LVDS ?高清视频 MDIN380、GV7601 芯片方案(PCB图和源码)。 此方案是韩国视频处理芯片MDIN380的整合应用方案。 3G-SDI转VGA或3G-SDI转LVDS。 方案共有两块电路板(一块底板,一块MDIN380核心板 四层板)。 MDIN380和GV7601 都是BGA封装,最好有焊接BGA经验才拿。 另外有视频处理方面其它需要可联系我定制开发。 其它视频格式转,视频图像分割、拼接等可定制开发。 方案资料含有源码、PCB图。 方案已有成熟产品在应用。 注意该资料没有原理图,只有PCB图。 代码环境编译KEIL4。 画图软件Protel99、AD10。 电子文档资料

    YOLO算法-锡罐-牙罐-盖子打开数据集-179张图像带标签-锡罐-牙罐-盖子打开.zip

    YOLO系列算法目标检测数据集,包含标签,可以直接训练模型和验证测试,数据集已经划分好,包含数据集配置文件data.yaml,适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法; 包含两种标签格:yolo格式(txt文件)和voc格式(xml文件),分别保存在两个文件夹中,文件名末尾是部分类别名称; yolo格式:<class> <x_center> <y_center> <width> <height>, 其中: <class> 是目标的类别索引(从0开始)。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标,这些坐标是相对于图像宽度和高度的比例值,范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度,也是相对于图像宽度和高度的比例值; 【注】可以下拉页面,在资源详情处查看标签具体内容;

    G120 EPOS基本定位功能关键点系列-堆垛机报F7452追踪原因.mp4

    G120 EPOS基本定位功能关键点系列_堆垛机报F7452追踪原因.mp4

    java毕设项目之ssm亚盛汽车配件销售业绩管理统+jsp(完整前后端+说明文档+mysql+lw).zip

    项目包含完整前后端源码和数据库文件 环境说明: 开发语言:Java 框架:ssm,mybatis JDK版本:JDK1.8 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:eclipse/idea Maven包:Maven3.3 服务器:tomcat7

    zigbee CC2530无线自组网协议栈系统代码实现协调器与终端基于GenericApp的无线收发例程.zip

    1、嵌入式物联网单片机项目开发例程,简单、方便、好用,节省开发时间。 2、代码使用IAR软件开发,当前在CC2530上运行,如果是其他型号芯片,请自行移植。 3、软件下载时,请注意接上硬件,并确认烧录器连接正常。 4、有偿指导v:wulianjishu666; 5、如果接入其他传感器,请查看账号发布的其他资料。 6、单片机与模块的接线,在代码当中均有定义,请自行对照。 7、若硬件有差异,请根据自身情况调整代码,程序仅供参考学习。 8、代码有注释说明,请耐心阅读。 9、例程具有一定专业性,非专业人士请谨慎操作。

    基于小程序的小区物业新冠疫情物资管理平台小程序源代码(java+小程序+mysql+LW).zip

    系统可以提供信息显示和相应服务,其管理小区物业新冠疫情物资管理平台信息,查看小区物业新冠疫情物资管理平台信息,管理小区物业新冠疫情物资管理平台。 项目包含完整前后端源码和数据库文件 环境说明: 开发语言:Java JDK版本:JDK1.8 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:eclipse/idea Maven包:Maven3.3 部署容器:tomcat7 小程序开发工具:hbuildx/微信开发者工具

    亲测源码云赏V7.0微信视频打赏系统源码已测试完整无错版

    云赏V7.0包括V6的所有功能外,全新UI设计,代理可以选择8种风格,添加后台统计等多种功能。 1基本设置(网站基础信息配置、包括主域名、防封尾缀、url.cnt.cn短连接接口可切换); 2转跳域名(10层防守转跳,都输入的话,都会转跳到对应的地方在跳回来,在随机取用落地); 3落地域名(添加落地域名及设置默认落地域名); 4视频列表(添加视频批量添加外链视频给代理们获取); 5代理推广:代理使用推广链接发展下级代理,后台设置提成); 6代理列表(生成邀请码注册,手动添加代理); 7提现记录(用于结算代理们的提现); 8余额记录(记录代理的余额变动); 9订单记录(记录打赏数,今日收入)。 测试环境: Nginx 1.18+PHP56+MySQL5.6,详细教程见文件内文字教程。 后台账号:admin 密码:admin888

    深圳建设施工项目易燃、易爆、有毒、有害物品管理制度.docx

    深圳建设施工项目易燃、易爆、有毒、有害物品管理制度

Global site tag (gtag.js) - Google Analytics