`
huangro
  • 浏览: 332519 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

字符编码问题

    博客分类:
  • C++
阅读更多

字符编码的使用

字符编码主要分两种:MBCS以及 Unicode。 以 C/CC++ 为例,以 char 为单位的数组使用MBCS编码(如 ASCII,GB2312,BIG5),以wchar_t 为单位的数组使用Unicode作为编码。 

比如你的程序中使用:
char szTitle[] = "窗体标题“;
此时,szTitle字符串使用的的是MBCS编码,如果用户的操作系统不是中文的Windows,你的程序将无法正常显示! 

所以,要换成Unicode方式:
wchar_t szTitle[] = L"窗体标题";
此时,szTitle字符串使用的的是Unicode编码,加入你的程序以unicode方式编译,在任何语言的Windows上都能显示正常。 


字符编码的转换

有时候你从外部文件读进来的字符串是MBCS编码(如GB2312),而你程序里面都是统一用Unicode处理字符串,这时候要进行字符编码转换。 Windows为我们提供了很好用的API函数 MultiByteToWideChar  和 WideCharToMultiByte  帮我们轻松实现转换。  代码如下: 

GB2312 转换成 Unicode:

wchar_t* GB2312ToUnicode(const char* szGBString)
{
        UINT nCodePage = 936; //GB2312 
        int nLength=MultiByteToWideChar(nCodePage,0,szGBString,-1,NULL,0);
        wchar_t* pBuffer = new wchar_t[nLength+1];
        MultiByteToWideChar(nCodePage,0,szGBString,-1,pBuffer,nLength);
        pBuffer[nLength]=0;
        return pBuffer;
}

BIG5 转换成 Unicode:

wchar_t* BIG5ToUnicode(const char* szBIG5String)
{
        UINT nCodePage = 950; //BIG5 
        int nLength=MultiByteToWideChar(nCodePage,0,szBIG5String,-1,NULL,0);
        wchar_t* pBuffer = new wchar_t[nLength+1];
        MultiByteToWideChar(nCodePage,0,szBIG5String,-1,pBuffer,nLength);
        pBuffer[nLength]=0;
        return pBuffer;
}

Unicode 转换成 GB2312:

char* UnicodeToGB2312(const wchar_t* szUnicodeString)
{
        UINT nCodePage = 936; //GB2312 
        int nLength=WideCharToMultiByte(nCodePage,0,szUnicodeString,-1,NULL,0,NULL,NULL);
        char* pBuffer=new char[nLength+1];
        WideCharToMultiByte(nCodePage,0,szUnicodeString,-1,pBuffer,nLength,NULL,NULL);
        pBuffer[nLength]=0;
        return pBuffer;
}

Unicode 转换成 BIG5:

char* UnicodeToBIG5(const wchar_t* szUnicodeString)
{
        UINT nCodePage = 950; //BIG5 
        int nLength=WideCharToMultiByte(nCodePage,0,szUnicodeString,-1,NULL,0,NULL,NULL);
        char* pBuffer=new char[nLength+1];
        WideCharToMultiByte(nCodePage,0,szUnicodeString,-1,pBuffer,nLength,NULL,NULL);
        pBuffer[nLength]=0;
        return pBuffer;
}

繁体和简体的相互转换

利用Unicode作为媒介,还可以做出很有意思的应用。在处理中文过程中,一个经常用到的功能就是繁体和简体的互相转换。 代码如下: 

繁体中文BIG5 转换成 简体中文 GB2312

char* BIG5ToGB2312(const char* szBIG5String)
{
        LCID lcid = MAKELCID(MAKELANGID(LANG_CHINESE,SUBLANG_CHINESE_SIMPLIFIED),SORT_CHINESE_PRC);

        wchar_t* szUnicodeBuff = BIG5ToUnicode(szBIG5String);
        char* szGB2312Buff = UnicodeToGB2312(szUnicodeBuff);

        int nLength = LCMapString(lcid,LCMAP_SIMPLIFIED_CHINESE, szGB2312Buff,-1,NULL,0);
        char* pBuffer = new char[nLength + 1];
        LCMapString(0x0804,LCMAP_SIMPLIFIED_CHINESE,szGB2312Buff,-1,pBuffer,nLength);
        pBuffer[nLength] = 0;
        
        delete[] szUnicodeBuff;
        delete[] szGB2312Buff;
        return pBuffer;
}

简体中文 GB2312 转换成 繁体中文BIG5

char* GB2312ToBIG5(const char* szGBString)
{
        LCID lcid = MAKELCID(MAKELANGID(LANG_CHINESE,SUBLANG_CHINESE_SIMPLIFIED),SORT_CHINESE_PRC);

        int nLength = LCMapString(lcid,LCMAP_TRADITIONAL_CHINESE,szGBString,-1,NULL,0);
        char* pBuffer=new char[nLength+1];
        LCMapString(lcid,LCMAP_TRADITIONAL_CHINESE,szGBString,-1,pBuffer,nLength);
        pBuffer[nLength]=0;

        wchar_t* pUnicodeBuff = GB2312ToUnicode(pBuffer);
        char* pBIG5Buff = UnicodeToBIG5(pUnicodeBuff);

        delete[] pBuffer;
        delete[] pUnicodeBuff;
        return pBIG5Buff;
}

文本文件读写的编码问题 

当你的程序读一个文本文件时,如何判断文件中的字符是MBCS格式还是Unicode格式? Windows定义了一个"字节顺序标记"(Byte-order Mark)的概念:当一个txt文件的前2个字节为FF FE时,这个文件里面的字符采用Unicode编码, 如果没有字节顺序标记,就是MBCS编码。更多关于字节顺序标记的说明,请看 MSDN的官方资料

转自http://hingman.cnblogs.com/

分享到:
评论

相关推荐

    解决HTTP请求中的字符编码问题:技术指南与最佳实践

    字符编码问题在Web开发中非常常见,但通过正确的设置和处理,可以有效地避免这些问题。了解HTTP头部字段的作用,以及如何在客户端和服务器端处理字符编码,对于开发国际化的Web应用至关重要。 通过本文的详细介绍,...

    java_字符编码 Javajava_字符编码问题

    ### Java 字符编码详解 #### 一、Java 字符编码基础概念 ...正确的字符编码管理不仅可以避免乱码问题,还能提高程序的健壮性和可维护性。希望本文能帮助开发者们更好地理解和处理 Java 中的字符编码问题。

    网页字符编码问题总结及解决

    在日常的网页开发过程中,经常会遇到字符编码导致的乱码问题。本文将结合实践经验,深入探讨不同情况下乱码产生的原因,并提出相应的解决方案。 #### 一、理解字符编码的基础概念 首先,我们需要明确几个基本概念...

    Lucene 字符编码问题

    在使用Lucene时,可能会遇到字符编码问题,这通常是由于不同系统或程序之间处理字符集的方式不一致导致的。下面将详细探讨Lucene中的字符编码问题及其解决方案。 首先,我们要理解什么是字符编码。字符编码是将字符...

    java字符编码问题

    不正确的字符编码处理可能导致数据丢失、乱码甚至是程序异常。本文将深入探讨Java中的字符编码问题,并提供一些实用的解决方案。 #### 二、Java中的字符编码基础 Java本身采用的是Unicode编码系统,这是一种国际化...

    JAVA中文字符编码问题详解.doc

    JAVA 中文字符编码问题详解 在 JAVA 中,中文字符编码问题一直是让人头疼的问题,特别是在 WEB 应用中。网上的分析文章和解决方案都很多,但总是针对某些特定情况的。本文将详细解释 JAVA 中文字符编码问题的根源,...

    Java网络传输中字符编码问题的研究

    Java网络传输中的字符编码问题主要涉及到Java编程语言在处理不同编码格式时的转换和兼容性。Java语言本身采用Unicode字符集,这是一种国际化的标准,能够支持世界上大多数语言,包括中文。然而,在实际的网络环境中...

    过滤器代码--解决jsp中的字符乱码问题

    过滤器代码--解决jsp中的字符乱码问题,可以让你不在为字符的乱码担心。

    J2EE -- 字符编码问题

    在J2EE项目中,通过在Servlet过滤器中设置统一的字符编码,并在`web.xml`配置文件中进行相应的注册和配置,可以有效解决因字符编码不一致而导致的乱码问题。这种方式不仅提高了代码的可维护性,也确保了系统的稳定性...

    深入理解字符编码(字符集 字符编码 字符显示 乱码问题)

    文档中主要介绍了各类字符集以及相关的字符编码,字符的显示原理,从输入到显现的整个过程,程序中出现的乱码问题以及解决方案

    MySpringMVC-字符乱码处理.rar

    在Spring MVC框架中,字符编码问题是一个常见的挑战,尤其是在处理多国语言或者用户输入的数据时。"MySpringMVC-字符乱码处理.rar"这个压缩包文件很可能包含了关于如何在Spring MVC项目中解决字符乱码问题的相关资料...

    关于解决字符乱码问题及对ucGUI底层实现字符显示的浅析 pdf

    关于解决字符乱码问题及对ucGUI底层实现字符显示的浅析 pdf

    字符串乱码解决gb2312

    在IT领域,尤其是在软件开发与Web开发中,字符编码问题是一个常见且必须处理的问题,特别是当涉及到中文等多字节字符时。标题“字符串乱码解决gb2312”和描述“字符串乱码解决 gb2312 培训机构资料”指向了在处理...

    字符编码解决方案

    字符编码是计算机处理文本的关键,尤其在多语言环境中,正确的编码解决方案显得尤为重要。本文主要针对C++编程中遇到的乱码问题,从编码原理、Unicode的意义出发,详细讲解了四个典型场景下的乱码问题及其解决方案。...

    java字符编码监听器

    在Java Servlet规范中,提供了`SetCharacterEncodingFilter`这样的过滤器,用于确保请求参数和响应内容的正确编码,避免因为编码不一致导致的数据乱码问题。 1. **字符编码的重要性** 在网络通信中,字符编码扮演...

    字符编码

    标题中的“字符编码”指的是计算机系统中用于表示文本的编码方式。...通过阅读这个文档,开发者可以学习如何在Java环境中有效地管理和处理字符编码,避免常见的乱码问题,从而提高应用程序的兼容性和用户体验。

    UltraEdit引出的字符编码问题.doc

    UltraEdit引出的字符编码问题.doc

    工具-字符编码转换

    通常,这类文件会解释命令行参数、转换过程中的错误处理以及如何解决编码不兼容导致的乱码问题。 在实际工作中,字符编码问题可能导致数据丢失、显示异常等问题。因此,理解不同编码之间的差异,以及如何使用工具...

    解决字符编码的过滤器

    在实际项目中,通过这种方式配置的过滤器可以有效避免由字符编码引起的乱码问题。比如,在一个涉及多语言用户的电子商务平台中,用户可能来自不同的国家和地区,他们提交的数据也可能包含多种语言文字。通过上述配置...

    字符编码转换处理工具

    在某些情况下,如果文件或数据是以ANSI编码存储的,而在处理时使用了不兼容的编码方式,就可能导致乱码问题。这款工具可以帮助用户解决这类问题,将ANSI编码的字符转换成其他格式。 在实际应用中,比如开发网页或...

Global site tag (gtag.js) - Google Analytics