VC++ Windows平台字符透明编程大总结

VC++ Windows平台字符透明编程大总结
程 化

1. 前言

Windows平台有用Unicode和不用的区分：WinNT到Windows2003一直使用Unicode；WindowsCE也是如此；Win95和Win98就非如此。Windows编程对于字符使用也有各种情况：Windows API的处理方式、MFC的处理方式、VC++的处理方式、COM的处理方式。本文对所有这些方式作了一个总结，期望程序员能够以本文为引子，找到各种情况下处理字符透明编程的方法。

所谓字符透明编程，主要针对Unicode和ANSI字符。本来Unicode是比较简单的一个东西，说起来一个Unicode字符就是一个无符号短整数而已（16位，2个字节），但是，我相信大多数VC++程序员都有这样的困惑：VC++和Win32API中那些用来实现ANSI和Unicode透明编程的，样子长得很像的宏，都在哪儿定义的？它们之间的关系如何？
这就要求我们了解编程平台和操作系统支持ANSI和Unicode透明编程的方法。具体来说，就是要了解VC++的运行库和Win32API是如何解决该问题的。更进一步，我们还应该了解COM解决该问题的方式。最后，由于许多VC++程序员使用MFC框架进行编程，了解MFC框架处理该问题的方法也有必要。
本文内容在《ATL技术内幕》的第二章也有比较详细的讲述，尤其是关于COM的内容。但是，该书没有讲VC++相关内容；也没有将内容整理得更清晰一些（尤其是没有给出各种情况下的表格以供查找）。所以，本文将重点放在VC++和Windows针对字符透明编程采用方法的归纳和比较上。
本文可以作为一个出发点，有了本文介绍的基础之后，想要更多地了解BSTR的细节，可以看《ATL技术内幕》；想要更多地了解针对字符透明编程问题，可以看其他的相关资料。

2. VC++对字符透明编程

首先要说的是，对宽字符的支持其实是ANSI C标准的一部分，用以支持多字节表示一个字符。宽字符和Unicode并不是一回事，Unicode只是宽字符能支持的一种编码方式。但是，由于我们现在主要考虑Unicode，不妨把这两种东西当作同义。

2.1. 宽字符的定义

在ANSI中，一个字符（char）的长度为一个字节（Byte）。使用Unicode时，一个字符应该占据一个字（Word），VC++在wchar.h头文件中定义了最基本的宽字符类型wchar_t：

typedef unsigned short wchar_t;

从这里我们可以清楚地看到，所谓的宽字符就是无符号短整数。

2.2. 常量宽字符串

对C++程序员而言，构造字符串常量是一项经常性的工作。那么，如何构造宽字符字符串常量呢？很简单，只要在字符串常量前加上一个大写的L就可以了，比如：

L“Hello, world!”

这个L非常重要，只有带上它，编译器才知道你要将字符串存成每个字符1个字。还要注意，在L和字符串之间不能有空格。

2.3. 宽字符串库函数

为了操作宽字符串，VC++专门定义了一套函数，比如，求宽字符串长度的函数是

size_t __cdel wchlen ( const wchar_t * )

为什么要专门定义这些函数呢？最根本的原因是，ANSI下的字符串都是以“\0”来标识字符串尾的，许多字符串函数的正确操作均以此为基础进行。而我们知道，在宽字符的情况下，一个字符在内存中要占据一个字的空间，这就会使操作ANSI字符的字符串函数无法正确操作。以“Hello”字符串为例，在宽字符下，它的五个字符是：

0x0048 0x0065 0x006c 0x006c 0x006f

在内存中，实际的排列是：

48 00 65 00 6c 00 6c 00 6f 00

于是，ANSI字符串函数，如 strlen，在碰到第一个48后的00时，就会认为字符串到尾了，用 strlen 对宽字符串求长度的结果就永远会是1！

2.4. 用宏实现对ANSI和Unicode的透明编程

看到这儿，想必程序员都会感到沮丧：“完了，两套字符串函数！”不用说，针对ANSI字符和Unicode字符维护两套代码是令人讨厌的事情。就算是自己在一套代码中写一些预编译语句执行条件编译，也是非常麻烦的事，因为要用字符串的地方实在是太多了。为了减轻大家的编程负担，VC++定义了一系列的宏，帮助实现对ANSI和Unicode的透明编程。从上面的讨论我们可以看到，要做的工作是两个：一，透明定义字符和常量字符串；二，透明调用字符串函数。下面就分别讲用于这两个方面的宏。

2.4.1. 透明定义字符和常量字符串

该工作主要是由 tchar.h 头文件中定义的若干宏完成的，根据“_UNICODE”（注意，有下划线）定义与否，这些宏展开为ANSI或Unicode字符（字符串）。有兴趣者可以去查看头文件，这里我做了如下归纳：

字符宏：

宏	未定义_UNICODE （ANSI字符）	定义了_UNICODE（Unicode字符）
_TCHAR	char	wchar_t
_TSCHAR	signed char	wchar_t
_TUCHAR	unsigned char	wchar_t
_TXCHAR	char	wchar_t
TCHAR	char	wchar_t

常量字符串宏：

宏	未定义_UNICODE （ANSI常量字符串）	定义了_UNICODE （Unicode常量字符串）
__T(x)	x	L##x
_T	x	__T(x)
_TEXT	x	__T(x)

* 注意，“L##x”中的“##”虽然看起来很怪，却是ANSI C标准的预处理语法，它叫做“粘贴符号（token paste）”，表示将前面的L添加到宏参数上。也就是说，如果我们写了一个__T(“Software Department”)，展开后即为L“Software Department”。

为了方便。可以简单地总结两条规则：

*定义字符用TCHAR
*定义常量字符串用_T

2.4.2. 透明调用字符串函数

VC++实现透明调用字符串函数也是定义了一系列宏，不过，这些宏数量太多了，没有办法把它们都列在这里，就象征性地列出一些，给大家一个印象：

宏	未定义_UNICODE （ANSI字符串函数）	定义了_UNICODE （Unicode字符串函数）
_tcschr	strchr	wcschr
_tcscmp	strcmp	wcscmp
_tcslen	strlen	wcslen

我给大家的建议是：当你需要具体的某个函数的时候，最好去查 tchar.h，或者查某些专门讲VC++运行库函数的书。
好了，VC++的东西大致就是这样，下面讲Windows的处理方法。

3. Win32API对字符透明编程

3.1. Win32API定义的数据类型

首先，Win32API中定义了若干自己的字符数据类型。所谓自己定义，无非就是用一些宏把C中的数据类型包装起来而已（确实是C的数据类型，Win32API是按C的函数调用方式定义的）。对字符数据类型的定义基本上都在 winnt.h 头文件中。
最基本的是两种字符数据类型，分别对应8位的单字节字符和16位的Unicode字符：

typedef char CHAR
typedef unsigned short WCHAR

另外，Windows还定义了6种8位字符串指针、6种16位字符串指针、4种8位常量字符串指针、4种16位常量字符串指针。这里归纳如下：

数据类型	ANSI	UNICODE	内部数据类型
CHAR	8位		char
WCHAR		16位	unsigned short
PCHAR	CHAR*		char*
PCH & LPCH	CHAR*		char*
PSTR&NPSTR&LPSTR	CHAR*		char*
PCCH&LPCCH	CONST CHAR*		const char*
PCSTR&LPCSTR	CONST CHAR*		const char*
PWCHAR		WCHAR*	unsigned short*
PWCH&LPWCH		WCHAR*	unsigned short*
PWSTR&LPWSTR&NWPSTR*		WCHAR*	unsigned short*
PCWCH&LPCWCH		CONST WCHAR*	const unsigned short*
PCWSTR&LPCWSTR		CONST WCHAR*	const unsigned short*

* 注意，“NWPSTR”并没有写错，确实是“NWP”，本来我也认为应该是“NPW”（近指针）。
* 所谓的“远指针”“近指针”，在32位编程环境下已经没有意义了。

由于这些数据类型都是Windows内部分别针对ANSI和Unicode定义的，在编程中，当然要避免使用。把它们列在这里是为了方便大家参考。

3.2. Win32API中对ANSI和Unicode的透明编程

我们还是从两个方面来讲：透明定义字符和常量字符串；透明调用字符串函数。

3.2.1. 透明定义字符和常量字符串

这里把winnt.h 头文件中实现透明定义字符和常量字符串的部分摘出来，相信对大家的理解会有所帮助（加黑部分定义了通用字符定义）：

//
// Neutral ANSI/UNICODE types and macros
//
#ifdef UNICODE // 以下是Unicode相关定义
#ifndef _TCHAR_DEFINED
typedef WCHAR TCHAR, *PTCHAR;// 定义基本通用类型

#define _TCHAR_DEFINED
#endif /* !_TCHAR_DEFINED */

typedef LPWSTR LPTCH, PTCH;// 定义各种通用字符串指针
typedef LPWSTR PTSTR, LPTSTR;
typedef LPCWSTR LPCTSTR;
typedef LPWSTR LP;// 奇怪，为什么要定义它？
#define __TEXT(quote) L##quote // 定义字符串常量宏
#else /* UNICODE */ // 以下是ANSI相关定义
#ifndef _TCHAR_DEFINED
typedef char TCHAR, *PTCHAR;// 定义基本通用类型

#define _TCHAR_DEFINED
#endif /* !_TCHAR_DEFINED */

typedef LPSTR LPTCH, PTCH;// 定义各种通用字符串指针
typedef LPSTR PTSTR, LPTSTR;
typedef LPCSTR LPCTSTR;
#define __TEXT(quote) quote // 定义字符串常量宏
#endif /* UNICODE */
#define TEXT(quote) __TEXT(quote)// 定义另一个字符串常量宏

从这段程序我们可以看出，winnt.h不过就是根据是否定义了UNICODE（没有下划线），利用Windows内部定义的数据类型进行一个条件编译。
下面，用表格的形式将以上内容做一个总结，以方便大家查阅：

宏	未定义UNICODE （ANSI字符和字串）	定义了UNICODE （Unicode字符和字串）
TCHAR	char	WCHAR
PTCHAR	char*	WCHAR*
PTCH&LPTCH	LPSTR	LPWSTR
PTSTR& LPTSTR	LPSTR	LPWSTR
LPCTSTR	LPCSTR	LPCWSTR
__TEXT( quote )	quote	L##quote
TEXT( quote )	quote	L##quote

* 注意，LP是专门针对Unicode定义的，所以，无法用于透明编程（我不知道为什么要定义它），故未将它列在表中。

比较VC++和Windows的定义，我们可以得出如下结论：
 VC++没有直接定义指针类型，Windows直接定义了指针类型；
 VC++和Windows都定义了TCHAR，所以我们使用TCHAR兼容性最好；
 也许我们没有必要直接使用Windows定义的指针类型，使用TCHAR*就可以了；
 Windows定义的类型如此之多，可能和写Windows程序的开发组较多，标准不一有关。由于要兼容历史上的程序，只好定义多一些。我们没有必要去使用那些杂乱的定义。

3.2.2. 透明调用字符串函数

Win32API中又定义了一套字符串函数，总的来说，它的解决方法是，对ANSI和Unicode字符，分别定义了不同的函数（在Kernel32.dll中实现）。比如，求字符串长度的函数，就分别是：

WINBASEAPI int WINAPI lstrlenA ( LPCSTR lpString );
WINBASEAPI int WINAPI lstrlenW( LPCWSTR lpString );

然后，另一个宏根据是否定义了“UNICODE”分别展开为这两个函数：
#ifdef UNICODE
#define lstrlen lstrlenW
#else
#define lstrlen lstrlenA
#endif // !UNICODE

又是一堆函数！虽然Win32API并没有实现所有的字符串函数，我还是不愿意再记它们。我认为VC++的运行库函数就够好了。想要了解Windows函数的可以自己到MSDN里面去找。

4. COM对字符透明编程

好了，现在再来说一下COM接口和OLE中的字符类型。进行COM接口编程时，我们经常会接触OLESTR之类的东西。它们又是怎么一会事呢？大多数COM和OLE中使用的数据类型都是在basetype.h和wtypes.h中定义的。我将有关内容总结如下：

宏	未定义OLE2ANSI （Unicode字符和字串）	定义了OLE2ANSI （ANSI字符和字串）
OLECHAR	WCHAR	char
OLESTR(x)	L##x	x
LPOLESTR	OLECHAR __RPC_FAR *	LPSTR
LPCOLESTR	const OLECHAR __RPC_FAR *	LCPSTR

首先，我们可以看到，在定义LPOLESTR和LPCOLESTR时，利用了WIN32API的定义（那个看起来很深奥的“__RPC_FAR”，只是一个用于远程调用时规定调用约定的宏，定义在 rpc.h 头文件中）。
其次，我们看到，OLESTR之类的宏，目的也是为了实现对ANSI和UNICODE的透明编译。根据是否定义了OLE2ANSI来选择编译ANSI版本还是UNICODE版本。真不知道定义这么多宏做什么，也许是因为各个小组独立开发，各自用各自的东西的原因。
要了解COM中字符串使用更多的细节，请参考《ATL技术内幕》。

5. MFC对字符透明编程

最后，讲讲MFC如何处理该问题。MFC的处理很简单，它只是利用了VC++运行库的处理方式。具体来说，就是从Afxw_32.h头文件的152行开始，有这么几句：

#ifndef _INC_TCHAR
#include <tchar.h> // 该头文件包含了VC++字符串透明编程所需内容
#endif
#ifdef _MBCS
#ifndef _INC_MBCTYPE
#include <mbctype.h>
#endif
#ifndef _INC_MBSTRING
#include <mbstring.h>
#endif
#endif

也就是说，在MFC中，我们应该使用VC++的字符串透明编程方式。
但是，要注意的是，对于BSTR这个宏（该宏主要在Oleauto.h头文件中声明的自动化接口的函数中使用），MFC根据OLE2ANSI是否被定义有其不同展开（在Afx.h）中：

#ifndef _OLEAUTO_H_
#ifdef OLE2ANSI
typedef LPSTR BSTR;// 用Windows的类型定义BSTR
#else
typedef LPWSTR BSTR;// 用Windows的类型定义BSTR
#endif
#endif

6. 常见问题（Q&A）

最后，根据我的体会讲一些大家有可能感到迷惑的问题（当然，也许大家认为这些问题都很简单）。

Q1：VC++的处理方式和Win32API的处理方式，我该用哪一个？
A1：这两种方法的关系是这样的：Win32API给出的是操作系统内带的支持，而VC++可以被看做是与操作系统相关性较小的一种方式（虽然微软做了很多扩展，把它搞得和操作系统有了不少相关性）。所以，如果你要考虑程序以后在各平台上的移植，还是少用操作系统内部直接支持的东西为妙。

Q2：我们什么时候定义_UNICODE或是UNICODE？
A2：调整Project Setting时。按Alt+F7，选择“C/C++”标签，将“_UNICODE”或“UNICODE”添加在“Preprocessor definitions”编辑框中就可以了。

Q3：那些定义字符串常量的宏，我该用哪一个？
A3：想必大家也注意到了，为了透明转换常量字符串，WINDOWS和VC++都定义了各自的宏：
Windows：__TEXT和TEXT
VC++：__T、_T和_TEXT

这五个宏最容易让程序员迷惑了，因为它们仅仅是不加下划线，加一个下划线、两个下划线的问题。其实，只要你是开发Windows上的应用程序，用哪个宏没有什么关系。考虑到不和平台关系过于紧密，以及书写的长度，_T可能是一个比较好的选择。

Q4：我如何在Debug状态下观察Unicode字符串的值？
A4：一般说来，如果你把一个Unicode字符串变量名拖到 Watch 窗口中，你看到的是一个32位16进制值，也就是说，是一个指针的地址。而我们想看到的是内存中存的字符串。怎么办？你在这个变量名后面加上“, su”就可以了。

对ANSI和Unicode字符的透明编程问题，尽我的了解讲了这么多，希望大家觉得有所帮助。大家如果发现有遗漏和谬误之处，请指正！