概述
第二章 字符和字符串处理
1、 几种字符集
尽量使用Unicode来代替ANSI字符串
关于双字节字符集 (double-byte character set, DBCS), 双字节字符集中,一个字符串中每个字符由一个或两个字节组成,处理起来不方便。
关于UTF-8,UTF-8的编码规则是将一些字符编码为1字节,一些为2字节,一些为3字节,一些为4字节;非常流行,但对值为0x0800及以上的大量字符进行编码的时候不如UTF-16方便。
关于UTF-16,在windows VISTA中,每个字符都使用UTF-16来编码, UTF-16为每个字符编码为2个字节,一般情况下unicode指的就是UTF-16编码,.NetFramwork始终使用UTF-16来编码。
关于UTF-32, 为每个字符都使用4字节来编码,比较浪费空间。
结论:以后的程序中都尽量使用UNICODE格式,兼容性和国际化比较方便。
2、 ANSI和UNICODE
ANSI字符即以8位char数据类型表示的字符;
MS C/C++编译器定义了一个内建的数据类型wchar_t,即宽字符,它表示一个UTF-16字符。在visual studio 2005中,项目属性--配置属性—C/C++--语言:【将wchar_t视为内置类型】可以选择。
在MS编译器对wchar_t的支持之前,有一个C头文件定义了一个wchar_t数据类型,如下:
Typedef unsigned short wchar_t; //无符号短整数
定义unicode变量:wchar_t ch = L’A’; //定义了一个宽字符’A’
关于L, _T, __T, _TEXT, __TEXT, TEXT的区别:
L : 把字符串定义为宽字符串
_T或__T: 如果定义了_UNICODE 则为宽字符,否则不是,tchar.h
_TEXT: 如果定义了_UNICODE则为宽字符,否则不是,tchar.h
__TEXT或TEXT:如果定义了UNICODE宏则为宽字符,否则不是,winnt.h
_UNICODE宏用于C运行期头文件,而UNICODE宏则用于Windows头文件,_UNICODE和UNICODE要么都不定义,要么全都定义。
尽量不要使用L,而是要使用其他的条件宏。
1 PCHAR == CHAR* 2 3 PSTR == CHAR* 4 5 PCSTR == CONST CHAR* 6 7 PWCHAR == WCHAR* 8 9 PWSTR == WCHAR* 10 11 PCWSTR == CONST WCHAR*
3、 关于windows函数中的unicode和ansi函数
一个比较常用的函数MessageBox, CWnd类的成员函数,其实是一个宏,定义如下:
1 #ifdef UNICODE 2 3 #define MessageBox MessageBoxW 4 5 #else 6 7 #define MessageBox MessageBoxA 8 9 #endif
在上面两个版本的函数中(W 和 A),如果是A版本,那么函数内部会把ANSI字符(串)参数转换为unicode版本再在内部调用W版本,W版本函数返回时再把相应的输出转换为ANSI格式。 这个过程是需要额外的时间和空间的,因此鼓励使用UNICODE版本。
4、 C运行库中的unicode函数和ansi函数
与windows函数不同的是:C运行库函数的ansi版本不会和windows函数那样在内部转换并调用unicode版本,而是“自力更生”,自己完成函数的执行过程。
在C运行库中,strlen函数返回一个ansi字符串的长度(不包括结尾的’ ’),与之对应的unicode版本的是wcslen,返回unicode字符串的长度(同样不包括’ ’)。这两个函数的原型都在string.h中,为了自动适应哪种类型的字符串还必须包含tchar.h,该头文件定义了如下宏:
1 #ifdef _UNICODE 2 3 #define _tcslen wcslen 4 5 #else 6 7 #define _tcslen strlen 8 9 #endif
C运行库的字符串函数:strcpy, wcscpy建议放弃,因为没有指定输入缓冲区的大小。
5、 C运行库的安全字符串函数
这些函数包含在strsafe.h中,这个头文件包含了string.h,现在每一个不安全的函数都对应一个安全版本,如_tcscpy_s, _tcscat_s,这些函数原型中添加了一个缓冲区大小的参数,字符个数,可以用_countof来获取缓冲区大小(实践证明包含’ ’),_countof在stdlib.h中定义。
安全函数会检查指针不为NULL, 整数在有效范围内,枚举值是有效的,缓冲区足以容纳结果数据等。
C运行时允许我们提供自己的函数来替代C运行时引起的 Debug Assertion Failed(断言失败)。 可见cnblogs中2013.01.21的博客。
除了上面说的新的_s安全字符串函数,C运行库还增加了一些函数,用于在执行字符串处理时提供更多的控制。例如可以控制填充字符、指定如何截断。这些函数有ANSI版本和UNICODE版本。
1 HRESULT StringCchCat(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc); 2 3 HRESULT StringCchCatEx(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc, 4 5 PTSTR *ppszDestEnd, size_t *pcchRemaning, DWORD dwFlags); 6 7 8 9 HRESULT StringCchCopy(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc); 10 11 HRESULT StringCchCopyEx(PTSTR pszDest, size_t cchDest, PCTSTR pszSrc, 12 13 PTSTR *ppszDestEnd, size_t *pcchRemaining, DWORD dwFlags); 14 15 16 17 HRESULT StringCchPrintf(PTSTR pszDest, size_t cchDest, PCTSTR pszFormat, …); 18 19 HRESULT StringCchPrintfEx(PTSTR pszDest, size_t cchDest, PTSTR *ppszDestEnd, size_t *pchRemaining, PCTSTR pszFormat, …);
函数名中的Cch表示字符串,即Count of characters. 另外还有Cb的版本,即count of bytes,字节数。
关于HRESULT返回值,返回S_OK成功,返回STRSAFE_E_INVALID_PARAMETER说明将NULL值传给了一个参数, 返回STRSAFE_E_INSUFFICIENT_BUFFER说明目标缓冲区太小,无法容纳整个源字符串。
扩展版本的参数
Size_t *pcchRemaining: 指向一个变量的指针,返回往缓冲区写完后缓冲区剩余的字符数,包括’ ’。如果pcchRemaing为NULL则不返回计数。
LPTSTR *ppszDestEnd: 如果ppszdDestEnd不为NULL则它将指向终止字符’ ’。
DWROD deFlags:以下一个或多个值
STRSAFE_FILL_BEHIND_NULL:如果函数成功,dwFlags用低字节来填充目标缓冲区的剩余部分(即’ ’之后的部分), 如果用STRSAFE_FILL_BYTE来代替它,那么将用指定的字符来填充目标缓冲区剩余的部分。
STRSAFE_IGNORE_NULLS:把NULL字符串指针视为TEXT(“”);
STRSAFE_FILL_ON_FAILURE:如果函数失败,就用dwFlags的低字节来填充整个目标缓冲区,但目标缓冲区的最后一个字符会被设为’ ’, 如果缓冲区太小从而失败原因是STRSAFE_E_INSUFFICIENT_BUFFER,那么在返回的字符串中,所有的字符都会被替换成填充字符。
STRSAFE_NULL_ON_FAILURE:如果函数失败,就将目标缓冲区的第一个字符设为’ ’,从而是缓冲区字符串成为一个空字符串TEXT(“”),如果失败的原因是STRSAFE_E_INSUFFICIENT_BUFFER,则截断后的字符都会被覆盖。
STRSAFE_NO_TRUNCATION:同STRFAFE_NULL_ON_FAILURE ?
从这几个flags的定义可以看出:其低字节为0x00,即终止字符’ ’。
6、 windows字符串函数
比如lstcat和lstrcpy已经不赞成使用,因为他们无法检测缓冲区益处问题。
与此同时,在shlwapi.h中定义了大量好用的字符串函数,同时还需要shlwapi.lib文件;比如StrForamtKBSize, StrFormatByteSize等。
其实这两个函数都是宏,都有两个W和A版本的函数。
StrForamtKBSize函数的W版本原型如下:
LWSTDAPI_(LPWSTR) StrFormatKBSizeW(LONGLONG qdw, __out_ecount(cchBuf) LPWSTR pszBuf, UINT cchBuf);
1 //eg.
2
3 LPWSTR pszBuffer = new WCHAR[100];
4
5 memset(pszBuffer, 0, sizeof(WCHAR) * 100);
6
7 LPWSTR pszRet = StrFormatKBSize(12345, pszBuffer, 100);
结果: *pszRet == *pszBuffer == L”13 KB”; psRet指向pszBuffer指向的内存。
另有CompareString(Ex)和CompareStringOrdinal
int CompareString( //此函数是一个宏
LCID locale, //区域设置ID,标识一种语言, 可用LCID GetThreadLocale()获得
DWORD dwCmdFlags, //比较的方式
PCTSTR pString1, //字符串1
int cch1, //字符串1字符数
PCTSTR pString2, //字符串2
int cch2 //字符串2字符数
);
dwCmdFlags:
NORM_IGNORECASE
LINGUISTIC_IGNORECASE : 忽略大小写
NORM_IGNOREKANATYPE:不区分平假名和片假名字符
NORM_IGNORENONSPACE
LINGUISTIC_IGNOREDIACRITIC:忽略non-spacing字符
NORM_IGNORESYMBOLS:忽略符号
NORM_IGNOREWIDTH:不区分同一个字符的单字节和双字节形式
SORT_STRINGSORT:将标点符号当作符号来处理
1 int CompareStringOrdinal( //只有UNICODE版本
2
3 PCWSTR pString1, //字符串1
4 int cchCount1,
5 PCWSTR pString2,
6 int cchCount2,
7 BOOL bIgnoreCase
8
9 );
CompareStringOrdinal用于比较程序内部所用的字符串(如路径名、注册表项/值、XML元素/属性等),这个函数不需要LCID,速度快。
上面两个函数的返回值需要注意:返回0说明失败,返回1说明前者小于后者,返回2说明相等,返回3说明前者大于后者。可以把返回值减去2得到结果来与strcmp_s或strcmp的结果保持一致。
7、 推荐的字符串处理方式
使用C运行库的安全版本函数来处理字符串,只要定义了_STDC_WANT_SECURE_LIB符号,这些_s方法都可以用,CrtDefs.h默认定义了此符号,不要取消对此符号的定义。
Unicode和Ansi字符串转换
1 int MultiByteToWideChar( //返回
2
3 UINT uCodePage, //代码页,一般可谓CP_ACP,另有CP_UTF8等
4
5 DWORD dwFlags, //标记,额外的转换控制
6
7 PCSTR pMultiByteStr, //源多字节字符串
8
9 int cbMultiByte, //源多字节缓冲区字节数
10
11 PWSTR pWideCharStr, //目的宽字符缓冲区
12
13 int cchWiderChar //目的宽字符缓冲区字符数
14
15 );
一定要注意的是:多字节缓冲区一般用字节表示大小,宽字符缓冲区一般用字符数表示大小。
当为cbMultiByte传入-1时,函数可以自动判断源多字节字符串的长度,当为cchWideChar传入0时,函数不进行转换,而是返回需要的宽字符个数,包括’ ’。
1 LPCSTR pszSrc = "hello world";
2
3 int nRet = MultiByteToWideChar(CP_ACP, 0, pszSrc, -1, NULL, 0);
4
5
6 LPWSTR pszDst = new WCHAR[nRet];
7
8 memset(pszDst, 0, nRet * sizeof(WCHAR));
9
10 nRet = MultiByteToWideChar(CP_ACP, 0, pszSrc, -1, pszDst, nRet);
11
12
13 delete[] pszDst;
14
15 pszDst = NULL;
1 int WideCharToMultiByte(
2
3 UINT uCodePage, //代码页,CP_ACP,另有CP_UTF8
4
5 DWORD dwFlags, //标志,转换控制
6
7 PCWSTR pWideCharStr, //源宽字符串
8
9 int cchWideChar, //源宽字符串字符个数
10
11 PSTR pMultiByteStr, //目的多字节缓冲区
12
13 int cbMultiByte, //目的多字节缓冲区的大小
14
15 PCSTR pDefaultChar, //只有一个字符在uCodePage指定的代码页中没有对应的表示时,函数使用pDefaultChar指向的字符
16
17 PBOOL bfUsedDefaultChar //如果至少有一个宽字符不能转换为对应的多字节形式,函数就会把这个变量置为TRUE,否则为FALSE,可用它来验证转换是否成功。
18
19 );
和MultiByteToWideChar类似,如果给cchWideChar传入-1,则函数会自动判断源多字节字符串的字节数,如果给cbMultiByte传入0,则函数会返回需要的字节数,包括’ ’。
1 LPCWSTR pszWideCharStr = L"hello world";
2
3 int nRetValue = WideCharToMultiByte(CP_ACP, 0, pszWideCharStr, -1, NULL, 0, NULL, NULL); //返回需要的字节数
5
6 PSTR pszMultiCharStr = new CHAR[nRetValue / sizeof(WCHAR)]; //这里需要特别注意!
8
9 PCSTR pDefaultChar = "C";
10
11 BOOL bUsedDefaultChar = FALSE;
13
14 nRetValue = WideCharToMultiByte(
CP_ACP, 0, pszWideCharStr, -1, pszMultiCharStr, nRetValue, pDefaultChar, &bUsedDefaultChar );
15
16
18 delete[] pszMultiCharStr;
19
20 pszMultiCharStr = NULL;
21
22 if(FALSE == bUsedDefaultChar)
24 {
25
26 //转换成功
28 }
29
30 else
32 {
34 //转换不成功
36 }
8、 判断文本是UNICODE还是ANSI
在AdvApi32.dll中导出,在WinBase.h中声明的:
BOOL IsTextUnicode(CONST PVOID pvBuffer, int cb/*字节数*/, PINT pResult);
INT nResult = 0;
BOOL bRet = IsTextUnicode(“hello world”, 12, &nResult);
这个函数测到的结果不一定准确,测试的字节数越多越准确。
转载于:https://www.cnblogs.com/cuish/archive/2013/05/06/3063967.html
最后
以上就是迷人面包为你收集整理的【windows核心编程】第二章 字符和字符串处理的全部内容,希望文章能够帮你解决【windows核心编程】第二章 字符和字符串处理所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复