windows程序设计01utf8编码问题荷楠仁

utf8是unicode的一种实现方式.windows95及以前,还没有unicode,更没有utf8.所以在windows95及以前微软自己定义了一套解决多国语言的规则(mbcs),因为windows95的巨大成功,大量程序都是用的微软自己定义国语言规则.到windowsnt的时候unicode已经出现,所以的windowsnt的内核用了unicode编码(UCS-2),内核彻底解决了多国语言.但是为了和已有代码兼容,windows没有把自己的mbcs废除.mbcs用到什么时候现在还在用.到VS2017,mbcs还是微软解决的多国语音问题的默认方式.在VS2013的时候,微软建议过不要再使用mbcs(参考资料5),以后的版本可能不再提供.但用户不干了,因为太多的程序是用mbcs的方式,修改成unicode成本太大.所以到VS2015,mbcs又回来了,并且宣布以后的版本继续支持mbcs.微软那个纠结呀.

VS2013及以前微软的编译器cl只能支持utf8withbom(或者是用mbcs的方式,中文用cp936),一直到到vs2015或者vs2017,cl才有一个指定源代码字符编码的选项/source-charset,vs2015以前都没有.vs2015以前用vs写c语言程序用utf8编码(没有bom)会有很多问题.总之感谢微软,latebetterthannever!

假设vs2017的安装目录是%VS_HOME%,则用vs打开下面2个文件

%VS_HOME%\Common7\IDE\VC\vcprojectitems\hfile.h%VS_HOME%\Common7\IDE\VC\vcprojectitems\newc++file.cpp在这2个文件中加入一行中文注释,如

//utf8编码然后选择"高级保存选项",然后在编码中选择utf8(无签名)65001.这样再新建文件时,编码都是utf8.

看C00CmdHelloWorld.c的代码:

//编码设置为utf-8#include#includeintmain(){ char*a="hello"; char*b="您好"; printf("%ssizeis%d\n",a,strlen(a)); printf("%ssizeis%d\n",b,strlen(b)); getchar(); return0;}有2种方式编译运行.

clC00CmdHelloWorld.c/source-charset:utf-8C00CmdHelloWorld输出为

hellosizeis5您好sizeis4//编码设置为utf-8#include#include#includeintmain(){ _wsetlocale(LC_ALL,L""); wchar_t*a=L"hello"; wchar_t*b=L"您好"; printf("%lssizeis%d\n",a,wcslen(a)); printf("%lssizeis%d\n",b,wcslen(b)); getchar(); return0;}这个代码"hello"的长度是5,"您好"的长度是2.wchar_t表示以双字节的方式保存字符.windows用的UCS-2,即以2个字节保存一个字符.这和python2是一样的.但是要兼容以前的程序,单字节的api不能废除掉.微软用了一个技巧,同样一份代码,当没有定义UNICODE宏的时候,使用单字节的api,定义UNICODE宏的时候使用双字节的api.细节见参考资料4的第2章.C00CmdHelloWorld1.c没有用微软这个技巧,显示地指定了用双字节的api.什么时候使用微软这个技巧,什么时候不用个人建议:

//C03UnicodeMsg.c编码设置为utf-8#include#include#includeintWINAPIWinMain(HINSTANCEhInstance,HINSTANCEhPrevInstance, PSTRszCmdLine,intiCmdShow){ TCHARszBuffer[100]; TCHAR*a=TEXT("a中国b"); wsprintf(szBuffer,TEXT("a中国b,len=%d"),_tcslen(a)); MessageBox(NULL,szBuffer,TEXT("Helloworld汉字"),MB_OK); return0;}编译这个程序的命令为:

cluser32.libgdi32.lib/DUNICODE/source-charset:utf-8其中UNICODE就微软定义的宏.这个宏存在时TCHAR被定义为wchar_t,这个宏不存在时,TCHAR被定义为char.