UNICODE環(huán)境設置
在安裝Visual Studio時(shí),在選擇VC++時(shí)需要加入unicode選項,保證相關(guān)的庫文件可以拷貝到system32下。
UNICODE編譯設置:
C/C++, Preprocessor difinitions 去除_MBCS,加_UNICODE,UNICODE
在ProjectSetting/link/output 中設置Entry為wWinMainCRTStartup
反之為MBCS(ANSI)編譯。
Unicode :寬字節字符集
1. 如何取得一個(gè)既包含單字節字符又包含雙字節字符的字符串的字符個(gè)數?
可以調用Microsoft Visual C++的運行期庫包含函數_mbslen來(lái)操作多字節(既包括單字節也包括雙字節)字符串。
調用strlen函數,無(wú)法真正了解字符串中究竟有多少字符,它只能告訴你到達結尾的0之前有多少個(gè)字節。
2. 如何對DBCS(雙字節字符集)字符串進(jìn)行操作?
函數 描述
PTSTR CharNext ( LPCTSTR ); 返回字符串中下一個(gè)字符的地址
PTSTR CharPrev ( LPCTSTR, LPCTSTR ); 返回字符串中上一個(gè)字符的地址
BOOL IsDBCSLeadByte( BYTE ); 如果該字節是DBCS字符的第一個(gè)字節,則返回非0值
3. 為什幺要使用Unicode?
(1) 可以很容易地在不同語(yǔ)言之間進(jìn)行數據交換。
(2) 使你能夠分配支持所有語(yǔ)言的單個(gè)二進(jìn)制.exe文件或DLL文件。
(3) 提高應用程序的運行效率。
Windows 2000是使用Unicode從頭進(jìn)行開(kāi)發(fā)的,如果調用任何一個(gè)Windows函數并給它傳遞一個(gè)ANSI字符串,那幺系統首先要將字符串轉換成Unicode,然后將Unicode字符串傳遞給操作系統。如果希望函數返回ANSI字符串,系統就會(huì )首先將Unicode字符串轉換成ANSI字符串,然后將結果返回給你的應用程序。進(jìn)行這些字符串的轉換需要占用系統的時(shí)間和內存。通過(guò)從頭開(kāi)始用Unicode來(lái)開(kāi)發(fā)應用程序,就能夠使你的應用程序更加有效地運行。
Windows CE 本身就是使用Unicode的一種操作系統,完全不支持ANSI Windows函數
Windows 98 只支持ANSI,只能為ANSI開(kāi)發(fā)應用程序。
Microsoft公司將COM從16位Windows轉換成Win32時(shí),公司決定需要字符串的所有COM接口方法都只能接受Unicode字符串。
4. 如何編寫(xiě)Unicode源代碼?
Microsoft公司為Unicode設計了WindowsAPI,這樣,可以盡量減少代碼的影響。實(shí)際上,可以編寫(xiě)單個(gè)源代碼文件,以便使用或者不使用Unicode來(lái)對它進(jìn)行編譯。只需要定義兩個(gè)宏(UNICODE和_UNICODE),就可以修改然后重新編譯該源文件。
_UNICODE宏用于C運行期頭文件,而UNICODE宏則用于Windows頭文件。當編譯源代碼模塊時(shí),通常必須同時(shí)定義這兩個(gè)宏。
5. Windows定義的Unicode數據類(lèi)型有哪些?
數據類(lèi)型 說(shuō)明
WCHAR Unicode字符
PWSTR 指向Unicode字符串的指針
PCWSTR 指向一個(gè)恒定的Unicode字符串的指針
對應的ANSI數據類(lèi)型為CHAR,LPSTR和LPCSTR。
ANSI/Unicode通用數據類(lèi)型為TCHAR,PTSTR,LPCTSTR。
6. 如何對Unicode進(jìn)行操作?
字符集 特性 實(shí)例
ANSI 操作函數以str開(kāi)頭 strcpy
Unicode 操作函數以wcs開(kāi)頭 wcscpy
MBCS 操作函數以_mbs開(kāi)頭 _mbscpy
ANSI/Unicode 操作函數以_tcs開(kāi)頭 _tcscpy(C運行期庫)
ANSI/Unicode 操作函數以lstr開(kāi)頭 lstrcpy(Windows函數)
所有新的和未過(guò)時(shí)的函數在Windows2000中都同時(shí)擁有ANSI和Unicode兩個(gè)版本。ANSI版本函數結尾以A表示;Unicode版本函數結尾以W表示。Windows會(huì )如下定義:
#ifdef UNICODE
#define CreateWindowEx CreateWindowExW
#else
#define CreateWindowEx CreateWindowExA
#endif // !UNICODE
7. 如何表示Unicode字符串常量?
字符集 實(shí)例
ANSI “string”
Unicode L“string”
ANSI/Unicode T(“string”)或_TEXT(“string”)if( szError[0] == _TEXT(‘J’) ){ }
8. 為什幺應當盡量使用操作系統函數?
這將有助于稍稍提高應用程序的運行性能,因為操作系統字符串函數常常被大型應用程序比如操作系統的外殼進(jìn)程Explorer.exe所使用。由于這些函數使用得很多,因此,在應用程序運行時(shí),它們可能已經(jīng)被裝入RAM。
如:StrCat,StrChr,StrCmp和StrCpy等。
9. 如何編寫(xiě)符合ANSI和Unicode的應用程序?
(1) 將文本串視為字符數組,而不是chars數組或字節數組。
(2) 將通用數據類(lèi)型(如TCHAR和PTSTR)用于文本字符和字符串。
(3) 將顯式數據類(lèi)型(如BYTE和PBYTE)用于字節、字節指針和數據緩存。
(4) 將TEXT宏用于原義字符和字符串。
(5) 執行全局性替換(例如用PTSTR替換PSTR)。
(6) 修改字符串運算問(wèn)題。例如函數通常希望在字符中傳遞一個(gè)緩存的大小,而不是字節。這意味著(zhù)不應該傳遞sizeof(szBuffer),而應該傳遞(sizeof(szBuffer)/sizeof(TCHAR)。另外,如果需要為字符串分配一個(gè)內存塊,并且擁有該字符串中的字符數目,那幺請記住要按字節來(lái)分配內存。這就是說(shuō),應該調用
malloc(nCharacters *sizeof(TCHAR)),而不是調用malloc(nCharacters)。
10. 如何對字符串進(jìn)行有選擇的比較?
通過(guò)調用CompareString來(lái)實(shí)現。
標志 含義
NORM_IGNORECASE 忽略字母的大小寫(xiě)
NORM_IGNOREKANATYPE 不區分平假名與片假名字符
NORM_IGNORENONSPACE 忽略無(wú)間隔字符
NORM_IGNORESYMBOLS 忽略符號
NORM_IGNOREWIDTH 不區分單字節字符與作為雙字節字符的同一個(gè)字符
SORT_STRINGSORT 將標點(diǎn)符號作為普通符號來(lái)處理
11. 如何判斷一個(gè)文本文件是ANSI還是Unicode?
判斷如果文本文件的開(kāi)頭兩個(gè)字節是0xFF和0xFE,那幺就是Unicode,否則是ANSI。
12. 如何判斷一段字符串是ANSI還是Unicode?
用IsTextUnicode進(jìn)行判斷。IsTextUnicode使用一系列統計方法和定性方法,以便猜測緩存的內容。由于這不是一種確切的科學(xué)方法,因此 IsTextUnicode有可能返回不正確的結果。
13. 如何在Unicode與ANSI之間轉換字符串?
Windows函數MultiByteToWideChar用于將多字節字符串轉換成寬字符串;函數WideCharToMultiByte將寬字符串轉換成等價(jià)的多字節字符串。
14. Unicode和DBCS之間的區別
Unicode使用(特別在C程序設計語(yǔ)言環(huán)境里)“寬字符集”?!?/span>Unicode中的每個(gè)字符都是16位寬而不是8位寬?!乖?/span>Unicode中,沒(méi)有單單使用8位數值的意義存在。相比之下,在“雙位組字符集”中我們仍然處理8位數值。有些位組自身定義字符,而某些位組則顯示需要和另一個(gè)位組共同定義一個(gè)字符。
處理DBCS字符串非常雜亂,但是處理Unicode文字則像處理有秩序的文字。您也許會(huì )高興地知道前128個(gè)Unicode字符(16位代碼從0x0000到0x007F)就是ASCII字符,而接下來(lái)的128個(gè)Unicode字符(代碼從0x0080到0x00FF)是ISO 8859-1對ASCII的擴展。Unicode中不同部分的字符都同樣基于現有的標準。這是為了便于轉換。希臘字母表使用從0x0370到0x03FF的代碼,斯拉夫語(yǔ)使用從0x0400到0x04FF的代碼,美國使用從0x0530到0x058F的代碼,希伯來(lái)語(yǔ)使用從0x0590到0x05FF的代碼。中國、日本和韓國的象形文字(總稱(chēng)為CJK)占用了從0x3000到0x9FFF的代碼。Unicode的最大好處是這里只有一個(gè)字符集,沒(méi)有一點(diǎn)含糊。
15.衍生標準
Unicode是一個(gè)標準。UTF-8是其概念上的子集,UTF-8是具體的編碼標準。而UNICODE是所有想達到世界統一編碼標準的標準。UTF-8標準就是Unicode(ISO10646)標準的一種變形方式,
UTF的全稱(chēng)是:Unicode/UCS Transformation Format,其實(shí)有兩種UTF,一種是UTF-8,一種是UTF-16,
不過(guò)UTF-16使用較少,其對應關(guān)系如下:
在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 0xxxxxxx
在Unicode中編碼為 0080 - 07FF 的 UTF-8 中編碼形式為: 110xxxxx 10xxxxxx
在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 1110xxxx 10xxxxxx 10xxxxxx
utf-8是unicode的一個(gè)新的編碼標準,其實(shí)unicode有過(guò)好幾個(gè)標準.我們知道一直以來(lái)使用的unicode字符內碼都是16位,它實(shí)際上還不能把全世界的所有字符編在一個(gè)平面系統,比如中國的藏文等小語(yǔ)種,所以utf-8擴展到了32位,也就是說(shuō)理論在utf-8中可容納二的三十二次方個(gè)字符. UNICODE的思想就是想把所有的字符統一編碼,實(shí)現一個(gè)統一的標準.big5、gb都是獨立的字符集,這也叫做遠東字符集,把它拿到德文版的WINDOWS上可能將會(huì )引起字符編碼的沖突....早期的WINDOWS默認的字符集是ANSI.notepad中輸入的漢字是本地編碼,但在NT/2000內部是可以直接支持UNICODE的。notepad.exe在WIN95和98中都是ANSI字符,在NT中則是UNICODE.ANSI和UNICODE可以方便的實(shí)現對應映射,也就是轉換 ASCII是8位范圍內的字符集,對于范圍之外的字符如漢字它是無(wú)法表達的。unicode是16位范圍內的字符集,對于不同地區的字符分區分配,unicode是多個(gè)IT巨頭共同制定的字符編碼標準。如果在unicode環(huán)境下比如WINDOWS NT上,一個(gè)字符占兩字節16位,而在ANSI環(huán)境下如WINDOWS98下一個(gè)字符占一個(gè)字節8位.Unicode字符是16位寬,最多允許65,535字符,數據類(lèi)型被稱(chēng)為WCHAR。
對于已有的ANSI字符,unicode簡(jiǎn)單的將其擴展為16位:比如ANSI"A"=0x43,則對應的UNICODE為
"A"= 0x0043
而ASCII用七存放128個(gè)字符,ASCII是一個(gè)真正的美國標準,所以它不能滿(mǎn)足其他國家的需要,例如斯拉夫語(yǔ)的字母和漢字于是出現了Windows ANSI字符集,是一種擴展的ASCII碼,用8位存放字符,低128位仍然存放原來(lái)的ASCII碼,
而高128位加入了希臘字母等
if def UNICODE
TCHAR = wchar
else
TCHAR = char
你需要在Project\Settings\C/C++\Preprocesser definitions中添加UNICODE和_UNICODE
UINCODE,_UNICODE都要定義。不定義_UNICODE的話(huà),用SetText(HWND,LPCTSTR),將被解釋為SetTextA(HWND,LPTSTR),這時(shí)API將把你給的Unicode字符串看作ANSI字符串,顯示亂碼。因為windows API是已經(jīng)編譯好存在于dll中的,由于不管UNICODE還是ANSI字符串,都被看作一段buffer,如"0B A3 00 35 24 3C 00 00"如果按ANSI讀,因為ANSI字串是以‘\0‘結束的,所以只能讀到兩字節"0B A3 \0",如果按UNICODE讀,將完整的讀到‘\0\0‘結束。
由于UNICODE沒(méi)有額外的指示位,所以系統必須知道你提供的字串是哪種格式。此外,UNICODE好象是ANSI C++規定的,_UNICODE是windows SDK提供的。如果不編寫(xiě)windows程序,可以只定義UNICODE。
開(kāi)發(fā)過(guò)程:
圍繞著(zhù)文件讀寫(xiě)、字符串處理展開(kāi)。文件主要有兩種:.txt和.ini文件
1. 在unicode和非unicode環(huán)境下字符串做不同處理的,那么需要參考以上9,10兩條,以適應不同環(huán)境得字符串處理要求。
對文件讀寫(xiě)也一樣。只要調用相關(guān)接口函數時(shí),參數中的字符串前都加上_TEXT等相關(guān)宏。如果寫(xiě)成的那個(gè)文件需要是unicode格式保存的,那么在創(chuàng )建文件時(shí)需要加入一個(gè)字節頭。
CFile file;
WCHAR szwBuffer[128];
WCHAR *pszUnicode = L"Unicode string\n"; // unicode string
CHAR *pszAnsi = "Ansi string\n"; // ansi string
WORD wSignature = 0xFEFF;
file.Open(TEXT("Test.txt"), CFile::modeCreate|CFile::modeWrite);
file.Write(&wSignature, 2);
file.Write(pszUnicode, lstrlenW(pszUnicode) * sizeof(WCHAR));
// explicitly use lstrlenW function
MultiByteToWideChar(CP_ACP, 0, pszAnsi, -1, szwBuffer, 128);
file.Write(szwBuffer, lstrlenW(szwBuffer) * sizeof(WCHAR));
file.Close();
//以上這段代碼在unicode和非unicode環(huán)境下都有效。這里顯式的指明用Unicode來(lái)進(jìn)行操作。
2. 在非unicode環(huán)境下,缺省調用的都是ANSI格式的字符串,此時(shí)TCHAR轉換為CHAR類(lèi)型的,除非顯式定義WCHAR。所以在這個(gè)環(huán)境下,如果讀取unicode文件,那么首先需要移動(dòng)2個(gè)字節,然后讀取得字符串需要用MultiByteToWideChar來(lái)轉換,轉換后字符串信息才代表unicode數據。
3. 在unicode環(huán)境下,缺省調用得都是unicode格式得字符串,也就是寬字符,此時(shí)TCHAR轉換為WCHAR,相關(guān)得API函數也都調用寬字符類(lèi)型的函數。此時(shí)讀取unicode文件也和上面一樣,但是讀取得數據是WCHAR的,如果要轉換成ANSI格式,需要調用WideCharToMultiByte。如果讀取ANSI的,則不用移動(dòng)兩個(gè)字節,直接讀取然后視需要轉換即可。
某些語(yǔ)言(如韓語(yǔ))必須在unicode環(huán)境下才能顯示,這種情況下,在非unicode環(huán)境下開(kāi)發(fā),就算用字符串函數轉換也不能達到顯示文字的目的,因為此時(shí)調用得API函數是用ANSI的(雖然底層都是用UNICODE處理但是處理結果是按照程序員調用的API來(lái)顯示的)。所以必須用unicode來(lái)開(kāi)發(fā)。
聯(lián)系客服