1. 問(wèn)題的起源
每個(gè)國家（或區域）都規定了計算機信息交換用的字符編碼集，如美國的擴展 ASCII碼, 中國的 GB2312-80，日本的 JIS 等，作為該國家/區域內信息處理的基礎，有著(zhù)統一編碼的重要作用。字符編碼集按長(cháng)度分為 SBCS（單字節字符集），DBCS（雙字節字符集）兩大類(lèi)。早期的軟件（尤其是操作系統），為了解決本地字符信息的計算機處理，出現了各種本地化版本（L10N），為了區分，引進(jìn)了 LANG, Codepage 等概念。但是由于各個(gè)本地字符集代碼范圍重疊，相互間信息交換困難；軟件各個(gè)本地化版本獨立維護成本較高。因此有必要將本地化工作中的共性抽取出來(lái)，作一致處理，將特別的本地化處理內容降低到最少。這也就是所謂的國際化（I18N）。各種語(yǔ)言信息被進(jìn)一步規范為 Locale 信息。處理的底層字符集變成了幾乎包含了所有字形的 Unicode。
現在大部分具有國際化特征的軟件核心字符處理都是以 Unicode 為基礎的，在軟件運行時(shí)根據當時(shí)的 Locale/Lang/Codepage 設置確定相應的本地字符編碼設置，并依此處理本地字符。在處理過(guò)程中需要實(shí)現 Unicode 和本地字符集的相互轉換，甚或以 Unicode 為中間的兩個(gè)不同本地字符集的相互轉換。這種方式在網(wǎng)絡(luò )環(huán)境下被進(jìn)一步延伸，任何網(wǎng)絡(luò )兩端的字符信息也需要根據字符集的設置轉換成可接受的內容。
Java 語(yǔ)言?xún)炔渴怯?nbsp;Unicode 表示字符的，遵守 Unicode V2.0。Java 程序無(wú)論是從/往文件系統以字符流讀/寫(xiě)文件，還是往 URL 連接寫(xiě) HTML 信息，或從 URL 連接讀取參數值，都會(huì )有字符編碼的轉換。這樣做雖然增加了編程的復雜度，容易引起混淆，但卻是符合國際化的思想的。
從理論上來(lái)說(shuō)，這些根據字符集設置而進(jìn)行的字符轉換不應該產(chǎn)生太多問(wèn)題。而事實(shí)是由于應用程序的實(shí)際運行環(huán)境不同，Unicode 和各個(gè)本地字符集的補充、完善，以及系統或應用程序實(shí)現的不規范，轉碼時(shí)出現的問(wèn)題時(shí)時(shí)困擾著(zhù)程序員和用戶(hù)。
2. GB2312-80，GBK，GB18030-2000 漢字字符集及 Encoding
其實(shí)解決 JAVA 程序中的漢字編碼問(wèn)題的方法往往很簡(jiǎn)單，但理解其背后的原因，定位問(wèn)題，還需要了解現有的漢字編碼和編碼轉換。
GB2312-80 是在國內計算機漢字信息技術(shù)發(fā)展初始階段制定的，其中包含了大部分常用的一、二級漢字，和 9 區的符號。該字符集是幾乎所有的中文系統和國際化的軟件都支持的中文字符集，這也是最基本的中文字符集。其編碼范圍是高位0xa1－0xfe，低位也是 0xa1-0xfe；漢字從 0xb0a1 開(kāi)始，結束于 0xf7fe；
GBK 是 GB2312-80 的擴展，是向上兼容的。它包含了 20902 個(gè)漢字，其編碼范圍是 0x8140-0xfefe，剔除高位 0x80 的字位。其所有字符都可以一對一映射到 Unicode 2.0，也就是說(shuō) JAVA 實(shí)際上提供了 GBK 字符集的支持。這是現階段 Windows 和其它一些中文操作系統的缺省字符集，但并不是所有的國際化軟件都支持該字符集，感覺(jué)是他們并不完全知道 GBK 是怎么回事。值得注意的是它不是國家標準，而只是規范。隨著(zhù) GB18030-2000國標的發(fā)布，它將在不久的將來(lái)完成它的歷史使命。
GB18030-2000(GBK2K) 在 GBK 的基礎上進(jìn)一步擴展了漢字，增加了藏、蒙等少數民族的字形。GBK2K 從根本上解決了字位不夠，字形不足的問(wèn)題。它有幾個(gè)特點(diǎn)，
它并沒(méi)有確定所有的字形，只是規定了編碼范圍，留待以后擴充。
編碼是變長(cháng)的，其二字節部分與 GBK 兼容；四字節部分是擴充的字形、字位，其編碼范圍是首字節 0x81-0xfe、二字節0x30-0x39、三字節 0x81-0xfe、四字節0x30-0x39。
它的推廣是分階段的，首先要求實(shí)現的是能夠完全映射到 Unicode 3.0 標準的所有字形。
它是國家標準，是強制性的。
現在還沒(méi)有任何一個(gè)操作系統或軟件實(shí)現了 GBK2K 的支持，這是現階段和將來(lái)漢化的工作內容。
Unicode 的介紹......就免了吧。
JAVA 支持的encoding中與中文編程相關(guān)的有：(有幾個(gè)在JDK文檔中未列出)
ASCII 7-bit, 同 ascii7
ISO8859-1 8-bit, 同 8859_1,ISO-8859-1,ISO_8859-1,latin1...
GB2312-80 同gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB......
GBK (注意大小寫(xiě)),同MS936
UTF8 UTF-8
GB18030 (現在只有IBM JDK1.3.?有支持), 同Cp1392,1392
JAVA 語(yǔ)言采用Unicode處理字符. 但從另一個(gè)角度來(lái)說(shuō)，在java程序中也可以采用非Unicode的轉碼，重要的是保證程序入口和出口的漢字信息不失真。如完全采用ISO-8859-1來(lái)處理漢字也能達到正確的結果。網(wǎng)絡(luò )上流行的許多解決方法，都屬于這種類(lèi)型。為了不致引起混淆，本文不對這種方法作討論。
3. 中文轉碼時(shí)‘?‘、亂碼的由來(lái)
兩個(gè)方向轉換都有可能得到錯誤的結果：
Unicode-->Byte, 如果目標代碼集不存在對應的代碼，則得到的結果是0x3f.
如：
"\u00d6\u00ec\u00e9\u0046\u00bb\u00f9".getBytes("GBK") 的結果是 "?ìéF?ù", Hex 值是3fa8aca8a6463fa8b4.
仔細看一下上面的結果，你會(huì )發(fā)現\u00ec被轉換為0xa8ac, \u00e9被轉換為\xa8a6... 它的實(shí)際有效位變長(cháng)了！這是因為GB2312符號區中的一些符號被映射到一些公共的符號編碼，由于這些符號出現在ISO-8859-1或其它一些SBCS字符集中，故它們在Unicode中編碼比較靠前，有一些其有效位只有8位，和漢字的編碼重疊(其實(shí)這種映射只是編碼的映射，在顯示時(shí)仔細不是一樣的。Unicode 中的符號是單字節寬，漢字中的符號是雙字節寬) . 在Unicode\u00a0--\u00ff 之間這樣的符號有20個(gè)。了解這個(gè)特征非常重要！由此就不難理解為什么JAVA編程中，漢字編碼的錯誤結果中常常會(huì )出現一些亂碼(其實(shí)是符號字符), 而不全是‘?‘字符, 就比如上面的例子。
Byte-->Unicode, 如果Byte標識的字符在源代碼集不存在，則得到的結果是0xfffd.
如：
Byte ba[] = {(byte)0x81,(byte)0x40,(byte)0xb0,(byte)0xa1}; new String(ba,"gb2312");
結果是"?啊", hex 值是"\ufffd\u554a". 0x8140 是GBK字符，按GB2312轉換表沒(méi)有對應的值，取\ufffd. (請注意：在顯示該uniCode時(shí)，因為沒(méi)有對應的本地字符，所以也適用上一種情況，顯示為一個(gè)"?".)
實(shí)際編程中，JSP/Servlet 程序得到錯誤的漢字信息，往往是這兩個(gè)過(guò)程的疊加，有時(shí)甚至是兩個(gè)過(guò)程疊加后反復作用的結果.
4. JSP/Servlet 漢字編碼問(wèn)題及在 WAS 中的解決辦法
4.1 常見(jiàn)的 encoding 問(wèn)題的現象
網(wǎng)上常出現的 JSP/Servlet encoding 問(wèn)題一般都表現在 browser 或應用程序端，如:
瀏覽器中看到的 Jsp/Servlet 頁(yè)面中的漢字怎么都成了 ’?’ ?
瀏覽器中看到的 Servlet 頁(yè)面中的漢字怎么都成了亂碼？
JAVA 應用程序界面中的漢字怎么都成了方塊？
Jsp/Servlet 頁(yè)面無(wú)法顯示 GBK 漢字。
JSP 頁(yè)面中內嵌在<%...%>,<%=...%>等Tag包含的 JAVA code 中的中文成了亂碼，但頁(yè)面的其它漢字是對的。
Jsp/Servlet 不能接收 form 提交的漢字。
JSP/Servlet 數據庫讀寫(xiě)無(wú)法獲得正確的內容。
隱藏在這些問(wèn)題后面的是各種錯誤的字符轉換和處理（除第3個(gè)外，是因為 Java font 設置錯誤引起的）。解決類(lèi)似的字符 encoding 問(wèn)題，需要了解 Jsp/Servlet 的運行過(guò)程，檢查可能出現問(wèn)題的各個(gè)點(diǎn)。
4.2 JSP/Servlet web 編程時(shí)的 encoding 問(wèn)題
運行于Java 應用服務(wù)器的 JSP/Servlet 為 Browser 提供 HTML 內容，其過(guò)程如下圖所示：
其中有字符編碼轉換的地方有:
JSP 編譯。Java 應用服務(wù)器將根據 JVM 的 file.encoding 值讀取 JSP 源文件，編譯生成 JAVA 源文件，再根據 file.encoding 值寫(xiě)回文件系統。如果當前系統語(yǔ)言支持 GBK，那么這時(shí)候不會(huì )出現 encoding 問(wèn)題。如果是英文的系統，如 LANG 是 en_US 的 Linux, AIX 或 Solaris，則要將 JVM 的 file.encoding 值置成 GBK 。系統語(yǔ)言如果是 GB2312，則根據需要，確定要不要設置 file.encoding，將 file.encoding 設為 GBK 可以解決潛在的 GBK 字符亂碼問(wèn)題
Java 需要被編譯為 .class 才能在 JVM 中執行，這個(gè)過(guò)程存在與a.同樣的 file.encoding 問(wèn)題。從這里開(kāi)始 servlet 和 jsp 的運行就類(lèi)似了，只不過(guò) Servlet 的編譯不是自動(dòng)進(jìn)行的。對于JSP程序, 對產(chǎn)生的JAVA 中間文件的編譯是自動(dòng)進(jìn)行的(在程序中直接調用sun.tools.javac.Main類(lèi)). 因此如果在這一步出現問(wèn)題的話(huà), 也要檢查encoding和OS的語(yǔ)言環(huán)境，或者將內嵌在JSP JAVA Code 中的靜態(tài)漢字轉為 Unicode, 要么靜態(tài)文本輸出不要放在 JAVA code 中。對于Servlet, javac 編譯時(shí)手工指定-encoding 參數就可以了。
Servlet 需要將 HTML 頁(yè)面內容轉換為 browser 可接受的 encoding 內容發(fā)送出去。依賴(lài)于各 JAVA App Server 的實(shí)現方式，有的將查詢(xún) Browser 的 accept-charset 和 accept-language 參數或以其它猜的方式確定 encoding 值，有的則不管。因此采用固定encoding 也許是最好的解決方法。對于中文網(wǎng)頁(yè)，可在 JSP 或 Servlet 中設置 contentType="text/html; charset=GB2312"；如果頁(yè)面中有GBK字符，則設置為contentType="text/html; charset=GBK"，由于IE 和 Netscape對GBK的支持程度不一樣，作這種設置時(shí)需要測試一下。
因為16位 JAVA char在網(wǎng)絡(luò )傳送時(shí)高8位會(huì )被丟棄，也為了確保Servlet頁(yè)面中的漢字（包括內嵌的和servlet運行過(guò)程中得到的）是期望的內碼，可以用 PrintWriter out=res.getWriter() 取代 ServletOutputStream out=res.getOutputStream(). PrinterWriter 將根據contentType中指定的charset作轉換 (ContentType需在此之前指定！); 也可以用OutputStreamWriter封裝 ServletOutputStream 類(lèi)并用write(String)輸出漢字字符串。
對于 JSP，JAVA Application Server 應當能夠確保在這個(gè)階段將嵌入的漢字正確傳送出去。
這是解釋 URL 字符 encoding 問(wèn)題。如果通過(guò) get/post 方式從 browser 返回的參數值中包含漢字信息， servlet 將無(wú)法得到正確的值。SUN的 J2SDK 中，HttpUtils.parseName 在解析參數時(shí)根本沒(méi)有考慮 browser 的語(yǔ)言設置，而是將得到的值按 byte 方式解析。這是網(wǎng)上討論得最多的 encoding 問(wèn)題。因為這是設計缺陷，只能以 bin 方式重新解析得到的字符串；或者以 hack HttpUtils 類(lèi)的方式解決。參考文章 2 均有介紹，不過(guò)最好將其中的中文 encoding GB2312、 CP1381 都改為 GBK，否則遇到 GBK 漢字時(shí)，還是會(huì )有問(wèn)題。
Servlet API 2.3 提供一個(gè)新的函數 HttpServeletRequest.setCharacterEncoding 用于在調用 request.getParameter(“param_name”) 前指定應用程序希望的 encoding，這將有助于徹底解決這個(gè)問(wèn)題 |
|
