我們已經(jīng)講過(guò)了,字符串也是一種數據類(lèi)型,但是,字符串比較特殊的是還有一個(gè)編碼問(wèn)題。
因為計算機只能處理數字,如果要處理文本,就必須先把文本轉換為數字才能處理。最早的計算機在設計時(shí)采用8個(gè)比特(bit)作為一個(gè)字節(byte),所以,一個(gè)字節能表示的最大的整數就是255(二進(jìn)制11111111=十進(jìn)制255),如果要表示更大的整數,就必須用更多的字節。比如兩個(gè)字節可以表示的最大整數是65535,4個(gè)字節可以表示的最大整數是4294967295。
由于計算機是美國人發(fā)明的,因此,最早只有127個(gè)字母被編碼到計算機里,也就是大小寫(xiě)英文字母、數字和一些符號,這個(gè)編碼表被稱(chēng)為ASCII編碼,比如大寫(xiě)字母A的編碼是65,小寫(xiě)字母z的編碼是122。
但是要處理中文顯然一個(gè)字節是不夠的,至少需要兩個(gè)字節,而且還不能和ASCII編碼沖突,所以,中國制定了GB2312編碼,用來(lái)把中文編進(jìn)去。
你可以想得到的是,全世界有上百種語(yǔ)言,日本把日文編到Shift_JIS里,韓國把韓文編到Euc-kr里,各國有各國的標準,就會(huì )不可避免地出現沖突,結果就是,在多語(yǔ)言混合的文本中,顯示出來(lái)會(huì )有亂碼。
因此,Unicode應運而生。Unicode把所有語(yǔ)言都統一到一套編碼里,這樣就不會(huì )再有亂碼問(wèn)題了。
Unicode標準也在不斷發(fā)展,但最常用的是用兩個(gè)字節表示一個(gè)字符(如果要用到非常偏僻的字符,就需要4個(gè)字節)?,F代操作系統和大多數編程語(yǔ)言都直接支持Unicode。
現在,捋一捋ASCII編碼和Unicode編碼的區別:ASCII編碼是1個(gè)字節,而Unicode編碼通常是2個(gè)字節。
字母A用ASCII編碼是十進(jìn)制的65,二進(jìn)制的01000001;
字符0用ASCII編碼是十進(jìn)制的48,二進(jìn)制的00110000,注意字符'0'和整數0是不同的;
漢字中已經(jīng)超出了ASCII編碼的范圍,用Unicode編碼是十進(jìn)制的20013,二進(jìn)制的01001110 00101101。
你可以猜測,如果把ASCII編碼的A用Unicode編碼,只需要在前面補0就可以,因此,A的Unicode編碼是00000000 01000001。
新的問(wèn)題又出現了:如果統一成Unicode編碼,亂碼問(wèn)題從此消失了。但是,如果你寫(xiě)的文本基本上全部是英文的話(huà),用Unicode編碼比ASCII編碼需要多一倍的存儲空間,在存儲和傳輸上就十分不劃算。
所以,本著(zhù)節約的精神,又出現了把Unicode編碼轉化為“可變長(cháng)編碼”的UTF-8編碼。UTF-8編碼把一個(gè)Unicode字符根據不同的數字大小編碼成1-6個(gè)字節,常用的英文字母被編碼成1個(gè)字節,漢字通常是3個(gè)字節,只有很生僻的字符才會(huì )被編碼成4-6個(gè)字節。如果你要傳輸的文本包含大量英文字符,用UTF-8編碼就能節省空間:
| 字符 | ASCII | Unicode | UTF-8 |
|---|---|---|---|
| A | 01000001 | 00000000 01000001 | 01000001 |
| 中 | x | 01001110 00101101 | 11100100 10111000 10101101 |
從上面的表格還可以發(fā)現,UTF-8編碼有一個(gè)額外的好處,就是ASCII編碼實(shí)際上可以被看成是UTF-8編碼的一部分,所以,大量只支持ASCII編碼的歷史遺留軟件可以在UTF-8編碼下繼續工作。
搞清楚了ASCII、Unicode和UTF-8的關(guān)系,我們就可以總結一下現在計算機系統通用的字符編碼工作方式:
在計算機內存中,統一使用Unicode編碼,當需要保存到硬盤(pán)或者需要傳輸的時(shí)候,就轉換為UTF-8編碼。
用記事本編輯的時(shí)候,從文件讀取的UTF-8字符被轉換為Unicode字符到內存里,編輯完成后,保存的時(shí)候再把Unicode轉換為UTF-8保存到文件:
瀏覽網(wǎng)頁(yè)的時(shí)候,服務(wù)器會(huì )把動(dòng)態(tài)生成的Unicode內容轉換為UTF-8再傳輸到瀏覽器:
所以你看到很多網(wǎng)頁(yè)的源碼上會(huì )有類(lèi)似<meta charset="UTF-8" />的信息,表示該網(wǎng)頁(yè)正是用的UTF-8編碼。
搞清楚了令人頭疼的字符編碼問(wèn)題后,我們再來(lái)研究Python對Unicode的支持。
因為Python的誕生比Unicode標準發(fā)布的時(shí)間還要早,所以最早的Python只支持ASCII編碼,普通的字符串'ABC'在Python內部都是ASCII編碼的。Python提供了ord()和chr()函數,可以把字母和對應的數字相互轉換:
>>> ord('A')65>>> chr(65)'A'Python在后來(lái)添加了對Unicode的支持,以Unicode表示的字符串用u'...'表示,比如:
>>> print u'中文'中文>>> u'中'u'\u4e2d'寫(xiě)u'中'和u'\u4e2d'是一樣的,\u后面是十六進(jìn)制的Unicode碼。因此,u'A'和u'\u0041'也是一樣的。
兩種字符串如何相互轉換?字符串'xxx'雖然是ASCII編碼,但也可以看成是UTF-8編碼,而u'xxx'則只能是Unicode編碼。
把u'xxx'轉換為UTF-8編碼的'xxx'用encode('utf-8')方法:
>>> u'ABC'.encode('utf-8')'ABC'>>> u'中文'.encode('utf-8')'\xe4\xb8\xad\xe6\x96\x87'英文字符轉換后表示的UTF-8的值和Unicode值相等(但占用的存儲空間不同),而中文字符轉換后1個(gè)Unicode字符將變?yōu)?個(gè)UTF-8字符,你看到的\xe4就是其中一個(gè)字節,因為它的值是228,沒(méi)有對應的字母可以顯示,所以以十六進(jìn)制顯示字節的數值。len()函數可以返回字符串的長(cháng)度:
>>> len(u'ABC')3>>> len('ABC')3>>> len(u'中文')2>>> len('\xe4\xb8\xad\xe6\x96\x87')6反過(guò)來(lái),把UTF-8編碼表示的字符串'xxx'轉換為Unicode字符串u'xxx'用decode('utf-8')方法:
>>> 'abc'.decode('utf-8')u'abc'>>> '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')u'\u4e2d\u6587'>>> print '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')中文由于Python源代碼也是一個(gè)文本文件,所以,當你的源代碼中包含中文的時(shí)候,在保存源代碼時(shí),就需要務(wù)必指定保存為UTF-8編碼。當Python解釋器讀取源代碼時(shí),為了讓它按UTF-8編碼讀取,我們通常在文件開(kāi)頭寫(xiě)上這兩行:
#!/usr/bin/env python# -*- coding: utf-8 -*-第一行注釋是為了告訴Linux/OS X系統,這是一個(gè)Python可執行程序,Windows系統會(huì )忽略這個(gè)注釋?zhuān)?/p>
第二行注釋是為了告訴Python解釋器,按照UTF-8編碼讀取源代碼,否則,你在源代碼中寫(xiě)的中文輸出可能會(huì )有亂碼。
最后一個(gè)常見(jiàn)的問(wèn)題是如何輸出格式化的字符串。我們經(jīng)常會(huì )輸出類(lèi)似'親愛(ài)的xxx你好!你xx月的話(huà)費是xx,余額是xx'之類(lèi)的字符串,而xxx的內容都是根據變量變化的,所以,需要一種簡(jiǎn)便的格式化字符串的方式。
在Python中,采用的格式化方式和C語(yǔ)言是一致的,用%實(shí)現,舉例如下:
>>> 'Hello, %s' % 'world''Hello, world'>>> 'Hi, %s, you have $%d.' % ('Michael', 1000000)'Hi, Michael, you have $1000000.'你可能猜到了,%運算符就是用來(lái)格式化字符串的。在字符串內部,%s表示用字符串替換,%d表示用整數替換,有幾個(gè)%?占位符,后面就跟幾個(gè)變量或者值,順序要對應好。如果只有一個(gè)%?,括號可以省略。
常見(jiàn)的占位符有:
| %d | 整數 |
| %f | 浮點(diǎn)數 |
| %s | 字符串 |
| %x | 十六進(jìn)制整數 |
其中,格式化整數和浮點(diǎn)數還可以指定是否補0和整數與小數的位數:
>>> '%2d-%02d' % (3, 1)' 3-01'>>> '%.2f' % 3.1415926'3.14'如果你不太確定應該用什么,%s永遠起作用,它會(huì )把任何數據類(lèi)型轉換為字符串:
>>> 'Age: %s. Gender: %s' % (25, True)'Age: 25. Gender: True'對于Unicode字符串,用法完全一樣,但最好確保替換的字符串也是Unicode字符串:
>>> u'Hi, %s' % u'Michael'u'Hi, Michael'有些時(shí)候,字符串里面的%是一個(gè)普通字符怎么辦?這個(gè)時(shí)候就需要轉義,用%%來(lái)表示一個(gè)%:
>>> 'growth rate: %d %%' % 7'growth rate: 7 %'由于歷史遺留問(wèn)題,Python 2.x版本雖然支持Unicode,但在語(yǔ)法上需要'xxx'和u'xxx'兩種字符串表示方式。
Python當然也支持其他編碼方式,比如把Unicode編碼成GB2312:
>>> u'中文'.encode('gb2312')'\xd6\xd0\xce\xc4'但這種方式純屬自找麻煩,如果沒(méi)有特殊業(yè)務(wù)要求,請牢記僅使用Unicode和UTF-8這兩種編碼方式。
在Python 3.x版本中,把'xxx'和u'xxx'統一成Unicode編碼,即寫(xiě)不寫(xiě)前綴u都是一樣的,而以字節形式表示的字符串則必須加上b前綴:b'xxx'。
格式化字符串的時(shí)候,可以用Python的交互式命令行測試,方便快捷。
聯(lián)系客服