所有的 Python 腳本文件都應在文件頭標上 #-*- coding:utf8 -*- 。設(shè)置編輯器,默認保存為 utf8 格式。
Python核心發(fā)布中的代碼必須始終使用ASCII或Latin-1編碼(又名 ISO-8859-1),使用ASCII的文件不必有編碼cookie,Latin-1僅當注釋或文檔字符串涉及作者名字需要Latin-1時才被使用:
另外使用\x轉(zhuǎn)義字符是在字符串中包含非ASCII(non-ASCII)數(shù)據(jù)的首選方法。
作為PEP 263實現(xiàn)代碼的測試套件的部分文件是個例外。
導入
通常應該在單獨的行中導入(Imports),例如:
No:import sys, os
Yes:import sys
import os
但是這樣也是可以的:
from types import StringType, ListType
Imports 通常被放置在文件的頂部,僅在模塊注釋和文檔字符串之后,在模塊的全局變量和常量之前。Imports應該有順序地成組安放:
1、標準庫的導入(Imports )
2、相關(guān)的主包(major package)的導入(即,所有的email包在隨后導入)
3、特定應用的導入(imports)
你應該在每組導入之間放置一個空行,對于內(nèi)部包的導入是不推薦使用相對導入的,對所有導入都要使用包的絕對路徑。
從一個包含類的模塊中導入類時,通常可以寫成這樣:
from MyClass import MyClass
from foo.bar.YourClass import YourClass
如果這樣寫導致了本地名字沖突,那么就這樣寫
import MyClass
import foo.bar.YourClass
即使用"MyClass.MyClass"和"foo.bar.YourClass.YourClass"
【所謂unicode】
unicode是一種類似于符號集的抽象編碼,它只規(guī)定了符號的二進制代碼,卻沒有規(guī)定這個二進制代碼應該如何存儲。也就是它只是一種內(nèi)部表示,不能直接保存。所以存儲時需要規(guī)定一種存儲形式,比如utf-8和utf-16等。理論上unicode是一種能夠容納全世界所有語言文字的編碼方案。(其他編碼格式不再多說)
【所謂GB碼】
GB就是“國標”的意思,即:中華人民共和國國家標準。GB碼是面向漢字的編碼,包括GB2312(GB2312-80),GBK,GB18030,表示范圍從小到大遞增,而且基本是向下兼容的。此外經(jīng)常遇到一種叫做CP936的編碼,實際上可以大概看做是GBK。
【判斷編碼】
1、使用isinstance(s, str)來判斷一個字符串是否為一般字符串(str為ascii類型的字符串,utf-8、utf-16、GB2312、GBK等都是ascii類型的字符串);
使用isinstance(s, unicode)來判斷一個字符串是否為unicode編碼形式的字符串(unicode編碼的字符串才是unicode類型的字符串)。
2、使用type()或者.__class__
在編碼正確的情況下:
例如:stra = "中", 則使用type(stra)的結(jié)果是<type 'str'>,表明為ascii類型字符串;
例如:strb = u"中", 則使用type(strb)的結(jié)果是<type 'unicode'>,表明為unicode類型字符串。
[python] view plaincopy
tmp_str = 'tmp_str'
print tmp_str.__class__ #<type 'str'>
print type(tmp_str) #<type 'str'>
print type(tmp_str).__name__ #str
tmp_str = u'tmp_str'
print tmp_str.__class__ #<type 'unicode'>
print type(tmp_str) #<type 'unicode'>
print type(tmp_str).__name__ #unicode
3、最好的辦法是使用chardet判斷,特別是在web相關(guān)的操作中,例如抓取html頁面內(nèi)容時,頁面的charset標簽只是標示編碼,有時候不對,而且頁面內(nèi)容中一些中文可能超出了標示編碼的范圍,此時用charset檢測最為方便準確。
(1)安裝辦法:下載chardet后,將解壓得到的chardet文件夾放在python安裝目錄的\Lib\site-packages目錄下,在程序中使用import chardet即可。
(2)使用辦法1:檢測全部內(nèi)容判斷編碼
[python] view plaincopy
import urllib2
import chardet
res = urllib2.urlopen('http://www.csdn.net/')
res_cont = res.read()
res.close()
print chardet.detect(res_cont) #{'confidence': 0.99, 'encoding': 'utf-8'}
detect函數(shù)返回值為一個包含2個鍵值對的字典,第一個是檢測置信度,第二個就是檢測到的編碼形式。
(3)使用辦法2:檢測部分內(nèi)容判斷編碼,提高速度
[python] view plaincopy
import urllib2
from chardet.universaldetector import UniversalDetector
res = urllib2.urlopen('http://www.csdn.net')
detector = UniversalDetector()
for line in res.readlines():
#detect untill reach threshold
detector.feed(line)
if detector.done:
break
detector.close()
res.close()
print detector.result
#{'confidence': 0.99, 'encoding': 'utf-8'}
【轉(zhuǎn)換編碼】
1、從具體的編碼(ISO-8859-1[ASCII碼],utf-8,utf-16,GBK,GB2312等)轉(zhuǎn)換為unicode,直接使用unicode(s, charset)或者s.decode(charset),其中charset為s的編碼(注意unicode在使用decode()時會出錯);
[python] view plaincopy
#將任意字符串轉(zhuǎn)換為unicode
def to_unicode(s, encoding):
if isinstance(s, unicode):
return s
else:
return unicode(s, encoding)
注意:這里在decode()的時候,如果遇到非法字符(比如不標準的全角空格\xa3\xa0,或者\xa4\x57,真正的全角空格是\xa1\xa1),就會報錯。
解決辦法:采用'ignore'模式,即:stra.decode('...', 'ignore').encode('utf-8')。
解釋:decode的函數(shù)原型是decode([encoding],[errors='strict']),可以用第二個參數(shù)控制錯誤處理的策略。
默認的參數(shù)就是strict,代表遇到非法字符時拋出異常;如果設(shè)置為ignore,則會忽略非法字符;如果設(shè)置為replace,則會用?取代非法字符;如果設(shè)置為xmlcharrefreplace,則使用XML的字符引用。
2、從unicode轉(zhuǎn)換為具體的編碼,也是直接用s.encode(charset),其中s為unicode編碼,charset為具體的編碼(注意非unicode在使用encode()時會出錯);
3、自然地,從一種具體編碼轉(zhuǎn)換為另一種具體編碼,就可以先decode成unicode再encode成最終編碼了。
【python命令行編碼(系統(tǒng)編碼)】
用python自帶的locale模塊來檢測命令行的默認編碼(也就是系統(tǒng)的編碼)和設(shè)置命令行編碼:
[python] view plaincopy
import locale
#get coding type
print locale.getdefaultlocale() #('zh_CN', 'cp936')
#set coding type
locale.setlocale(locale.LC_ALL, locale='zh_CN.GB2312')
print locale.getlocale() #('zh_CN', 'gb2312')
表明當前系統(tǒng)的內(nèi)部編碼是cp936,近似于GBK。實際上中文XP和WIN7的系統(tǒng)內(nèi)部編碼都是cp936(GBK)。
【python代碼中的編碼】
1、python代碼中的字符串在未被指定編碼的情況下,默認編碼與代碼文件本身的編碼一致。舉個例子:str = '中文'這個字符串,如果是在utf8編碼的代碼文件中,該字符串就是utf8編碼;如果是在gb2312的文件中,該字符串就是gb2312編碼。那么代碼文件本身的編碼怎么知道呢?
(1)自己指定代碼文件的編碼:在代碼文件的頭部加上“#-*- coding:utf-8 -*-”來聲明該代碼文件為utf-8編碼。此時未被指定編碼的字符串的編碼都變成了utf-8。
(2)在沒有指定代碼文件的編碼時,創(chuàng)建代碼文件時使用的是python默認采用的編碼(一般來說是ascii碼,在windows中實際保存為cp936(GBK)編碼)。通過sys.getdefaultencoding()和sys.setdefaultencoding('...')來獲取和設(shè)置該默認編碼。
[python] view plaincopy
import sys
reload(sys)
print sys.getdefaultencoding() #ascii
sys.setdefaultencoding('utf-8')
print sys.getdefaultencoding() #utf-8
結(jié)合(1)和(2)做個試驗:指定代碼文件編碼為utf-8時,用notepad++打開顯示的是utf-8無DOM編碼;未指定代碼文件編碼時,用notepad++打開顯示的是ANSI編碼(壓縮編碼,默認的保存編碼形式)。
(3)如何永久地將python默認采用的編碼設(shè)置為utf-8呢?有2種方法:
第一個方法<不推薦>:編輯site.py,修改setencoding()函數(shù),強制設(shè)置為 utf-8;
第二個方法<推薦>:增加一個名為 sitecustomize.py的文件,存放在安裝目錄下的\Lib\site-packages目錄下
sitecustomize.py是在site.py被import執(zhí)行的,因為 sys.setdefaultencoding()是在site.py的結(jié)尾處被刪除的,所以可以在 sitecustomize.py使用 sys.setdefaultencoding()。
2、python代碼中的字符串如果被指定了編碼,舉個例子:str = u'中文',該字符串的編碼被指定為unicode(即python的內(nèi)部編碼)。
(1)這里有個誤區(qū)需要注意!假如在py文件中有如下代碼:
[python] view plaincopy
stra = u"中"
print stra.encode("gbk")
按上面說的stra是unicode形式,直接encode稱gbk編碼應該沒問題啊?但是實際執(zhí)行時會報錯“UnicodeEncodeError: 'gbk' codec can't encode character u'\xd6' in position 0: illegal multibyte sequence”。
原因在于:python解釋器在導入python代碼文件并執(zhí)行時,會先查看文件頭有沒有編碼聲明(例如#coding:gbk等)。如果發(fā)現(xiàn)聲明,會將文件中的字符串都先解釋成unicode的形式(這里先用默認編碼gbk(cp936)將stra解碼成unicode編碼'd6d0'后保存),之后執(zhí)行stra.encode('gbk')時,由于stra已經(jīng)是unicode編碼且'd6d0'在gbk的編碼范圍內(nèi),所以編碼不會出現(xiàn)錯誤;如果文件頭沒有編碼聲明,則不會進行上述過程中的解碼操作(這里就直接使用stra的unicode編碼'd6'),之后執(zhí)行stra.encode('gbk')時,由于'd6'不在gbk的編碼范圍所以報錯。
(2)為避免這種類型的錯誤,最好在代碼文件頭上聲明編碼,或者麻煩點每次使用setdefaultencoding()。
(3)總的來說就是unicode是python解釋器的內(nèi)碼,所有代碼文件在導入并執(zhí)行時,python解釋器會先將字符串使用你指定的編碼形式解碼成unicode,然后再進行各種操作。所以不管是對字符串的操作,還是正則表達式,還是讀寫文件等等最好都通過unicode來進行。
【python中其他編碼】
文件系統(tǒng)的編碼:sys.getfilesystemencoding()
終端的輸入編碼:sys.stdin.encoding
終端的輸出編碼:sys.stdout.encoding
python 編碼轉(zhuǎn)換
主要介紹了python的編碼機制,unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等編碼之間的轉(zhuǎn)換。
常見的編碼轉(zhuǎn)換分為以下幾種情況:
自動識別 字符串編碼
可以使用 chardet 模塊自動識別 字符創(chuàng)編碼
chardet 使用方法
unicode 轉(zhuǎn)換為其它編碼(GBK, GB2312等)
例如:a為unicode編碼 要轉(zhuǎn)為gb2312。a.encode('gb2312')
# -*- coding=gb2312 -*-a = u"中文"a_gb2312 = a.encode('gb2312')print a_gb2312
GBK 與 GB2312的區(qū)別
GB 碼,全稱是GB2312-80《信息交換用漢字編碼字符集基本集》,1980年發(fā)布,是中文信息處理的國家標準,在大陸及海外使用簡體中文的地區(qū)(如新加坡等)是強制使用的唯一中文編碼。P- Windows3.2和蘋果OS就是以GB2312為基本漢字編碼, Windows 95/98則以GBK為基本漢字編碼、但兼容支持GB2312。GB碼共收錄6763個簡體漢字、682個符號,其中漢字部分:一級字3755,以拼音排序,二級字3008,以偏旁排序。該標準的制定和應用為規(guī)范、推動中文信息化進程起了很大作用。
GBK編碼是中國大陸制訂的、等同于UCS的新的中文編碼擴展國家標準。GBK工作小組于1995年10月,同年12月完成GBK規(guī)范。該編碼標準兼容GB2312,共收錄漢字21003個、符號883個,并提供1894個造字碼位,簡、繁體字融于一庫。
GBK 包括 GB2312的所有編碼,有些字GB2312沒有,需要用GBK來編碼。
轉(zhuǎn): gbk, gb2312,big5,unicode,utf-8,utf-16的區(qū)別
其它編碼(utf-8,GBK)轉(zhuǎn)換為unicode
例如:a為gb2312編碼,要轉(zhuǎn)為unicode. unicode(a, 'gb2312')或a.decode('gb2312')
# -*- coding=gb2312 -*-a = u"中文"a_gb2312 = a.encode('gb2312')print a_gb2312 a_unicode = a_gb2312.decode('gb2312')assert(a_unicode == a)a_utf_8 = a_unicode.encode('utf-8')print a_utf_8
非unicode編碼之間的轉(zhuǎn)換
編碼1(GBK,GB2312) 轉(zhuǎn)換為 編碼2(utf-8,utf-16,ISO-8859-1)
可以先轉(zhuǎn)為unicode再轉(zhuǎn)為編碼2
如gb2312轉(zhuǎn)utf-8
# -*- coding=gb2312 -*-a = u"中文"a_gb2312 = a.encode('gb2312')print a_gb2312 a_unicode = a_gb2312.decode('gb2312')assert(a_unicode == a)a_utf_8 = a_unicode.encode('utf-8')print a_utf_8
判斷字符串的編碼
isinstance(s, str) 用來判斷是否為一般字符串
isinstance(s, unicode) 用來判斷是否為unicode
如果一個字符串已經(jīng)是unicode了,再執(zhí)行unicode轉(zhuǎn)換有時會出錯(并不都出錯)
下面代碼為將任意字符串轉(zhuǎn)換為unicode
def u(s, encoding): if isinstance(s, unicode): return s else: return unicode(s, encoding)
Unicode 與其它編碼之間的區(qū)別
為什么不所有的文件都使用unicode,還要用GBK,utf-8等編碼呢?
unicode可以稱為抽象編碼,也就是它只是一種內(nèi)部表示,一般不能直接保存。
保存到磁盤上時,需要把它轉(zhuǎn)換為對應的編碼,如utf-8和utf-16。
其它方法
除上以上的編碼方法,在讀寫文件時還可以使用codecs的open方法在讀寫時進行轉(zhuǎn)換。
命令行默認編碼檢測和設(shè)置
可以用python自帶的模塊locale來檢測命令行默認編碼和設(shè)置命令行編碼。
import locale #get locale.getdefaultlocale()#('zh_CN', 'cp936') #setlocale.setlocale(...)
漢字轉(zhuǎn)Unicode編碼
pd_name = pd_name.decode('utf-8') print pd_name nname = "" for c in pd_name: c = "%%u%04X" % ord(c); nname += c