サマリー：在web開(kāi)發(fā)的時(shí)候我們經(jīng)常會(huì)遇到網(wǎng)頁(yè)抓取和分析，各種語(yǔ)言都可以完成這個(gè)功能。我喜歡用python實(shí)現(xiàn)，因?yàn)閜ython提供了很多成熟的模塊，可以很方便的實(shí)現(xiàn)網(wǎng)頁(yè)抓取。但是在抓取過(guò)程中會(huì)遇到編碼的問(wèn)題，那今天我們來(lái)看一下如何判斷網(wǎng)頁(yè)的編碼：網(wǎng)上很多網(wǎng)頁(yè)的編碼格式都不一樣，大體上是GBK,GB2312，UTF-8等。我們?cè)讷@取網(wǎng)頁(yè)的的數(shù)據(jù)后，先要對(duì)網(wǎng)頁(yè)的編碼進(jìn)行判斷，才能把抓取的內(nèi)容的編碼統(tǒng)一轉(zhuǎn)換為我

在web開(kāi)發(fā)的時(shí)候我們經(jīng)常會(huì)遇到網(wǎng)頁(yè)抓取和分析，各種語(yǔ)言都可以完成這個(gè)功能。我喜歡用python實(shí)現(xiàn)，因?yàn)閜ython提供了很多成熟的模塊，可以很方便的實(shí)現(xiàn)網(wǎng)頁(yè)抓取。
但是在抓取過(guò)程中會(huì)遇到編碼的問(wèn)題，那今天我們來(lái)看一下如何判斷網(wǎng)頁(yè)的編碼：
網(wǎng)上很多網(wǎng)頁(yè)的編碼格式都不一樣，大體上是GBK,GB2312，UTF-8等。
我們?cè)讷@取網(wǎng)頁(yè)的的數(shù)據(jù)后，先要對(duì)網(wǎng)頁(yè)的編碼進(jìn)行判斷，才能把抓取的內(nèi)容的編碼統(tǒng)一轉(zhuǎn)換為我們能夠處理的編碼，避免亂碼問(wèn)題的出現(xiàn)。

下面介紹兩種判斷網(wǎng)頁(yè)編碼的方法：

總結(jié)：第二個(gè)方法很準(zhǔn)確，在網(wǎng)頁(yè)編碼分析的時(shí)候用python模塊分析內(nèi)容是最準(zhǔn)確的，而使用分析meta頭信息的方法是不太準(zhǔn)確的。

方法一：使用urllib模塊的getparam方法    

import urllib
#autor：pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu

方法二：使用chardet模塊     

#如果你的python沒(méi)有安裝chardet模塊，你需要首先安裝一下chardet判斷編碼的模塊哦
#author:pythontab.com
import chardet
import urllib
#先獲取網(wǎng)頁(yè)內(nèi)容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet進(jìn)行內(nèi)容分析
chardit1 = chardet.detect(data1)  
print chardit1['encoding'] # baidu

 更多關(guān)于判斷網(wǎng)頁(yè)編碼的方法python版請(qǐng)關(guān)注PHP中文網(wǎng)（ipnx.cn）其他文章！