轉載請注明：@小五義http://www.cnblogs.com/xiaowuyi
6.1 最簡(jiǎn)單的爬蟲(chóng)
網(wǎng)絡(luò )爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。python的urllib\urllib2等模塊很容易實(shí)現這一功能，下面的例子實(shí)現的是對baidu首頁(yè)的下載。具體代碼如下：
import urllib2page=urllib2.urlopen("http://www.baidu.com")print page.read()
6.2 提交表單數據
(1)用GET方法提交數據
提交表單的GET方法是把表單數據編碼至URL。在給出請示的頁(yè)面后，加上問(wèn)號，接著(zhù)是表單的元素。如在百度中搜索“馬伊琍”得到url為http://www.baidu.com/s?wd=%E9%A9%AC%E4%BC%8A%E7%90%8D&pn=100&rn=20&ie=utf-8&usm=4&rsv_page=1。其中？后面為表單元素。wd=%E9%A9%AC%E4%BC%8A%E7%90%8D表示搜索的詞是“馬伊琍”，pn表示從第100條信息所在頁(yè)開(kāi)始顯示（感覺(jué)是這樣，我試了幾次，當寫(xiě)100時(shí)，從其所在頁(yè)顯示，但如果寫(xiě)10，就是從第1頁(yè)顯示），rn=20表示每頁(yè)顯示20條，ie=utf-8表示編碼格式，usm=4沒(méi)明白是什么意思，換了1、2、3試了下，沒(méi)發(fā)現什么變化，rsv_page=1表示第幾頁(yè)。如果要下載以上頁(yè)面比較簡(jiǎn)單的方法是直接用上面的網(wǎng)址進(jìn)行提取。如代碼：
import urllib2keyword=urllib.quote('馬伊琍')page=urllib2.urlopen("http://www.baidu.com/s?wd="+keyword+"&pn=100&rn=20&ie=utf-8&usm=4&rsv_page=1")print page.read()
(2)用post方法提交
GET方法中，數據是被加到URL上，這種方法數據量要求不大，如果需要交換大量數據的時(shí)間，POST方法是一個(gè)很好的方法。這里以前段時(shí)間寫(xiě)的博客《python模擬163登陸獲取郵件列表》為例，具體代碼不在列出，詳見(jiàn)地址：http://www.cnblogs.com/xiaowuyi/archive/2012/05/21/2511428.html。
6.3 urllib,urllib2,httplib，mechanize的介紹
6.3.1urllib模塊(引自：http://my.oschina.net/duhaizhang/blog/68893)
urllib模塊提供接口可以使我們像訪(fǎng)問(wèn)本地文件一樣來(lái)讀取www和ftp上的數據。模塊中最重要的兩個(gè)函數分別是：urlopen()和urlretrieve()。
urllib.urlopen(url[, data[, proxies]]) :
本函數創(chuàng )建一個(gè)表示遠程url的類(lèi)文件對象，然后像本地文件一樣操作這個(gè)類(lèi)文件對象來(lái)獲取遠程數據。參數url表示遠程數據的路徑，一般是網(wǎng)址；參數data表示以post方式提交到url的數據；參數proxies用于設置代理。urlopen返回 一個(gè)類(lèi)文件對象，返回的類(lèi)文件對象提供了如下方法：
read(), readline(), readlines(), fileno(), close()：這些方法的使用方式與文件對象完全一樣;
info()：返回一個(gè)httplib.HTTPMessage對象，表示遠程服務(wù)器返回的頭信息；
getcode()：返回Http狀態(tài)碼。如果是http請求，200表示請求成功完成;404表示網(wǎng)址未找到；
geturl()：返回請求的url；
#! /usr/bin/env python#coding=utf-8import urllibcontent=urllib.urlopen("http://www.baidu.com")print "http header:",content.info()print "http status:",content.getcode()print "url:",content.geturl()print "content:"for line in content.readlines(): print line
urllib.urlretrieve(url[, filename[, reporthook[, data]]])：
urlretrieve方法直接將遠程數據下載到本地。參數filename指定了保存到本地的路徑（如果未指定該參數，urllib會(huì )生成一個(gè)臨時(shí)文件來(lái)保存數據）；參數reporthook是一個(gè) 回調函數，當連接上服務(wù)器、以及相應的數據 塊傳輸完畢的時(shí)候會(huì )觸發(fā)該回調（即每下載一塊就調用一次回調函數）。我們可以利用這個(gè)回調函 數來(lái)顯示當前的下載進(jìn)度，也可以用于限速，下面的例子會(huì )展示。參數data指post到服務(wù)器的數據。該方法返回一個(gè)包含兩個(gè)元素的元組(filename, headers)，filename表示保存到本地的路徑， header表示服務(wù)器的響應頭。
#! /usr/bin/env python # coding: utf-8 """下載文件，并顯示下載進(jìn)度"""import urllibdef DownCall(count,size,total_filesize): """count為已下載數據塊個(gè)數，size為數據塊的大小，total_filesize為文件總大小""" per=100.0*count*size/total_filesize if per>100: per=100 print "Already download %d KB(%.2f" %(count*size/1024,per)+"%)"url="http://www.research.rutgers.edu/~rohanf/LP.pdf"localfilepath=r"C:\Users\Administrator\Desktop\download.pdf"urllib.urlretrieve(url,localfilepath,DownCall)
urllib中還提供了一些輔助方法，用于對url進(jìn)行編碼、解碼。url中是不能出現一些特殊的符號的，有些符號有特殊的用途。我們知道以get方式提交數據的時(shí)候，會(huì )在url中添加key=value這樣的字符串，所以在value中是不允許有'='，因此要對其進(jìn)行編碼；與此同時(shí)服務(wù)器接收到這些參數的時(shí)候，要進(jìn)行解碼，還原成原始的數據。這個(gè)時(shí)候，這些輔助方法會(huì )很有用：
urllib.quote(string[, safe])：對字符串進(jìn)行編碼。參數safe指定了不需要編碼的字符;
urllib.unquote(string) ：對字符串進(jìn)行解碼；
urllib.quote_plus(string[, safe]) ：與urllib.quote類(lèi)似，但這個(gè)方法用'+'來(lái)替換' '，而quote用'%20'來(lái)代替' '
urllib.unquote_plus(string) ：對字符串進(jìn)行解碼；
urllib.urlencode(query[, doseq])：將dict或者包含兩個(gè)元素的元組列表轉換成url參數。例如 字典{'name': 'dark-bull', 'age': 200}將被轉換為"name=dark-bull&age=200"
urllib.pathname2url(path)：將本地路徑轉換成url路徑；
urllib.url2pathname(path)：將url路徑轉換成本地路徑；
6.3.2 urllib2模塊(引自：http://hankjin.blog.163.com/blog/static/3373193720105140583594/)
使用Python訪(fǎng)問(wèn)網(wǎng)頁(yè)主要有三種方式： urllib, urllib2, httplib
urllib比較簡(jiǎn)單，功能相對也比較弱，httplib簡(jiǎn)單強大，但好像不支持session
（1）最簡(jiǎn)單的頁(yè)面訪(fǎng)問(wèn)
res=urllib2.urlopen(url)
print res.read()
（2）加上要get或post的數據
data={"name":"hank", "passwd":"hjz"}
urllib2.urlopen(url, urllib.urlencode(data))
（3）加上http頭
header={"User-Agent": "Mozilla-Firefox5.0"}
urllib2.urlopen(url, urllib.urlencode(data), header)
使用opener和handler
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)
（4）加上session
cj = cookielib.CookieJar()
cjhandler=urllib2.HTTPCookieProcessor(cj)
opener = urllib2.build_opener(cjhandler)
urllib2.install_opener(opener)
（5）加上Basic認證
password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()
top_level_url = "http://www.163.com/"
password_mgr.add_password(None, top_level_url, username, password)
handler = urllib2.HTTPBasicAuthHandler(password_mgr)
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)
（6） 使用代理
proxy_support = urllib2.ProxyHandler({"http":"http://1.2.3.4:3128/"})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
（7） 設置超時(shí)
socket.setdefaulttimeout(5)
6.3.3 httplib模塊（引自：http://hi.baidu.com/avengert/item/be5daec8517b12ddee183b81）
httplib 是 python中http 協(xié)議的客戶(hù)端實(shí)現，可以使用該模塊來(lái)與 HTTP 服務(wù)器進(jìn)行交互。httplib的內容不是很多，也比較簡(jiǎn)單。以下是一個(gè)非常簡(jiǎn)單的例子，使用httplib獲取google首頁(yè)的html：
#coding=gbk import httplib conn = httplib.HTTPConnection("www.google.cn") conn.request('get', '/') print conn.getresponse().read() conn.close()
下面詳細介紹httplib提供的常用類(lèi)型和方法。
httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )
HTTPConnection類(lèi)的構造函數，表示一次與服務(wù)器之間的交互，即請求/響應。參數host表示服務(wù)器主機，如：www.csdn.net；port為端口號，默認值為80； 參數strict的 默認值為false， 表示在無(wú)法解析服務(wù)器返回的狀態(tài)行時(shí)( status line) （比較典型的狀態(tài)行如： HTTP/1.0 200 OK ），是否拋BadStatusLine 異常；可選參數timeout 表示超時(shí)時(shí)間。
HTTPConnection提供的方法：
HTTPConnection.request ( method , url [ , body [ , headers ]] )
調用request 方法會(huì )向服務(wù)器發(fā)送一次請求，method 表示請求的方法，常用有方法有g(shù)et 和post ；url 表示請求的資源的url ；body 表示提交到服務(wù)器的數據，必須是字符串（如果method 是"post" ，則可以把body 理解為html 表單中的數據）；headers 表示請求的http 頭。
HTTPConnection.getresponse ()
獲取Http 響應。返回的對象是HTTPResponse 的實(shí)例，關(guān)于HTTPResponse 在下面 會(huì )講解。
HTTPConnection.connect ()
連接到Http 服務(wù)器。
HTTPConnection.close ()
關(guān)閉與服務(wù)器的連接。
HTTPConnection.set_debuglevel ( level )
設置高度的級別。參數level 的默認值為0 ，表示不輸出任何調試信息。
httplib.HTTPResponse
HTTPResponse表示服務(wù)器對客戶(hù)端請求的響應。往往通過(guò)調用HTTPConnection.getresponse()來(lái)創(chuàng )建，它有如下方法和屬性：
HTTPResponse.read([amt])
獲取響應的消息體。如果請求的是一個(gè)普通的網(wǎng)頁(yè)，那么該方法返回的是頁(yè)面的html?？蛇x參數amt表示從響應流中讀取指定字節的數據。
HTTPResponse.getheader(name[, default])
獲取響應頭。Name表示頭域(header field)名，可選參數default在頭域名不存在的情況下作為默認值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的頭信息。
HTTPResponse.msg
獲取所有的響應頭信息。
HTTPResponse.version
獲取服務(wù)器所使用的http協(xié)議版本。11表示http/1.1；10表示http/1.0。
HTTPResponse.status
獲取響應的狀態(tài)碼。如：200表示請求成功。
HTTPResponse.reason
返回服務(wù)器處理請求的結果說(shuō)明。一般為”OK”
下面通過(guò)一個(gè)例子來(lái)熟悉HTTPResponse中的方法：
#coding=gbk import httplib conn = httplib.HTTPConnection("www.g.cn", 80, False) conn.request('get', '/', headers = {"Host": "www.google.cn", "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5", "Accept": "text/plain"}) res = conn.getresponse() print 'version:', res.version print 'reason:', res.reason print 'status:', res.status print 'msg:', res.msg print 'headers:', res.getheaders() #html #print '\n' + '-' * 50 + '\n' #print res.read() conn.close()
Httplib模塊中還定義了許多常量，如：
Httplib. HTTP_PORT 的值為80，表示默認的端口號為80；
Httplib.OK 的值為200，表示請求成功返回；
Httplib. NOT_FOUND 的值為40表示請求的資源不存在；
可以通過(guò)httplib.responses 查詢(xún)相關(guān)變量的含義，如：
Print httplib.responses[httplib.NOT_FOUND]
6.3.4 mechanize
mechanize沒(méi)有找到比較完整的介紹，自己寫(xiě)了一個(gè)簡(jiǎn)單的例子如下。
# -*- coding: cp936 -*-import time,stringimport mechanize,urllibfrom mechanize import Browserurlname=urllib.quote('馬伊琍')br=Browser()br.set_handle_robots(False) ##ignore the robots.txturlhttp=r'http://www.baidu.com/s?'+urlname+"&pn=10&rn=20&ie=utf-8&usm=4&rsv_page=1"response=br.open(urlhttp)filename='temp.html'f=open(filename,'w')f.write(response.read())f.close()
聯(lián)系客服
