首先說(shuō)明一下頭條對代碼排版支持不怎么友好，所以我只能截圖(請滑動(dòng)到底部查看，中間的代碼是分析過(guò)程)，需要源碼的請與我私信！

爬蟲(chóng)的抓取方式有好幾種，正則表達式，Lxml(xpath)與BeautifulSoup,我在網(wǎng)上查了一下資料，了解到三者之間的使用難度與性能

三種爬蟲(chóng)方式的對比。

這樣一比較我我選擇了Lxml(xpath)的方式了，雖然有三種方式，但肯定是要選擇最好的方式來(lái)爬蟲(chóng)，這個(gè)道理大家都懂，另外有興趣的朋友也可以去了解另外兩種爬蟲(chóng)方式！

好了現在來(lái)講講xpath

由于Xpath屬于lxml模塊，所以首先需要安裝lxml庫，老辦法直接在file-->setting---project interpreter 一鍵添加lxml庫。

xpath簡(jiǎn)單用法

from lxml import etree

s=etree.HTML(源碼) #將源碼轉化為能被XPath匹配的格式

s.xpath(xpath表達式) #返回為一列表,

基礎語(yǔ)法：

1. // 雙斜杠 定位根節點(diǎn)，會(huì )對全文進(jìn)行掃描，在文檔中選取所有符合條件的內容，以列表的形式返回。

2. / 單斜杠 尋找當前標簽路徑的下一層路徑標簽或者對當前路標簽內容進(jìn)行操作

3. /text() 獲取當前路徑下的文本內容

4. /@xxxx 提取當前路徑下標簽的屬性值

5. | 可選符 使用|可選取若干個(gè)路徑 如//p | //div 即在當前路徑下選取所有符合條件的p標簽和div標簽。

6. . 點(diǎn) 用來(lái)選取當前節點(diǎn)

7. .. 雙點(diǎn) 選取當前節點(diǎn)的父節點(diǎn)

學(xué)以致用，方能讓我們能快速掌握xpath語(yǔ)法功能。

我們這次需要爬取豆瓣音樂(lè )前250條

打開(kāi)豆瓣音樂(lè )：https://music.douban.com/top250

獲取單條數據

1.獲取音樂(lè )標題

打開(kāi)網(wǎng)址，按下F12，然后查找標題，右鍵彈出菜單欄 Copy==> Copy Xpath

這里我們想獲取音樂(lè )標題，音樂(lè )標題的xpath是：xpath://*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

運行代碼：

居然是空的。?。?！

這里需要注意一下，瀏覽器復制的xpath只能作參考，因為瀏覽器經(jīng)常會(huì )在自己里面增加多余的tbody標簽，我們需要手動(dòng)把這個(gè)標簽刪除

刪除中間的/tbody后,是這樣的，

title = s.xpath('//*[@id='content']/div/div[1]/div/table[1]/tr/td[2]/div/a')

然后我們再運行代碼。

得到：

說(shuō)明標題被獲取到了。

因為要獲取標題文本，所以xpath表達式要追加/text()

title = s.xpath('//*[@id='content']/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')#因為要獲取標題，所以我需要這個(gè)當前路徑下的文本，所以使用/text()

又因為這個(gè)s.xpath返回的是一個(gè)集合，且集合中只有一個(gè)元素所以我再追加一個(gè)[0]

新的表達式：

title = s.xpath('//*[@id='content']/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個(gè)當前路徑下的文本，所以使用/text(),再追加[0]

重新運行得到結果：

We Sing. We Dance. We Steal Things.

正是我們想要的標題。

2.獲取音樂(lè )評分與評價(jià)人數

老辦法，先用右鍵copy評分的xpath ://*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[2]

復制評價(jià)人數的xpath://*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[3]/text()

同樣的我們要把tbody去掉，然后重新運行代碼：

得到：

3.獲取音樂(lè )鏈接

copy標題的xpath，：//*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

想獲取音樂(lè )連接href這里需要，獲取這個(gè)標簽屬于,/@xxx可以提取當前路徑標簽下的屬性值

//*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a/@href

代碼：

運行代碼得到：

5.獲取圖片地址：

找到圖片，復制他的xpath地址：//*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[1]/a/img

運行代碼：

老套路：

得到結果:

但是這只是獲取了一條數據，如果獲取多條數據呢？

獲取多條數據

我們再看第二條數據，第三條數據,第四條數據

得到他們的xpath:

得到：

對比他們的xpath，發(fā)現只有table序號不一樣，我們可以就去掉序號，得到通用的xpath信息：

運行代碼：

得到：

其它的信息如：鏈接地址，評分，評價(jià)人數都可以用同樣的辦法來(lái)獲取，現在我同時(shí)獲取多條數據，因為每頁(yè)數據是25條，所以：

完整代碼如下：

得到：

一大批數據了，我就不展示了。有興趣可以直接copy代碼運行.,注意你得裝上lxml與requests庫.

我們也發(fā)現了問(wèn)題每一個(gè)xpath路徑特別長(cháng)，能不能精簡(jiǎn)一下呢？

5. 精簡(jiǎn)一下xpath路徑

觀(guān)察發(fā)現獲取幾個(gè)關(guān)鍵字段的xpath前綴都是 //*[@id='content']/div/div[1]/div/table/tr 那我能不能把這些東西提出來(lái)呢，讓后面的不同的自己去追加，另外這樣寫(xiě)也不用管每個(gè)頁(yè)面到底有多少條數據，只管查就行了。所以代碼做了一下精簡(jiǎn)。

得到的結果和之前是一樣的。

但是，但是，這只是一個(gè)頁(yè)面的數據，我現在想爬取多個(gè)頁(yè)面的數據，怎么辦呢？

獲取個(gè)多頁(yè)面數據.

觀(guān)察一下翻頁(yè)路徑：

https://music.douban.com/top250?start=0

https://music.douban.com/top250?start=25

https://music.douban.com/top250?start=50

有沒(méi)有發(fā)現頁(yè)面只是后面start參數發(fā)生了改變，且增長(cháng)為每次25，并且250條數據正好是10頁(yè)。

所以我可以遍歷這個(gè)頁(yè)面。

代碼：

得到：

正是自己要的結果。

好了最后我們把代碼拼裝在一起，并注意每個(gè)方法的用途。

完整代碼

想要一起學(xué)習，請頭條內私信留言，帶你一起學(xué)習！