亚洲人成绝费网站色www_ 小白學(xué) Python 爬蟲(chóng)（29）：Selenium 獲取某大型電商網(wǎng)站商品信息

首先，我們的搜索關(guān)鍵字是 iPhone ，直接先翻到最后一頁(yè)看下結果，發(fā)現有好多商品并不是 iPhone ，而是 iPhone 的手機殼，這個(gè)明顯不是我們想要的結果，小編這里選擇了一下品牌 Apple ，再翻到最后一頁(yè)，這次就全都是手機了。

先把地址欄的地址 Copy 出來(lái)看一下，里面有很多無(wú)效參數：

https://search.jd.com/search?keyword=iPhone&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&ev=exbrand_Apple%5E&page=199&s=5933&click=0

如果問(wèn)小編怎么知道是無(wú)效參數還是有效參數，emmmmmmmmm

這個(gè)要么靠經(jīng)驗，一般大網(wǎng)站的參數的命名都是比較規范的，當然也不排除命名不規范的。還有一種辦法就是試，小編這邊試出來(lái)的結果是這樣滴：

https://search.jd.com/Search?keyword=iPhone&ev=exbrand_Apple

第一個(gè)參數 keyword 就是我們需要的商品名稱(chēng)，第二個(gè)參數 ev 是品牌的參數。

接下來(lái)我們看如何獲取商品的詳細信息，我們使用 F12 打開(kāi)開(kāi)發(fā)者模式，使用看下具體的信息都放在哪里：

可以看到，我們想要獲取的信息在這個(gè)頁(yè)面的 DOM 節點(diǎn)中都能獲取到。

接下來(lái)因為我們是使用 Selenium 來(lái)模擬瀏覽器訪(fǎng)問(wèn)電商網(wǎng)站，所以后續的接口分析也就不需要做了，直接獲取瀏覽器顯示的內容的源代碼就可以輕松獲取到各種信息。

獲取商品列表頁(yè)面

首先，我們需要構造一個(gè)獲取商品列表頁(yè)面的 URL ，這個(gè)上面已經(jīng)得到了，接下來(lái)就是使用 Selenium 來(lái)獲取這個(gè)頁(yè)面了：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Chrome()
driver.implicitly_wait(10)

driver.set_window_size(1280,800)

def index_page(page):
    """
    抓取索引頁(yè)
    :param page: 頁(yè)碼
    """
    print('正在爬取第', str(page), '頁(yè)數據')
    try:
        url = 'https://search.jd.com/Search?keyword=iPhone&ev=exbrand_Apple'
        driver.get(url)
        if page > 1:
            input = driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[2]/input')
            button = driver.find_element_by_xpath('//*[@id="J_bottomPage"]/span[2]/a')
            input.clear()
            input.send_keys(page)
            button.click()
        get_products()
    except TimeoutException:
        index_page(page)

這里我們依然使用隱式等待來(lái)進(jìn)行 URL 訪(fǎng)問(wèn)，這里小編通過(guò) xpath 的方式獲取到了整個(gè)頁(yè)面最下面的翻頁(yè)組件：

小編這里的翻頁(yè)實(shí)際上是使用這里的輸入框和后面的確認按鈕進(jìn)行的。

獲取商品詳細數據

這里其實(shí)有一個(gè)坑，JD 的首頁(yè)上的圖片是懶加載的，就是當頁(yè)面的滾動(dòng)條沒(méi)有滾到這個(gè)圖片可以顯示在屏幕上的位置的時(shí)候，這個(gè)圖片是不會(huì )加載出來(lái)的。這就造成了小編一開(kāi)始的只能獲取到前 4 個(gè)商品的圖片地址。

小編后來(lái)想了個(gè)辦法，使用 JavaScript 來(lái)模擬滾動(dòng)條滾動(dòng)，先將所有的圖片加載出來(lái)，然后再進(jìn)行數據的獲取，代碼如下：

def get_products():
    """
    提取商品數據
    """
    js = '''
    timer = setInterval(function(){
       var scrollTop=document.documentElement.scrollTop||document.body.scrollTop;
       var ispeed=Math.floor(document.body.scrollHeight / 100);
       if(scrollTop > document.body.scrollHeight * 90 / 100){
           clearInterval(timer);
       }
       console.log('scrollTop:'+scrollTop)
       console.log('scrollHeight:'+document.body.scrollHeight)
       window.scrollTo(0, scrollTop+ispeed)
    }, 20)
    '''
    driver.execute_script(js)
    time.sleep(2.5)
    html = driver.page_source
    doc = PyQuery(html)
    items = doc('#J_goodsList .gl-item .gl-i-wrap').items()
    i = 0
    for item in items:
        insert_data = {
            'image': item.find('.p-img a img').attr('src'),
            'price': item.find('.p-price i').text(),
            'name': item.find('.p-name em').text(),
            'commit': item.find('.p-commit a').text(),
            'shop': item.find('.p-shop a').text(),
            'icons': item.find('.p-icons .goods-icons').text()
        }
        i += 1
        print('當前第', str(i), '條數據，內容為：' , insert_data)

中間那段 js 就是模擬滾動(dòng)條向下滾動(dòng)的代碼，這里小編做了一個(gè)定時(shí)任務(wù)，這個(gè)定時(shí)任務(wù)將整個(gè)頁(yè)面的長(cháng)度分成了 100 份，每 20 ms 就向下滾動(dòng) 1% ，共計應該總共 2s 可以滾到最下面，這里下面做了 2.5s 的睡眠，保證這個(gè)頁(yè)面的圖片都能加載出來(lái)，最后再獲取頁(yè)面上的數據。

主體代碼到這里就結束了，剩下的代碼無(wú)非就是將數據保存起來(lái)，不管是保存在數據中還是保存在 Excel 中，或者是 CSV 中，又或者是純粹的文本文件 txt 或者是 json ，都不難，小編這次就不寫(xiě)了，希望大家能自己完善下這個(gè)代碼。

運行的時(shí)候，可以看到一個(gè)瀏覽器彈出來(lái)，然后滾動(dòng)條自動(dòng)以比較順滑的速度滾到最下方（小編為了這個(gè)順滑的速度調了很久），確保所有圖片都加載出來(lái)，再使用 pyquery 獲取相關(guān)的數據，最后組成了一個(gè) json 對象，給大家看下抓取下來(lái)的結果吧：

Chrome 無(wú)界面模式

我們在爬取數據的時(shí)候，彈出來(lái)一個(gè)瀏覽器總感覺(jué)有點(diǎn)老不爽了，可以使用如下命令將這個(gè)瀏覽器隱藏起來(lái)，不過(guò)需要的是 Chrome 比較新的版本。

# 開(kāi)啟無(wú)窗口模式
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')

driver = webdriver.Chrome(chrome_options=chrome_options)

首先，創(chuàng )建 ChromeOptions 對象，接著(zhù)添加 headless 參數，然后在初始化 Chrome 對象的時(shí)候通過(guò) chrome_options 傳遞這個(gè) ChromeOptions 對象，這樣我們就可以成功啟用 Chrome 的Headless模式了。

FireFox

如果我們不想使用 Chrome 瀏覽器，還可以使用 FireFox 瀏覽器，前提是需要安裝好 FireFox 和對應的驅動(dòng) GeckoDriver ，并且完成相關(guān)配置，不清楚如何安裝的同學(xué)可以翻一翻前面的前置準備。

我們需要切換 FireFox 瀏覽器的時(shí)候，異常的簡(jiǎn)單，只需要修改一句話(huà)就可以了：

driver = webdriver.Firefox()

這里我們修改了 webdriver 初始化的方式，這樣在接下來(lái)的操作中就會(huì )自動(dòng)使用 FireFox 瀏覽器了。

如果 Firefox 也想開(kāi)啟無(wú)界面模式的話(huà)，同樣也是可以的，和上面 Chrome 開(kāi)啟無(wú)界面模式大同小異：

# FireFox 開(kāi)啟無(wú)窗口模式
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument('--headless')

driver = webdriver.Firefox(firefox_options=firefox_options)

一樣是在 Webdriver 初始化的時(shí)候增加 headless 參數就可以了。

好了，本篇的內容就到這里了，希望各位同學(xué)可以自己動(dòng)手練習下哦~~~

注意： 本文相關(guān)內容僅做學(xué)習使用，使用時(shí)請遵守國家相關(guān)法律規定。

示例代碼

本系列的所有代碼小編都會(huì )放在代碼管理倉庫 Github 和 Gitee 上，方便大家取用。

示例代碼-Github

示例代碼-Gitee

本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請點(diǎn)擊舉報。

欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

目標

準備

分析

獲取商品列表頁(yè)面

獲取商品詳細數據

Chrome 無(wú)界面模式

FireFox

示例代碼