網(wǎng)絡(luò )爬蟲(chóng)技術(shù)介紹隨著(zhù)網(wǎng)絡(luò )的迅速發(fā)展，萬(wàn)維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰。搜索引擎(Search Engine)，例如傳統的通用搜索引擎AltaVista，百度,Yahoo!和Google等，作為一個(gè)輔助人們檢索信息的工具成為用戶(hù)訪(fǎng)問(wèn)萬(wàn)維網(wǎng)的入口和指南。但是，這些通用性搜索引擎也存在著(zhù)一定的局限性，如：
(1) 不同領(lǐng)域、不同背景的用戶(hù)往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶(hù)不關(guān)心的網(wǎng)頁(yè)。
(2) 通用搜索引擎的目標是盡可能大的網(wǎng)絡(luò )覆蓋率，有限的搜索引擎服務(wù)器資源與無(wú)限的網(wǎng)絡(luò )數據資源之間的矛盾將進(jìn)一步加深。
(3) 萬(wàn)維網(wǎng)數據形式的豐富和網(wǎng)絡(luò )技術(shù)的不斷發(fā)展，圖片、數據庫、音頻/視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無(wú)能為力，不能很好地發(fā)現和獲取。
(4) 通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根據語(yǔ)義信息提出的查詢(xún)。
為了解決上述問(wèn)題，定向抓取相關(guān)網(wǎng)頁(yè)資源的聚焦爬蟲(chóng)應運而生。聚焦爬蟲(chóng)是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的程序，它根據既定的抓取目標，有選擇的訪(fǎng)問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息。與通用爬蟲(chóng)(generalpurpose web crawler)不同，聚焦爬蟲(chóng)并不追求大的覆蓋，而將目標定為抓取與某一特定主題內容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶(hù)查詢(xún)準備數據資源。
1 聚焦爬蟲(chóng)工作原理及關(guān)鍵技術(shù)概述
網(wǎng)絡(luò )爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當前頁(yè)面上抽取新的URL放入隊列,直到滿(mǎn)足系統的一定停止條件，如圖1(a)流程圖所示。聚焦爬蟲(chóng)的工作流程較為復雜，需要根據一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復上述過(guò)程，直到達到系統的某一條件時(shí)停止，如圖1(b)所示。另外，所有被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì )被系統存貯，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢(xún)和檢索；對于聚焦爬蟲(chóng)來(lái)說(shuō)，這一過(guò)程所得到的分析結果還可能對以后的抓取過(guò)程給出反饋和指導。
相對于通用網(wǎng)絡(luò )爬蟲(chóng)，聚焦爬蟲(chóng)還需要解決三個(gè)主要問(wèn)題：
(1) 對抓取目標的描述或定義；
(2) 對網(wǎng)頁(yè)或數據的分析與過(guò)濾；
(3) 對URL的搜索策略。
抓取目標的描述和定義是決定網(wǎng)頁(yè)分析算法與URL搜索策略如何制訂的基礎。而網(wǎng)頁(yè)分析算法和候選URL排序算法是決定搜索引擎所提供的服務(wù)形式和爬蟲(chóng)網(wǎng)頁(yè)抓取行為的關(guān)鍵所在。這兩個(gè)部分的算法又是緊密相關(guān)的。
2 抓取目標描述
現有聚焦爬蟲(chóng)對抓取目標的描述可分為基于目標網(wǎng)頁(yè)特征、基于目標數據模式和基于領(lǐng)域概念3種。
基于目標網(wǎng)頁(yè)特征的爬蟲(chóng)所抓取、存儲并索引的對象一般為網(wǎng)站或網(wǎng)頁(yè)。根據種子樣本獲取方式可分為：
（1） 預先給定的初始抓取種子樣本；
（2） 預先給定的網(wǎng)頁(yè)分類(lèi)目錄和與分類(lèi)目錄對應的種子樣本，如Yahoo!分類(lèi)結構等；
（3） 通過(guò)用戶(hù)行為確定的抓取目標樣例，分為：
a) 用戶(hù)瀏覽過(guò)程中顯示標注的抓取樣本；
b) 通過(guò)用戶(hù)日志挖掘得到訪(fǎng)問(wèn)模式及相關(guān)樣本。
其中，網(wǎng)頁(yè)特征可以是網(wǎng)頁(yè)的內容特征，也可以是網(wǎng)頁(yè)的鏈接結構特征，等等。
現有的聚焦爬蟲(chóng)對抓取目標的描述或定義可以分為基于目標網(wǎng)頁(yè)特征，基于目標數據模式和基于領(lǐng)域概念三種。
基于目標網(wǎng)頁(yè)特征的爬蟲(chóng)所抓取、存儲并索引的對象一般為網(wǎng)站或網(wǎng)頁(yè)。具體的方法根據種子樣本的獲取方式可以分為：（1）預先給定的初始抓取種子樣本；（2）預先給定的網(wǎng)頁(yè)分類(lèi)目錄和與分類(lèi)目錄對應的種子樣本，如Yahoo!分類(lèi)結構等；（3）通過(guò)用戶(hù)行為確定的抓取目標樣例。其中，網(wǎng)頁(yè)特征可以是網(wǎng)頁(yè)的內容特征，也可以是網(wǎng)頁(yè)的鏈接結構特征，等等。
2 爬蟲(chóng)技術(shù)研究綜述
基于目標數據模式的爬蟲(chóng)針對的是網(wǎng)頁(yè)上的數據，所抓取的數據一般要符合一定的模式，或者可以轉化或映射為目標數據模式。
另一種描述方式是建立目標領(lǐng)域的本體或詞典，用于從語(yǔ)義角度分析不同特征在某一主題中的重要程度。
3 網(wǎng)頁(yè)搜索策略
網(wǎng)頁(yè)的抓取策略可以分為深度優(yōu)先、廣度優(yōu)先和最佳優(yōu)先三種。深度優(yōu)先在很多情況下會(huì )導致爬蟲(chóng)的陷入(trapped)問(wèn)題，目前常見(jiàn)的是廣度優(yōu)先和最佳優(yōu)先方法。
3.1 廣度優(yōu)先搜索策略
廣度優(yōu)先搜索策略是指在抓取過(guò)程中，在完成當前層次的搜索后，才進(jìn)行下一層次的搜索。該算法的設計和實(shí)現相對簡(jiǎn)單。在目前為覆蓋盡可能多的網(wǎng)頁(yè)，一般使用廣度優(yōu)先搜索方法。也有很多研究將廣度優(yōu)先搜索策略應用于聚焦爬蟲(chóng)中。其基本思想是認為與初始URL在一定鏈接距離內的網(wǎng)頁(yè)具有主題相關(guān)性的概率很大。另外一種方法是將廣度優(yōu)先搜索與網(wǎng)頁(yè)過(guò)濾技術(shù)結合使用，先用廣度優(yōu)先策略抓取網(wǎng)頁(yè)，再將其中無(wú)關(guān)的網(wǎng)頁(yè)過(guò)濾掉。這些方法的缺點(diǎn)在于，隨著(zhù)抓取網(wǎng)頁(yè)的增多，大量的無(wú)關(guān)網(wǎng)頁(yè)將被下載并過(guò)濾，算法的效率將變低。
3.2 最佳優(yōu)先搜索策略
最佳優(yōu)先搜索策略按照一定的網(wǎng)頁(yè)分析算法，預測候選URL與目標網(wǎng)頁(yè)的相似度，或與主題的相關(guān)性，并選取評價(jià)最好的一個(gè)或幾個(gè)URL進(jìn)行抓取。它只訪(fǎng)問(wèn)經(jīng)過(guò)網(wǎng)頁(yè)分析算法預測為“有用”的網(wǎng)頁(yè)。存在的一個(gè)問(wèn)題是，在爬蟲(chóng)抓取路徑上的很多相關(guān)網(wǎng)頁(yè)可能被忽略，因為最佳優(yōu)先策略是一種局部最優(yōu)搜索算法。因此需要將最佳優(yōu)先結合具體的應用進(jìn)行改進(jìn)，以跳出局部最優(yōu)點(diǎn)。將在第4節中結合網(wǎng)頁(yè)分析算法作具體的討論。研究表明，這樣的閉環(huán)調整可以將無(wú)關(guān)網(wǎng)頁(yè)數量降低30%~90%。
4 網(wǎng)頁(yè)分析算法
網(wǎng)頁(yè)分析算法可以歸納為基于網(wǎng)絡(luò )拓撲、基于網(wǎng)頁(yè)內容和基于用戶(hù)訪(fǎng)問(wèn)行為三種類(lèi)型。
4.1 基于網(wǎng)絡(luò )拓撲的分析算法
基于網(wǎng)頁(yè)之間的鏈接，通過(guò)已知的網(wǎng)頁(yè)或數據，來(lái)對與其有直接或間接鏈接關(guān)系的對象（可以是網(wǎng)頁(yè)或網(wǎng)站等）作出評價(jià)的算法。又分為網(wǎng)頁(yè)粒度、網(wǎng)站粒度和網(wǎng)頁(yè)塊粒度這三種。
4.1.1 網(wǎng)頁(yè)(Webpage)粒度的分析算法
PageRank和HITS算法是最常見(jiàn)的鏈接分析算法，兩者都是通過(guò)對網(wǎng)頁(yè)間鏈接度的遞歸和規范化計算，得到每個(gè)網(wǎng)頁(yè)的重要度評價(jià)。PageRank算法雖然考慮了用戶(hù)訪(fǎng)問(wèn)行為的隨機性和Sink網(wǎng)頁(yè)的存在，但忽略了絕大多數用戶(hù)訪(fǎng)問(wèn)時(shí)帶有目的性，即網(wǎng)頁(yè)和鏈接與查詢(xún)主題的相關(guān)性。針對這個(gè)問(wèn)題，HITS算法提出了兩個(gè)關(guān)鍵的概念：權威型網(wǎng)頁(yè)（authority）和中心型網(wǎng)頁(yè)（hub）。
基于鏈接的抓取的問(wèn)題是相關(guān)頁(yè)面主題團之間的隧道現象，即很多在抓取路徑上偏離主題的網(wǎng)頁(yè)也指向目標網(wǎng)頁(yè)，局部評價(jià)策略中斷了在當前路徑上的抓取行為。文獻[21]提出了一種基于反向鏈接（BackLink）的分層式上下文模型（Context Model），用于描述指向目標網(wǎng)頁(yè)一定物理跳數半徑內的網(wǎng)頁(yè)拓撲圖的中心Layer0為目標網(wǎng)頁(yè)，將網(wǎng)頁(yè)依據指向目標網(wǎng)頁(yè)的物理跳數進(jìn)行層次劃分，從外層網(wǎng)頁(yè)指向內層網(wǎng)頁(yè)的鏈接稱(chēng)為反向鏈接。
4.1.2 網(wǎng)站粒度的分析算法
網(wǎng)站粒度的資源發(fā)現和管理策略也比網(wǎng)頁(yè)粒度的更簡(jiǎn)單有效。網(wǎng)站粒度的爬蟲(chóng)抓取的關(guān)鍵之處在于站點(diǎn)的劃分和站點(diǎn)等級(SiteRank)的計算。SiteRank的計算方法與PageRank類(lèi)似，但是需要對網(wǎng)站之間的鏈接作一定程度抽象，并在一定的模型下計算鏈接的權重。
網(wǎng)站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻[18]討論了在分布式情況下，通過(guò)對同一個(gè)域名下不同主機、服務(wù)器的IP地址進(jìn)行站點(diǎn)劃分，構造站點(diǎn)圖，利用類(lèi)似PageRank的方法評價(jià)SiteRank。同時(shí)，根據不同文件在各個(gè)站點(diǎn)上的分布情況，構造文檔圖，結合SiteRank分布式計算得到DocRank。文獻[18]證明，利用分布式的SiteRank計算，不僅大大降低了單機站點(diǎn)的算法代價(jià)，而且克服了單獨站點(diǎn)對整個(gè)網(wǎng)絡(luò )覆蓋率有限的缺點(diǎn)。附帶的一個(gè)優(yōu)點(diǎn)是，常見(jiàn)PageRank 造假難以對SiteRank進(jìn)行欺騙。
4.1.3 網(wǎng)頁(yè)塊粒度的分析算法
在一個(gè)頁(yè)面中，往往含有多個(gè)指向其他頁(yè)面的鏈接，這些鏈接中只有一部分是指向主題相關(guān)網(wǎng)頁(yè)的，或根據網(wǎng)頁(yè)的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒(méi)有對這些鏈接作區分，因此常常給網(wǎng)頁(yè)分析帶來(lái)廣告等噪聲鏈接的干擾。在網(wǎng)頁(yè)塊級別(Blocklevel)進(jìn)行鏈接分析的算法的基本思想是通過(guò)VIPS網(wǎng)頁(yè)分割算法將網(wǎng)頁(yè)分為不同的網(wǎng)頁(yè)塊(page block)，然后對這些網(wǎng)頁(yè)塊建立pagetoblock和blocktopage的鏈接矩陣，分別記為Z和X。于是，在pagetopage圖上的網(wǎng)頁(yè)塊級別的PageRank為Wp=X×Z；在blocktoblock圖上的BlockRank為Wb=Z×X。已經(jīng)有人實(shí)現了塊級別的PageRank和HITS算法，并通過(guò)實(shí)驗證明，效率和準確率都比傳統的對應算法要好。
4.2 基于網(wǎng)頁(yè)內容的網(wǎng)頁(yè)分析算法
基于網(wǎng)頁(yè)內容的分析算法指的是利用網(wǎng)頁(yè)內容（文本、數據等資源）特征進(jìn)行的網(wǎng)頁(yè)評價(jià)。網(wǎng)頁(yè)的內容從原來(lái)的以超文本為主，發(fā)展到后來(lái)動(dòng)態(tài)頁(yè)面（或稱(chēng)為Hidden Web）數據為主，后者的數據量約為直接可見(jiàn)頁(yè)面數據（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒體數據、Web Service等各種網(wǎng)絡(luò )資源形式也日益豐富。因此，基于網(wǎng)頁(yè)內容的分析算法也從原來(lái)的較為單純的文本檢索方法，發(fā)展為涵蓋網(wǎng)頁(yè)數據抽取、機器學(xué)習、數據挖掘、語(yǔ)義理解等多種方法的綜合應用。本節根據網(wǎng)頁(yè)數據形式的不同，將基于網(wǎng)頁(yè)內容的分析算法，歸納以下三類(lèi)：第一種針對以文本和超鏈接為主的無(wú)結構或結構很簡(jiǎn)單的網(wǎng)頁(yè)；第二種針對從結構化的數據源（如RDBMS）動(dòng)態(tài)生成的頁(yè)面，其數據不能直接批量訪(fǎng)問(wèn)；第三種針對的數據界于第一和第二類(lèi)數據之間，具有較好的結構，顯示遵循一定模式或風(fēng)格，且可以直接訪(fǎng)問(wèn)。
4.2.1 基于文本的網(wǎng)頁(yè)分析算法
1) 純文本分類(lèi)與聚類(lèi)算法
很大程度上借用了文本檢索的技術(shù)。文本分析算法可以快速有效的對網(wǎng)頁(yè)進(jìn)行分類(lèi)和聚類(lèi)，但是由于忽略了網(wǎng)頁(yè)間和網(wǎng)頁(yè)內部的結構信息，很少單獨使用。
2) 超文本分類(lèi)和聚類(lèi)算法
網(wǎng)頁(yè)文本還具有大量的
本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請
點(diǎn)擊舉報。
