離開(kāi)dallas已經(jīng)整整十天了，基本上除了到處見(jiàn)見(jiàn)人之外基本上沒(méi)有其它的時(shí)間來(lái)學(xué)習新知識，也沒(méi)有空將要完成的工作收尾。
Niu.la ，Booso，luliang.dhs.org 和 wespoke 相繼宕機，看來(lái)年底各個(gè)地方的維護都不力。
itseek的開(kāi)發(fā)者多次問(wèn)起 larbin 的事情，我就在這里對larbin做一個(gè)簡(jiǎn)單的介紹。因為相對于復雜的系統來(lái)講，larbin具有高度的可配置性，和良好的工作效率。
１］larbin的簡(jiǎn)介
larbin是一種開(kāi)源的網(wǎng)絡(luò )爬蟲(chóng)/網(wǎng)絡(luò )蜘蛛，由法國的年輕人 Sébastien Ailleret獨立開(kāi)發(fā)。larbin目的是能夠跟蹤頁(yè)面的url進(jìn)行擴展的抓取，最后為搜索引擎提供廣泛的數據來(lái)源。
Larbin只是一個(gè)爬蟲(chóng)，也就是說(shuō)larbin只抓取網(wǎng)頁(yè)，至于如何parse的事情則由用戶(hù)自己完成。另外，如何存儲到數據庫以及建立索引的事情 larbin也不提供。
latbin最初的設計也是依據設計簡(jiǎn)單但是高度可配置性的原則，因此我們可以看到，一個(gè)簡(jiǎn)單的larbin的爬蟲(chóng)可以每天獲?。担埃叭f(wàn)的網(wǎng)頁(yè)，實(shí)在是非常高效。
2] Larbin的性能特征
高效是我對 larbin 的評價(jià)。
今年四月份的時(shí)候我對larbin的性能做過(guò)一個(gè)測試，luliang.dhs.org是我自己常用的服務(wù)器，CPU 為1G，內存512，其它的性能一般，因為是三年前購置的。
我將我自己的網(wǎng)頁(yè) 六翼作為入口，運行larbin進(jìn)行５層內的url的抓取。
當時(shí)紀錄的一些數據：
Internet IO: 500-700k/per second （我想大約我的網(wǎng)絡(luò )下載的瓶頸了吧）
CPU top: 5%-15%
disk consume: 1M/s ，基本上一個(gè)小時(shí)爬 3個(gè)G 的網(wǎng)頁(yè)。差不多20萬(wàn)的頁(yè)面
url 解析: 200萬(wàn)－300萬(wàn)每小時(shí)
3] larbin 的作用
很多人初見(jiàn) larbin 不知道從哪里下手，那么我來(lái)簡(jiǎn)單介紹一下 larbin 的功能和實(shí)際應用。
1. larbin 獲取單個(gè)、確定網(wǎng)站的所有聯(lián)結，甚至可以鏡像一個(gè)網(wǎng)站。
2. larbin建立 url 列表群，例如針對所有的網(wǎng)頁(yè)進(jìn)行 url retrive后，進(jìn)行xml的聯(lián)結的獲取?；蛘呤?mp3 。
3. larbin 定制后可以作為搜索引擎的信息的來(lái)源（例如可以將抓取下來(lái)的網(wǎng)頁(yè)每2000一組存放在一系列的目錄結構里面）。
總歸，larbin應當是一個(gè)被廣大搜索引擎愛(ài)好者應當引起注意的一個(gè)產(chǎn)品，雖然其功能逐漸被 Nutch 所接受和替代，但是其在爬蟲(chóng)上的優(yōu)美設計的確值得稱(chēng)道。
聯(lián)系客服
