欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

    內容提取

    搜索引擎建立網(wǎng)頁(yè)索引，處理的對象是文本文件。對于網(wǎng)絡(luò )蜘蛛來(lái)說(shuō)，抓取下來(lái)網(wǎng)頁(yè)包括各種格式，包括html、圖片、doc、pdf、多媒體、動(dòng)態(tài)網(wǎng)頁(yè)及其它格式等。這些文件抓取下來(lái)后，需要把這些文件中的文本信息提取出來(lái)。準確提取這些文檔的信息，一方面對搜索引擎的搜索準確性有重要作用，另一方面對于網(wǎng)絡(luò )蜘蛛正確跟蹤其它鏈接有一定影響。

    對于doc、pdf等文檔，這種由專(zhuān)業(yè)廠(chǎng)商提供的軟件生成的文檔，廠(chǎng)商都會(huì )提供相應的文本提取接口。網(wǎng)絡(luò )蜘蛛只需要調用這些插件的接口，就可以輕松的提取文檔中的文本信息和文件其它相關(guān)的信息。

    HTML等文檔不一樣，HTML有一套自己的語(yǔ)法，通過(guò)不同的命令標識符來(lái)表示不同的字體、顏色、位置等版式，如：、、等，提取文本信息時(shí)需要把這些標識符都過(guò)濾掉。過(guò)濾標識符并非難事，因為這些標識符都有一定的規則，只要按照不同的標識符取得相應的信息即可。但在識別這些信息的時(shí)候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標題、是否是加粗顯示、是否是頁(yè)面的關(guān)鍵詞等，這些信息有助于計算單詞在網(wǎng)頁(yè)中的重要程度。同時(shí)，對于HTML網(wǎng)頁(yè)來(lái)說(shuō)，除了標題和正文以外，會(huì )有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點(diǎn)關(guān)系也沒(méi)有，在提取網(wǎng)頁(yè)內容的時(shí)候，也需要過(guò)濾這些無(wú)用的鏈接。例如某個(gè)網(wǎng)站有“產(chǎn)品介紹”頻道，因為導航條在網(wǎng)站內每個(gè)網(wǎng)頁(yè)都有，若不過(guò)濾導航條鏈接，在搜索“產(chǎn)品介紹”的時(shí)候，則網(wǎng)站內每個(gè)網(wǎng)頁(yè)都會(huì )搜索到，無(wú)疑會(huì )帶來(lái)大量垃圾信息。過(guò)濾這些無(wú)效鏈接需要統計大量的網(wǎng)頁(yè)結構規律，抽取一些共性，統一過(guò)濾；對于一些重要而結果特殊的網(wǎng)站，還需要個(gè)別處理。這就需要網(wǎng)絡(luò )蜘蛛的設計有一定的擴展性。

    對于多媒體、圖片等文件，一般是通過(guò)鏈接的錨文本（即，鏈接文本）和相關(guān)的文件注釋來(lái)判斷這些文件的內容。例如有一個(gè)鏈接文字為“張曼玉照片”，其鏈接指向一張bmp格式的圖片，那么網(wǎng)絡(luò )蜘蛛就知道這張圖片的內容是“張曼玉的照片”。這樣，在搜索“張曼玉”和“照片”的時(shí)候都能讓搜索引擎找到這張圖片。另外，許多多媒體文件中有文件屬性，考慮這些屬性也可以更好的了解文件的內容。

    動(dòng)態(tài)網(wǎng)頁(yè)一直是網(wǎng)絡(luò )蜘蛛面臨的難題。所謂動(dòng)態(tài)網(wǎng)頁(yè)，是相對于靜態(tài)網(wǎng)頁(yè)而言，是由程序自動(dòng)生成的頁(yè)面，這樣的好處是可以快速統一更改網(wǎng)頁(yè)風(fēng)格，也可以減少網(wǎng)頁(yè)所占服務(wù)器的空間，但同樣給網(wǎng)絡(luò )蜘蛛的抓取帶來(lái)一些麻煩。由于開(kāi)發(fā)語(yǔ)言不斷的增多，動(dòng)態(tài)網(wǎng)頁(yè)的類(lèi)型也越來(lái)越多，如：asp、jsp、php等。這些類(lèi)型的網(wǎng)頁(yè)對于網(wǎng)絡(luò )蜘蛛來(lái)說(shuō)，可能還稍微容易一些。網(wǎng)絡(luò )蜘蛛比較難于處理的是一些腳本語(yǔ)言（如VBScript和JavaScript）生成的網(wǎng)頁(yè)，如果要完善的處理好這些網(wǎng)頁(yè)，網(wǎng)絡(luò )蜘蛛需要有自己的腳本解釋程序。對于許多數據是放在數據庫的網(wǎng)站，需要通過(guò)本網(wǎng)站的數據庫搜索才能獲得信息，這些給網(wǎng)絡(luò )蜘蛛的抓取帶來(lái)很大的困難。對于這類(lèi)網(wǎng)站，如果網(wǎng)站設計者希望這些數據能被搜索引擎搜索，則需要提供一種可以遍歷整個(gè)數據庫內容的方法。

    對于網(wǎng)頁(yè)內容的提取，一直是網(wǎng)絡(luò )蜘蛛中重要的技術(shù)。整個(gè)系統一般采用插件的形式，通過(guò)一個(gè)插件管理服務(wù)程序，遇到不同格式的網(wǎng)頁(yè)采用不同的插件處理。這種方式的好處在于擴充性好，以后每發(fā)現一種新的類(lèi)型，就可以把其處理方式做成一個(gè)插件補充到插件管理服務(wù)程序之中。

    更新周期

    由于網(wǎng)站的內容經(jīng)常在變化，因此網(wǎng)絡(luò )蜘蛛也需不斷的更新其抓取網(wǎng)頁(yè)的內容，這就需要網(wǎng)絡(luò )蜘蛛按照一定的周期去掃描網(wǎng)站，查看哪些頁(yè)面是需要更新的頁(yè)面，哪些頁(yè)面是新增頁(yè)面，哪些頁(yè)面是已經(jīng)過(guò)期的死鏈接。

    搜索引擎的更新周期對搜索引擎搜索的查全率有很大影響。如果更新周期太長(cháng)，則總會(huì )有一部分新生成的網(wǎng)頁(yè)搜索不到；周期過(guò)短，技術(shù)實(shí)現會(huì )有一定難度，而且會(huì )對帶寬、服務(wù)器的資源都有浪費。搜索引擎的網(wǎng)絡(luò )蜘蛛并不是所有的網(wǎng)站都采用同一個(gè)周期進(jìn)行更新，對于一些重要的更新量大的網(wǎng)站，更新的周期短，如有些新聞網(wǎng)站，幾個(gè)小時(shí)就更新一次；相反對于一些不重要的網(wǎng)站，更新的周期就長(cháng)，可能一兩個(gè)月才更新一次。

    一般來(lái)說(shuō)，網(wǎng)絡(luò )蜘蛛在更新網(wǎng)站內容的時(shí)候，不用把網(wǎng)站網(wǎng)頁(yè)重新抓取一遍，對于大部分的網(wǎng)頁(yè)，只需要判斷網(wǎng)頁(yè)的屬性（主要是日期），把得到的屬性和上次抓取的屬性相比較，如果一樣則不用更新。

    結論

    本文主要討論了網(wǎng)絡(luò )蜘蛛相關(guān)的技術(shù)要點(diǎn)，如果要設計好的網(wǎng)絡(luò )蜘蛛，需要了解更多的技術(shù)細節，可以參考文獻[5]。

    網(wǎng)絡(luò )蜘蛛在搜索引擎中占有重要位置，對搜索引擎的查全、查準都有影響，決定了搜索引擎數據容量的大小，而且網(wǎng)絡(luò )蜘蛛的好壞直接影響搜索結果頁(yè)中的死鏈接（即鏈接所指向的網(wǎng)頁(yè)已經(jīng)不存在）的個(gè)數。目前如何發(fā)現更多的網(wǎng)頁(yè)、如何正確提取網(wǎng)頁(yè)內容、如果下載動(dòng)態(tài)網(wǎng)頁(yè)、如何提供抓取速度、如何識別網(wǎng)站內內容相同的網(wǎng)頁(yè)等都是網(wǎng)絡(luò )蜘蛛需要進(jìn)一步改進(jìn)的問(wèn)題。