搜索引擎分類(lèi)與工作原理
搜索引擎分類(lèi)
搜索引擎按其工作方式主要可分為三種，分別是全文搜索引擎（Full Text Search Engine）、目錄索引類(lèi)搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。
■全文搜索引擎
全文搜索引擎是名副其實(shí)的搜索引擎，國外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，國內著(zhù)名的有百度（Baidu）。它們都是通過(guò)從互聯(lián)網(wǎng)上提取的各個(gè)網(wǎng)站的信息（以網(wǎng)頁(yè)文字為主）而建立的數據庫中，檢索與用戶(hù)查詢(xún)條件匹配的相關(guān)記錄，然后按一定的排列順序將結果返回給用戶(hù)，因此他們是真正的搜索引擎。
■目錄索引
目錄索引雖然有搜索功能，但在嚴格意義上算不上是真正的搜索引擎，僅僅是按目錄分類(lèi)的網(wǎng)站鏈接列表而已。用戶(hù)完全可以不用進(jìn)行關(guān)鍵詞（Keywords）查詢(xún)，僅靠分類(lèi)目錄也可找到需要的信息。目錄索引中最具代表性的莫過(guò)于大名鼎鼎的Yahoo雅虎。其他著(zhù)名的還有Open Directory Project（DMOZ）、LookSmart、About等。國內的搜狐、新浪、網(wǎng)易搜索也都屬于這一類(lèi)。
■元搜索引擎 (META Search Engine)
元搜索引擎在接受用戶(hù)查詢(xún)請求時(shí)，同時(shí)在其他多個(gè)引擎上進(jìn)行搜索，并將結果返回給用戶(hù)。著(zhù)名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索結果排列方面，有的直接按來(lái)源引擎排列搜索結果，如Dogpile，有的則按自定的規則將結果重新排列組合，如Vivisimo
除上述三大類(lèi)引擎外，還有以下幾種非主流形式：
搜索引擎是怎么工作的
搜索引擎并不真正搜索互聯(lián)網(wǎng)，它搜索的實(shí)際上是預先整理好的網(wǎng)頁(yè)索引數據庫。真正意義上的搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對網(wǎng)頁(yè)中的每一個(gè)詞（即關(guān)鍵詞）進(jìn)行索引，建立索引數據庫的全文搜索引擎。當用戶(hù)查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁(yè)面內容中包含了該關(guān)鍵詞的網(wǎng)頁(yè)都將作為搜索結果被搜出來(lái)。在經(jīng)過(guò)復雜的算法進(jìn)行排序后，這些結果將按照與搜索關(guān)鍵詞的相關(guān)度高低，依次排列。
現在的搜索引擎已普遍使用超鏈分析技術(shù)，除了分析索引網(wǎng)頁(yè)本身的內容，還分析索引所有指向該網(wǎng)頁(yè)的鏈接的URL、AnchorText、甚至鏈接周?chē)奈淖?。所以，有時(shí)候，即使某個(gè)網(wǎng)頁(yè)A中并沒(méi)有某個(gè)詞比如“惡魔撒旦”，但如果有別的網(wǎng)頁(yè)B用鏈接“惡魔撒旦”指向這個(gè)網(wǎng)頁(yè)A，那么用戶(hù)搜索“惡魔撒旦”時(shí)也能找到網(wǎng)頁(yè)A。而且，如果有越多網(wǎng)頁(yè)（C、D、E、F……）用名為“惡魔撒旦”的鏈接指向這個(gè)網(wǎng)頁(yè)A，或者給出這個(gè)鏈接的源網(wǎng)頁(yè)（B、C、D、E、F……）越優(yōu)秀，那么網(wǎng)頁(yè)A在用戶(hù)搜索“惡魔撒旦”時(shí)也會(huì )被認為更相關(guān)，排序也會(huì )越靠前。
搜索引擎的原理，可以看做三步：從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)→建立索引數據庫→在索引數據庫中搜索排序
從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)
利用能夠從互聯(lián)網(wǎng)上自動(dòng)收集網(wǎng)頁(yè)的Spider系統程序，自動(dòng)訪(fǎng)問(wèn)互聯(lián)網(wǎng)，并沿著(zhù)任何網(wǎng)頁(yè)中的所有URL爬到其它網(wǎng)頁(yè)，重復這過(guò)程，并把爬過(guò)的所有網(wǎng)頁(yè)收集回來(lái)。
建立索引數據庫
由分析索引系統程序對收集回來(lái)的網(wǎng)頁(yè)進(jìn)行分析，提取相關(guān)網(wǎng)頁(yè)信息（包括網(wǎng)頁(yè)所在URL、編碼類(lèi)型、頁(yè)面內容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大些與其它網(wǎng)頁(yè)的鏈接關(guān)系等），根據一定的相關(guān)度算法進(jìn)行大量復雜計算，得到每一個(gè)網(wǎng)頁(yè)針對頁(yè)面內容中及超鏈中每一個(gè)關(guān)鍵詞的相關(guān)度（或重要性），然后用這些相關(guān)信息建立網(wǎng)頁(yè)索引數據庫。
在索引數據庫中搜索排序
當用戶(hù)輸入關(guān)鍵詞搜索后，由搜索系統程序從網(wǎng)頁(yè)索引數據庫中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)。因為所有相關(guān)網(wǎng)頁(yè)針對該關(guān)鍵詞的相關(guān)度早已算好，所以只需按照現成的相關(guān)度數值排序，相關(guān)度越高，排名越靠前。
最后，由頁(yè)面生成系統將搜索結果的鏈接地址和頁(yè)面內容摘要等內容組織起來(lái)返回給用戶(hù)。
搜索引擎的Spider一般要定期重新訪(fǎng)問(wèn)所有網(wǎng)頁(yè)（各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對不同重要性的網(wǎng)頁(yè)有不同的更新頻率），更新網(wǎng)頁(yè)索引數據庫，以反映出網(wǎng)頁(yè)內容的更新情況，增加新的網(wǎng)頁(yè)信息，去除死鏈接，并根據網(wǎng)頁(yè)內容和鏈接關(guān)系的變化重新排序。這樣，網(wǎng)頁(yè)的具體內容和變化情況就會(huì )反映到用戶(hù)查詢(xún)的結果中。
互聯(lián)網(wǎng)雖然只有一個(gè)，但各搜索引擎的能力和偏好不同，所以抓取的網(wǎng)頁(yè)各不相同，排序算法也各不相同。大型搜索引擎的數據庫儲存了互聯(lián)網(wǎng)上幾億至幾十億的網(wǎng)頁(yè)索引，數據量達到幾千G甚至幾萬(wàn)G。但即使最大的搜索引擎建立超過(guò)二十億網(wǎng)頁(yè)的索引數據庫，也只能占到互聯(lián)網(wǎng)上普通網(wǎng)頁(yè)的不到30%，不同搜索引擎之間的網(wǎng)頁(yè)數據重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因為它們能分別搜索到不同的內容。而互聯(lián)網(wǎng)上有更大量的內容，是搜索引擎無(wú)法抓取索引的，也是我們無(wú)法用搜索引擎搜索到的。
你心里應該有這個(gè)概念：搜索引擎只能搜到它網(wǎng)頁(yè)索引數據庫里儲存的內容。你也應該有這個(gè)概念：如果搜索引擎的網(wǎng)頁(yè)索引數據庫里應該有你而沒(méi)有搜出來(lái)，那是你的能力問(wèn)題，學(xué)習搜索技巧可以大幅度提高你的搜索能力。
聯(lián)系客服
