在互聯(lián)網(wǎng)發(fā)展初期，網(wǎng)站相對較少，信息查找比較容易。然而伴隨互聯(lián)網(wǎng)爆炸性的發(fā)展，普通網(wǎng)絡(luò )用戶(hù)想找到所需的資料簡(jiǎn)直如同大海撈針，這時(shí)為滿(mǎn)足大眾信息檢索需求的專(zhuān)業(yè)搜索網(wǎng)站便應運而生了。
現代意義上的搜索引擎的祖先，是1990年由蒙特利爾大學(xué)學(xué)生Alan Emtage發(fā)明的Archie。雖然當時(shí)World Wide Web還未出現，但網(wǎng)絡(luò )中文件傳輸還是相當頻繁的，而且由于大量的文件散布在各個(gè)分散的FTP主機中，查詢(xún)起來(lái)非常不便，因此Alan Emtage想到了開(kāi)發(fā)一個(gè)可以以文件名查找文件的系統，于是便有了Archie。
Archie工作原理與現在的搜索引擎已經(jīng)很接近，它依靠腳本程序自動(dòng)搜索網(wǎng)上的文件，然后對有關(guān)信息進(jìn)行索引，供使用者以一定的表達式查詢(xún)。由于A(yíng)rchie深受用戶(hù)歡迎，受其啟發(fā)，美國內華達System Computing Services大學(xué)于1993年開(kāi)發(fā)了另一個(gè)與之非常相似的搜索工具，不過(guò)此時(shí)的搜索工具除了索引文件外，已能檢索網(wǎng)頁(yè)。
當時(shí)，“機器人”一詞在編程者中十分流行。電腦“機器人”（Computer Robot）是指某個(gè)能以人類(lèi)無(wú)法達到的速度不間斷地執行某項任務(wù)的軟件程序。由于專(zhuān)門(mén)用于檢索信息的“機器人”程序象蜘蛛一樣在網(wǎng)絡(luò )間爬來(lái)爬去，因此，搜索引擎的“機器人”程序就被稱(chēng)為“蜘蛛”程序。
世界上第一個(gè)用于監測互聯(lián)網(wǎng)發(fā)展規模的“機器人”程序是Matthew Gray開(kāi)發(fā)的World wide Web Wanderer。剛開(kāi)始它只用來(lái)統計互聯(lián)網(wǎng)上的服務(wù)器數量，后來(lái)則發(fā)展為能夠檢索網(wǎng)站域名。
與Wanderer相對應，Martin Koster于1993年10月創(chuàng )建了ALIWEB，它是Archie的HTTP版本。ALIWEB不使用“機器人”程序，而是靠網(wǎng)站主動(dòng)提交信息來(lái)建立自己的鏈接索引，類(lèi)似于現在我們熟知的Yahoo。
隨著(zhù)互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現的網(wǎng)頁(yè)變得越來(lái)越困難，因此，在Matthew Gray的Wanderer基礎上，一些編程者將傳統的“蜘蛛”程序工作原理作了些改進(jìn)。其設想是，既然所有網(wǎng)頁(yè)都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤一個(gè)網(wǎng)站的鏈接開(kāi)始，就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開(kāi)始紛紛涌現，其中以JumpStation、The World Wide Web Worm（Goto的前身，也就是今天Overture），和Repository-Based Software Engineering (RBSE) spider最負盛名。
然而JumpStation和WWW Worm只是以搜索工具在數據庫中找到匹配信息的先后次序排列搜索結果，因此毫無(wú)信息關(guān)聯(lián)度可言。而RBSE是第一個(gè)在搜索結果排列中引入關(guān)鍵字串匹配程度概念的引擎。
最早現代意義上的搜索引擎出現于1994年7月。當時(shí)Michael Mauldin將John Leavitt的蜘蛛程序接入到其索引程序中，創(chuàng )建了大家現在熟知的Lycos。同年4月，斯坦福（Stanford）大學(xué)的兩名博士生，David Filo和美籍華人楊致遠（Gerry Yang）共同創(chuàng )辦了超級目錄索引Yahoo，并成功地使搜索引擎的概念深入人心。從此搜索引擎進(jìn)入了高速發(fā)展時(shí)期。目前，互聯(lián)網(wǎng)上有名有姓的搜索引擎已達數百家，其檢索的信息量也與從前不可同日而語(yǔ)。比如最近風(fēng)頭正勁的Google，其數據庫中存放的網(wǎng)頁(yè)已達30億之巨！
隨著(zhù)互聯(lián)網(wǎng)規模的急劇膨脹，一家搜索引擎光靠自己?jiǎn)未颡毝芬褵o(wú)法適應目前的市場(chǎng)狀況，因此現在搜索引擎之間開(kāi)始出現了分工協(xié)作，并有了專(zhuān)業(yè)的搜索引擎技術(shù)和搜索數據庫服務(wù)提供商。象國外的Inktomi（已被Yahoo收購），它本身并不是直接面向用戶(hù)的搜索引擎，但向包括Overture（原GoTo，已被Yahoo收購）、LookSmart、MSN、HotBot等在內的其他搜索引擎提供全文網(wǎng)頁(yè)搜索服務(wù)。國內的百度也屬于這一類(lèi)（百度已于2001年9月開(kāi)始提供公共搜索服務(wù)），搜狐和新浪用的就是它的技術(shù)（搜狐二級網(wǎng)頁(yè)搜索現已改為中搜的引擎，而新浪則已轉用Google的搜索結果）。因此從這個(gè)意義上說(shuō)，它們是搜索引擎的搜索引擎。
本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請
點(diǎn)擊舉報。
