作者：黃果
使用搜索引擎是網(wǎng)民上網(wǎng)最重要的一件事。根據CNNIC的統計，
搜索是互聯(lián)網(wǎng)上僅次于電子郵件的應用，因此這篇文章對各個(gè)搜索引擎進(jìn)行客觀(guān)介紹，希望能夠給網(wǎng)民
搜索帶來(lái)方便。需要澄清的是，網(wǎng)站目錄并不是搜索引擎，搜索引擎指的是對整個(gè)互聯(lián)網(wǎng)成億個(gè)的網(wǎng)頁(yè)進(jìn)行檢索，此
搜索服務(wù)系統是基于網(wǎng)頁(yè)的全文檢索系統。而網(wǎng)站目錄通常是人工分類(lèi)的有系統的網(wǎng)站列表，通常附有
搜索功能，從這個(gè)意義上說(shuō)網(wǎng)站目錄更像Internet上的黃頁(yè)?，F在的大型網(wǎng)站通常是購買(mǎi)別的廠(chǎng)商的搜索引擎技術(shù)，像Yahoo!就使用了Inktomi的技術(shù)而自己并不開(kāi)發(fā)搜索引擎，楊志遠在創(chuàng )業(yè)的時(shí)候所搜集的網(wǎng)址就是網(wǎng)站目錄。
搜索引擎是全自動(dòng)的軟件服務(wù)，并且非常容易在
搜索結果網(wǎng)頁(yè)中插入具有很高針對性的廣告，CPM最高可達70美元。所以搜索引擎一旦投入運轉，其收益與成本的比率遠高于一般的網(wǎng)站內容服務(wù)。這也是為什么大型網(wǎng)站特別是門(mén)戶(hù)網(wǎng)站將其列為“兵家必爭之地”的原因。
第一代搜索引擎
門(mén)戶(hù)成為第一代搜索引擎的終點(diǎn)
Altavista(www.altavista.com)
Altavista是搜索引擎的元老，誕生于DEC研發(fā)中心。它也是Yahoo!最早的搜索引擎技術(shù)的提供者。Altavista的特點(diǎn)是速度快，這一點(diǎn)國內用戶(hù)可能感覺(jué)不到，這是因為其服務(wù)器位于國外。DEC當時(shí)的想法是希望通過(guò)搜索引擎告訴大家Alpha芯片的威力，
因此服務(wù)器使用的是Alpha芯片，它能夠提供極快的響應速度，而且其
搜索的數據量也是相當龐大的，但其缺點(diǎn)在于服務(wù)器價(jià)格昂貴。
Altavista還可以提供許多不同格式內容，像音頻、視頻與多國語(yǔ)言的檢索，有不少?lài)鴥人阉饕嬲也坏骄W(wǎng)頁(yè)都可以通過(guò)它找到。但 Altavista在更新頻率上不是很快，其中文
搜索的技術(shù)已經(jīng)有兩三年沒(méi)有改進(jìn)過(guò)，檢索內容更新頻率大約是一個(gè)月一次。音頻、視頻與圖像占用空間很大，要做好這方面的服務(wù)，需要占用相當大的存儲空間，而Altavista在這方面做得相當不錯，可以說(shuō)處于世界領(lǐng)先的地位。
Infoseek（www.infoseek.com）
Infoseek不是以數據庫大而見(jiàn)長(cháng)的，而是以檢索的相關(guān)程度高而知名。Infoseek購買(mǎi)了馬薩諸塞大學(xué)的
搜索軟件產(chǎn)品，
而馬薩諸塞大學(xué)的信息檢索是全美高校數一數二的，所以Infoseek一開(kāi)始的起點(diǎn)就很高。但他們很快就發(fā)現，互聯(lián)網(wǎng)數據量太大了，當初設計的規模太小，只好重新編寫(xiě)程序。于是Infoseek請了一位華人工程師
William Chang設計了第一代Infoseek搜索引擎Ultraseek，其特點(diǎn)也是速度快，同時(shí)檢索結果的相關(guān)程度也很高。產(chǎn)品一推出在搜索引擎領(lǐng)域與華爾街都引起了很大的震動(dòng)，Infoseek剛上市時(shí)是Yahoo!市值的60％～70％，大大領(lǐng)先于另外幾家搜索引擎，而其后臺的領(lǐng)先的搜索引擎技術(shù)功不可沒(méi)。1999年，Infoseek被Disney所購買(mǎi)，發(fā)展方向與定位都做了調整。Disney將其做為入門(mén)網(wǎng)站Go.com的搜索引擎，在技術(shù)上的革新比較少，處于維持現狀的水平，主要是做娛樂(lè )方面的索引。
Excite（www.excite.com）
Excite是斯坦福大學(xué)的六位計算機系的本科生創(chuàng )辦的?！懊赓M讓人
搜索，用廣告收入來(lái)補貼"，這是Excite率先提出來(lái)的，也是當時(shí)比較新的概念。Excite
搜索技術(shù)研發(fā)人員的計算機功底扎實(shí)，但對信息檢索的認識不是很深，所以一開(kāi)始提出的概念
搜索（Concept Search），即用同義詞推斷來(lái)增加
搜索的結果很快就宣告失敗。因為互聯(lián)網(wǎng)的信息不是太少了而是太多了，
搜索的目的是在茫茫的信息海洋中找到所需要的精確的信息。后來(lái)Excite與@home 合并，開(kāi)始主攻寬帶市場(chǎng)，也就沒(méi)有更新的技術(shù)出現。
Lycos（www.lycos.com）
Lycos是早期搜索引擎中唯一誕生于美國東部的，其余的搜索引擎都在硅谷。它脫胎于卡耐基·梅隆大學(xué)的一位博士生的一套互聯(lián)網(wǎng)
搜索程序，此后被風(fēng)險投資集團CMGI看中，并且在波士頓成立了公司。其
搜索技術(shù)一直比較落后，但在商業(yè)上比較成功，Lycos很早就投資做社區網(wǎng)站，網(wǎng)絡(luò )廣告也賣(mài)得不錯，在商業(yè)操作上的成功掩飾了其技術(shù)的落后。Lycos后來(lái)購買(mǎi)了一家廣受好評的
搜索網(wǎng)站Hotbot，但實(shí)際Hotbot 在后臺用的也是Inktomi的技術(shù)。所以L(fǎng)ycos在很長(cháng)的一段時(shí)間里同時(shí)維持著(zhù)兩個(gè)
搜索平臺，但在今年年初他們全面改用了Inktomi的搜索引擎。
第二代搜索引擎
只做后臺技術(shù)提供者與大量應用人工智能是第二代搜索引擎的標志
從1995年Web商業(yè)化開(kāi)始，
搜索技術(shù)的地位就一直很重要。最早的幾個(gè)互聯(lián)網(wǎng)商業(yè)公司就是靠
搜索技術(shù)起家的，但
搜索技術(shù)本身的革新一直就沒(méi)有停止過(guò)，而且在商業(yè)模式上也不斷地推陳出新。
第一代的搜索引擎公司都變成了門(mén)戶(hù)網(wǎng)站，而第二代的搜索引擎廠(chǎng)商則是像Inktomi、Google那樣給網(wǎng)站提供技術(shù)與服務(wù)的ASP或是在技術(shù)上采用了人工智能技術(shù)的廠(chǎng)商,像Askjeeves，Direct hit等。它們在商業(yè)模式上也在不斷創(chuàng )新，像Goto.com允許網(wǎng)站的擁有者實(shí)時(shí)進(jìn)行檢索結果的排序，客戶(hù)可以花錢(qián)購買(mǎi)排序的位置，通過(guò)拍賣(mài)的形式將相關(guān)網(wǎng)站放在前面，但同時(shí)明確標出這個(gè)
搜索結果是付費的。此外，
垂直化的搜索引擎也應運而生，像專(zhuān)門(mén)做圖形圖像或MP3文件的搜索引擎。而最新的技術(shù)是動(dòng)態(tài)的網(wǎng)頁(yè)
搜索和實(shí)時(shí)內容的檢索，網(wǎng)絡(luò )上越來(lái)越多的網(wǎng)頁(yè)是根據程序生成的，而不是靜態(tài)地存在。這些頁(yè)面都是根據時(shí)間變化而變化的，比如查詢(xún)股票的價(jià)格等。而實(shí)時(shí)的內容多是新聞與金融信息，這也是廣大網(wǎng)民迫切需要的。
第二代搜索引擎廠(chǎng)商的特點(diǎn)是只做后臺技術(shù)的提供者，這是美國互聯(lián)網(wǎng)發(fā)展的教訓。因為網(wǎng)絡(luò )最初發(fā)展時(shí)最迫切需要的是
搜索，于是同時(shí)出現了許多搜索引擎，但是后來(lái)各廠(chǎng)商認識到作為獨立公司單獨開(kāi)發(fā)搜索引擎不能維持長(cháng)期發(fā)展，
于是又都發(fā)展成門(mén)戶(hù)，提供了許多別的內容，但它們很快發(fā)現搜索不像新聞一樣沒(méi)有什么技術(shù)含量。而作為一個(gè)公司，則要同時(shí)肩負兩個(gè)任務(wù)，一是創(chuàng )建門(mén)戶(hù)類(lèi)的平臺，這是打市場(chǎng)、創(chuàng )品牌的過(guò)程，二是開(kāi)發(fā)搜索引擎，而這則是扎扎實(shí)實(shí)的技術(shù)工作，這兩方面沒(méi)有什么共同點(diǎn)。既做搜索引擎又做門(mén)戶(hù)使得網(wǎng)站精力分散，不能全力投入搜索引擎技術(shù)的改進(jìn)，而且兩者合一意味著(zhù)自己的產(chǎn)品不能賣(mài)給別人，因為當時(shí)搜索引擎的用戶(hù)大多是做門(mén)戶(hù)的，全是自己的競爭對手。搜索引擎的開(kāi)發(fā)的成本又相當高，而制作的東西又只能少數幾家使用，這就不符合軟件通用化的潮流與模式。
第一代網(wǎng)站中，只有Yahoo!不自己開(kāi)發(fā)搜索引擎，所以它成功了。
Inktomi（www.inktomi.com）
Inktomi是加州大學(xué)伯克利分校Eric Brewer的教授最先開(kāi)始研究的，這位教授是并行處理研究的專(zhuān)家。Eric Brewer希望用這個(gè)搜索引擎產(chǎn)品來(lái)證明他的并行算法是十分出色的，后來(lái)他將自己的技術(shù)賣(mài)給了Hotbot，作為后臺技術(shù)的提供商。
Eric Brewer完成Inktomi的時(shí)候，這個(gè)市場(chǎng)競爭已經(jīng)相當激烈，再想做門(mén)戶(hù)已經(jīng)不可能了。所以他決定只做背后技術(shù)的提供商，而這卻正中 Yahoo！的下懷，Yahoo！以前使用的是Altavista的技術(shù)，但Altavista本身也是門(mén)戶(hù)，與 Yahoo!處于競爭關(guān)系，而Inktomi與Yahoo!沒(méi)有利益沖突關(guān)系，便很快成了其后臺技術(shù)的提供商。
Askjeeves(www.ask.com)
從技術(shù)上講，Askjeeves是一個(gè)比較簡(jiǎn)單的系統，但從創(chuàng )意來(lái)說(shuō)是相當出色的，它維護了問(wèn)題與答案相聯(lián)系的數據庫。從結構上說(shuō)它比較簡(jiǎn)單，因為提問(wèn)后并不是立即返回問(wèn)題的答案，而是用逼近式的方法讓你選擇他知道的所有問(wèn)題，再由用戶(hù)分類(lèi)來(lái)選擇答案。這一點(diǎn)從技術(shù)上講非常容易解決，但從實(shí)踐來(lái)說(shuō)需要大量的人力來(lái)干預，即問(wèn)題與結果的數據庫規則基本是靠人工來(lái)建立的。但由于它建立了一套可以讓人以自然語(yǔ)言提問(wèn)的系統，很多網(wǎng)民喜歡這樣的形式。但由于其規則庫太小，真正使用的人不是很多。
Goto(www.goto.com)
從本身技術(shù)來(lái)說(shuō)，Goto.com使用了
超鏈分析與根據用戶(hù)的點(diǎn)擊行為來(lái)
分析與重排序，
搜索得到的結果相關(guān)性程度較高，而且比較符合用戶(hù)的點(diǎn)擊習慣。
Google(www.google.com)
Google由Larry Page和Sergey Brin設計， 于 1998年9月發(fā)布測試版，一年后正式開(kāi)始商業(yè)運營(yíng)。Google由于對搜索引擎技術(shù)的創(chuàng )新而獲獎無(wú)數，如美國《時(shí)代》雜志評選的“1999年度十大網(wǎng)絡(luò )技術(shù)"之一、《個(gè)人電腦》雜志授予的“最佳技術(shù)獎"、The Net授予的“最佳搜索引擎獎"等。Google現為全球80多家門(mén)戶(hù)和終點(diǎn)網(wǎng)站提供支持，客戶(hù)遍及20多個(gè)國家。
在國內，大家對于這家搜索引擎技術(shù)提供商還比較陌生，但今年年初，Yahoo!宣布將不再采用Inktomi的
搜索服務(wù)，而轉而將Google作為其搜索引擎技術(shù)提供商，此舉使Google 聲名大噪。 Google所擅長(cháng)的是易用性和高相關(guān)性。 Google提供一系列革命性的新技術(shù)，包括完善的文本對應技術(shù)和先進(jìn)的PageRank排序技術(shù)，后者可以保證重要的
搜索結果排列在結果列表的前面。Google還提供一項很有用的服務(wù)— —“網(wǎng)頁(yè)快照”功能，即當
搜索內容站點(diǎn)或網(wǎng)頁(yè)不存在時(shí)，用戶(hù)可以調 用Google事先為用戶(hù)儲存的大量應急網(wǎng)頁(yè)，經(jīng)Google處理后，
搜索項均用不同顏色標明，另外還有標題信息說(shuō)明其存檔時(shí)間日期，并提醒用戶(hù)這只是存檔資料。實(shí)際上Google將檢索的網(wǎng)頁(yè)都做了一番“快照”然后放在自己的服務(wù)器上，這樣做的好處是不僅下載速度極快，而且可以獲得互聯(lián)網(wǎng)上已經(jīng)刪除的網(wǎng)頁(yè)。
目前Google已與網(wǎng)易公司(163.com)達成協(xié)議，自9月15日起，網(wǎng)易采用Google的技術(shù)向用戶(hù)提供新一代的中文搜索引擎，Google的中文搜索引擎是收集亞洲網(wǎng)站最多的搜索引擎之一，這也是Google拓展全球信息市場(chǎng)的重要基礎。根據雙方協(xié)議，網(wǎng)易的用戶(hù)不僅能夠通過(guò)Google訪(fǎng)問(wèn)2400萬(wàn)個(gè)中文頁(yè)面，還可以訪(fǎng)問(wèn)其全部目錄中超過(guò)10億的Web文件。目前，Google.com的用戶(hù)已經(jīng)可以使用包括中文、法語(yǔ)、德語(yǔ)、意大利語(yǔ)和西班牙語(yǔ)在內的14種語(yǔ)言進(jìn)行
搜索。Google公司正在雄心勃勃地籌備更豐富的服務(wù)內容，如日語(yǔ)、朝鮮語(yǔ)和其他客戶(hù)化定制的搜索引擎服務(wù)。
國內搜索引擎
中文語(yǔ)言文化呼喚中國本土的搜索引擎 ----中文的語(yǔ)言文化對國外搜索引擎產(chǎn)品是一個(gè)天然的屏障，這使得國外的產(chǎn)品不能簡(jiǎn)單漢化就拿給國內的ICP使用，這一點(diǎn)與翻譯軟件非常類(lèi)似，因此國內廠(chǎng)商在這個(gè)領(lǐng)域的機會(huì )是很大的。
但國內的搜索引擎技術(shù)與國外相比依然差距較大，從技術(shù)角度說(shuō)搜索引擎基本由三部分組成，第一部分是蜘蛛軟件(Spider)，即自動(dòng)的收集程序，它的作用是負責收集網(wǎng)頁(yè)的內容；第二部分是索引器(Indexer)，其作用是將收集回來(lái)的內容進(jìn)行
分析，然后做一個(gè)索引；第三部分是搜索器（Searcher），即響應用戶(hù)的檢索請示，用戶(hù)輸入關(guān)鍵字后，搜索器要用這個(gè)檢索詞與建立的索引器匹配，匹配后做相關(guān)性排序，再將排序結果送給用戶(hù)。目前國內搜索引擎能夠檢索2000萬(wàn)個(gè)網(wǎng)頁(yè)，而國外能做到上億個(gè)，其差距主要是在蜘蛛軟件與搜索器上，因為能夠研發(fā)大容量與大訪(fǎng)問(wèn)量的系統與軟件的人才是相當稀少的。國內有些中文網(wǎng)站的網(wǎng)頁(yè)
搜索服務(wù)外包給一些服務(wù)器在境外的ASP，這也是查詢(xún)速度緩慢的原因之一。
搜索引擎服務(wù)在國內大有市場(chǎng)，高盛公司的資料表明，到2001年中文互聯(lián)網(wǎng)的網(wǎng)絡(luò )廣告收入將達到3.5億美元，而從美國的經(jīng)驗來(lái)看，在網(wǎng)絡(luò )發(fā)展的早期，
搜索可以占到50％以上的廣告收入。
百度（www.baidu.com）
百度是海外留學(xué)的學(xué)子們回國創(chuàng )辦的，總裁李彥宏就是Infoseek第二代搜索引擎的開(kāi)發(fā)者，他發(fā)明的
超鏈技術(shù)現在在搜索引擎技術(shù)開(kāi)發(fā)中廣泛地被使用。
百度搜索引擎已經(jīng)被多家網(wǎng)站使用，包括三大門(mén)戶(hù)中的新浪與搜狐，此外還有人氣極旺的ChinaRen、南方的21cn與廣州視窗等。百度搜索引擎的特點(diǎn)是：1智能化的中文語(yǔ)言處理技術(shù)大大提高了
搜索的準確性與查全率；2可擴展的
搜索技術(shù)保證最快最多地收集網(wǎng)絡(luò )信息，構建大規模索引庫；3高效的
搜索算法和本地服務(wù)器保證最快的響應速度，一個(gè)檢索的平均響應時(shí)間小于0.18秒；4支持動(dòng)態(tài)網(wǎng)頁(yè)的檢索，而一些搜索引擎負責
搜索網(wǎng)頁(yè)的Spider不檢索動(dòng)態(tài)網(wǎng)頁(yè)，因為怕被變化無(wú)窮的動(dòng)態(tài)系統黑洞吸進(jìn)去后出不來(lái)了。然而，隨著(zhù)應用CGI、PHP等的網(wǎng)站日益增多，網(wǎng)站使用動(dòng)態(tài)網(wǎng)頁(yè)生成工具是大趨勢。
