首先要區分搜索引擎和搜索的區別，更多的時(shí)候我們在需要的僅僅是對數據庫的搜索。而搜索引擎則是個(gè)相對獨立的系統，他提供的是一個(gè)相對完整的服務(wù)。
作為一個(gè)商業(yè)級別的搜索引擎，一般需要以下技術(shù)：
1. 全文檢索引擎
在全文信息中按一定的組合費率檢索用戶(hù)輸入的關(guān)鍵詞，并按照相關(guān)度提供返回索引序號，以便于頁(yè)面程序獲取數據進(jìn)行分頁(yè)顯示。作為一個(gè)專(zhuān)業(yè)搜索引擎，對于全文檢索引擎的要求比較苛刻。首先，必須在1秒以?xún)确祷厮阉鹘Y果(非頁(yè)面顯示時(shí)間)。其次，確保前100條數據最符合用戶(hù)需求。因為搜索引擎是個(gè)并發(fā)率和負載非常高的系統，所以每個(gè)搜索任務(wù)的效率就顯得非常關(guān)鍵。而根據用戶(hù)的習慣，一般很少有人會(huì )翻頁(yè)到第5頁(yè)以后，因此前100條結果對于搜索引擎的質(zhì)量顯得尤為重要。
目前開(kāi)源全文檢索引擎方面做得最好的應該是 Lucene 了。
2. 中文分詞技術(shù)
由于中文并不具備英文與生俱來(lái)的分詞優(yōu)勢，因此在中文搜索引擎中中文分詞是一個(gè)非常關(guān)鍵的技術(shù)。一般情況下，全文檢索引擎為提高效率，會(huì )將中文信息采取單字索引的方式存儲，以減小索引庫大小，并提高索引效率。而其內置的檢索算法并不能完全適合中文搜索。我們可以使用“IBM筆記本電腦硬盤(pán)”這樣一個(gè)關(guān)鍵詞去一些搜索引擎測試，會(huì )發(fā)現沒(méi)有內置中文分詞的搜索引擎檢索結果都不理想，甚至沒(méi)有返回結果。一旦內置中文分詞，我們就可以將其拆解為“IBM 筆記本 電腦 硬盤(pán)”，如此一來(lái)就可以通過(guò)“或”的關(guān)系最大程度獲取最接近的檢索結果。一個(gè)理想的中文分詞技術(shù)，并不完全是以分詞準確性為指標的。因為搜索引擎所需要的分詞畢竟和專(zhuān)業(yè)級別的那些用來(lái)進(jìn)行機器翻譯或者人工智能不同，它所面對的是相對較小的分詞語(yǔ)句，因此需要在準確性和性能上達到一個(gè)平衡。
3. 信息采集爬蟲(chóng)
作為信息采集手段，爬蟲(chóng)的效率尤為重要。一般情況下，多個(gè)爬蟲(chóng)會(huì )采取軍團方式進(jìn)行協(xié)作，他們會(huì )沿著(zhù)一個(gè)路徑進(jìn)行下去，將獲取的有效數據分揀解析，最后提交給系統進(jìn)行索引存儲。因為實(shí)現技術(shù)各有不同，再次不做細說(shuō)。只是其中有些關(guān)鍵的地方在此羅列一下：
. 爬蟲(chóng)應該有自己唯一且固定的名字，方便目標網(wǎng)站進(jìn)行流量統計和分析。
. 爬蟲(chóng)必須遵循一定的準則，國際慣例是在網(wǎng)站根目錄下放至 robots.txt 文件用來(lái)指示爬蟲(chóng)的動(dòng)作。
. 嚴格檢查循環(huán)路徑和爬蟲(chóng)陷阱，避免造成目標網(wǎng)站癱瘓。
. 限制爬蟲(chóng)采集時(shí)間，避開(kāi)目標網(wǎng)站的運營(yíng)高峰時(shí)間。
本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請
點(diǎn)擊舉報。
