1. 面臨的問(wèn)題
搜索引擎已經(jīng)是互聯(lián)網(wǎng)上一個(gè)非常成熟的應用產(chǎn)品了，但是長(cháng)期以來(lái)，中文用戶(hù)對于搜索引擎的表現，卻不盡如人意。在國外做的一次搜索引擎用戶(hù)滿(mǎn)意度調查中，發(fā)現英文搜索用戶(hù)的滿(mǎn)意程度大致在70%，但是在國內做的搜索引擎用戶(hù)滿(mǎn)意度調查中，用戶(hù)滿(mǎn)意度卻只有大概40%。
這里面其實(shí)有一個(gè)很大的原因就在于頁(yè)面的收錄量，因為比如像Google這樣的英文搜索引擎，它檢索了大概200億的英文搜索頁(yè)面，可以評估英文的互聯(lián)網(wǎng)網(wǎng)頁(yè)的數量大概在300億左右，這時(shí)可以看到Google已經(jīng)覆蓋了英文網(wǎng)頁(yè)數據量的60%到70%，在這個(gè)前提條件下，它能做到的用戶(hù)滿(mǎn)意度也能達到60%到70%。
對于中文網(wǎng)頁(yè)，現在各大中文搜索引擎，包括現在的搜狗、百度和Google，其頁(yè)面收錄量都在40億到50億之間。而互聯(lián)網(wǎng)上中文網(wǎng)頁(yè)有效數量大致在100到150億之間，可以看到目前市場(chǎng)上各家搜索引擎對于中文數據的收錄量遠比英文數據的收錄量低很多，導致了用戶(hù)想要的信息找不到，這也就是中文搜索引擎的用戶(hù)滿(mǎn)意度要比英文的低很多的一個(gè)主要原因。
此外，由于Web2.0概念的普及，博客、論壇、社區、圈子等應用的涌現，互聯(lián)網(wǎng)上越來(lái)越多的用戶(hù)從信息的獲取者變成了信息的發(fā)布者。經(jīng)評估，目前互聯(lián)網(wǎng)上網(wǎng)頁(yè)數量每天新增1%，更新10%，而目前中文搜索引擎市場(chǎng)上沒(méi)有產(chǎn)品能夠支持每天上億網(wǎng)頁(yè)的數據更新，導致用戶(hù)認為搜索引擎只能找到非常陳舊的信息，加劇了用戶(hù)對于中文搜索引擎的不滿(mǎn)意程度。
同時(shí)，面對如此巨大的網(wǎng)頁(yè)收錄量，很多關(guān)鍵字在搜索的時(shí)候，命中的結果都在百萬(wàn)千萬(wàn)數量級，大量的重復結果、作弊結果、無(wú)關(guān)結果，已經(jīng)不可能再靠人眼一目十行的掃描來(lái)濾除。艾瑞市場(chǎng)咨詢(xún)根據來(lái)自Keynote的數據顯示，中國搜索引擎用戶(hù)不滿(mǎn)意的因素中，有50%的用戶(hù)對搜索結果重復表示不滿(mǎn)。同時(shí)，搜索結果排序欠佳、搜索結果太雜亂、搜索結果不合時(shí)宜的比例分別為43%、37%和36%。前十條搜索結果的不精準，成為了用戶(hù)不滿(mǎn)意中文搜索引擎的又一座大山。
2. 解決方法
為了解決廣大中文網(wǎng)民面對的數據量大、更新慢、結果不精準這三大問(wèn)題，搜狗將于2007年1月1日推出網(wǎng)頁(yè)搜索3.0的版本。該版本的特點(diǎn)是：海量全、及時(shí)新、精準。
2.1. 海量全——收錄百億網(wǎng)頁(yè)
歷史上，搜狗就一直重視數據量的積累。但是由于搜狗起步較晚，因此在2004年的8月發(fā)布的時(shí)候，數據量實(shí)際上非常小，大概只有有2億，以致當時(shí)剛剛用搜狗搜索引擎的用戶(hù)普遍反映在搜狗上有很多內容查不出來(lái)。但是，一直致力于后臺技術(shù)研發(fā)和數據積累的搜狗，只用了兩年時(shí)間，在2006年8月份的時(shí)候，就成功支持了50億中文網(wǎng)頁(yè)的查詢(xún)，成為了全球首個(gè)中文網(wǎng)頁(yè)收錄量達到50億的搜索引擎。
我們知道，每一次數據量的大幅提升，都需要后臺技術(shù)對于抓取、頁(yè)面分析、濾重、索引、排序、反垃圾等一系列的功能模塊進(jìn)行全方位的升級，以支持更大的容量；因此，數據量的大小，從一定程度上反映了搜索引擎研發(fā)團隊的技術(shù)實(shí)力。在2007年1月1日搜狗3.0發(fā)布的時(shí)候，搜狗更是將數據量拓展到了100億，自主研發(fā)的超流水線(xiàn)并行抓取技術(shù)自主研發(fā)的并行協(xié)同抓取技術(shù)，進(jìn)一步拉開(kāi)了與競爭對手的差距。值得一提的是，由于采用了自行開(kāi)發(fā)的文件系統和數據庫，搜狗大幅提升了服務(wù)器利用率，用遠少于競爭對手的投入，就達到了收錄百億網(wǎng)頁(yè)目標。
搜狗對于數據量的積累，實(shí)際上是按照指數級的速度在增長(cháng)的。而大家對互聯(lián)網(wǎng)的一個(gè)普遍認識：中文互聯(lián)網(wǎng)的網(wǎng)頁(yè)數量也是按照指數級的方式在增長(cháng)的。因此可以非常有信心地說(shuō)搜狗的增長(cháng)是能夠跟上中文互聯(lián)速度增長(cháng)或者說(shuō)爆炸速度的。
2.2. 及時(shí)新——每天更新五億網(wǎng)頁(yè)
我們知道，互聯(lián)網(wǎng)上不同網(wǎng)頁(yè)之間的更新速度差異是巨大的。比如新聞網(wǎng)站，每天都會(huì )有大量新內容的產(chǎn)生；而一個(gè)顯示圓周率的網(wǎng)站，可能三年都不會(huì )更新一次。因此，在抓取速度上，搜狗通過(guò)智能分析技術(shù)，對于不同網(wǎng)站、網(wǎng)頁(yè)采取了差異化的抓取策略，充分地利用了帶寬資源來(lái)抓取高時(shí)效性信息，確?；ヂ?lián)網(wǎng)上的最新資訊能夠在第一時(shí)間被用戶(hù)檢索到。
此外，依托于搜狐內容頻道這一中國最領(lǐng)先的，覆蓋了幾乎所有國內外重要新聞的新媒體資訊平臺，搜狗能直接獲取到最新的高質(zhì)量新聞內容，在很大程度上保證了搜狗對于及時(shí)性超快的響應，成為搜狗網(wǎng)頁(yè)搜索獨一無(wú)二的優(yōu)勢。
在網(wǎng)頁(yè)搜索3.0平臺上，每天搜狗的服務(wù)器集群并行更新超過(guò)五億的網(wǎng)頁(yè)。在強大的更新能力下，用戶(hù)不必再到專(zhuān)門(mén)的新聞搜索引擎上，就能獲得最新的資訊。
為了滿(mǎn)足對及時(shí)性要求極高的用戶(hù)的需求，搜狗還特意提供了按時(shí)間排序的功能，使得搜狗網(wǎng)頁(yè)搜索3.0強大的網(wǎng)頁(yè)更新能力，能夠幫助用戶(hù)更快地找到想要的信息。
2.3. 精準——評測指標業(yè)內領(lǐng)先
眾所周知，Google較之于第一代搜索引擎（如Yahoo! Directory）在搜索結果的準確性上有大幅提高，很大程度上得益于它名為“Page Rank”的網(wǎng)頁(yè)排名算法。在互聯(lián)網(wǎng)上，如果一個(gè)網(wǎng)頁(yè)被很多其它網(wǎng)頁(yè)所鏈接，說(shuō)明它受到普遍的承認和信賴(lài)，那么它的排名就應當高。這就是 Page Rank 的核心思想。但是，由于Google對于中文互聯(lián)網(wǎng)的收錄量不足，因此對于鏈接關(guān)系的考量不夠全面，導致其中文搜索效果不如英文。
搜狗在搜索結果的排名上采用了被業(yè)界廣泛認可的搜狗網(wǎng)頁(yè)評級體系。網(wǎng)頁(yè)評級是搜狗衡量網(wǎng)頁(yè)重要性的指標，不僅考察了網(wǎng)頁(yè)之間鏈接關(guān)系，同時(shí)考察了鏈接質(zhì)量、鏈接之間的相關(guān)性等特性，是機器根據Sogou Rank算法自動(dòng)計算出來(lái)的，值從0至100不等。網(wǎng)頁(yè)評級越高，該網(wǎng)頁(yè)在搜索中越容易被檢索到。
搜狗網(wǎng)頁(yè)評級依托搜狗百億中文網(wǎng)頁(yè)的儲備，分析最全的中文互聯(lián)網(wǎng)鏈接庫，確保評級的客觀(guān)公正。由于有了網(wǎng)頁(yè)評級體系的保證，搜狗的搜索結果能夠做到更加精準。
在學(xué)術(shù)界，網(wǎng)頁(yè)搜索的查詢(xún)被分為導航型和信息事務(wù)型兩類(lèi)。導航型是指用戶(hù)輸入“搜狐”、“搜狗”、“ChinaRen”等關(guān)鍵字的查詢(xún)，他們預期在第一條結果得到準確的站點(diǎn)結果。信息事務(wù)型是指用戶(hù)輸入“綠茶”、“張靚穎”等關(guān)鍵字的查詢(xún)，他們預期找到包含該關(guān)鍵字的各種網(wǎng)頁(yè)，從中獲取有用信息。經(jīng)過(guò)人工對于隨機選取的上千個(gè)查詢(xún)詞進(jìn)行測試，搜狗在導航型和信息事務(wù)型查詢(xún)的表現，分別達到了94%和67%的準確度，處于業(yè)內領(lǐng)先水平。
另外一方面，用戶(hù)對于搜索結果的點(diǎn)擊，代表了用戶(hù)對搜索結果的認可。數據分析表明，用戶(hù)每次搜索后，點(diǎn)擊結果的次數越多，說(shuō)明搜索結果越精準。搜狗從用戶(hù)體驗出發(fā)，將結果點(diǎn)擊次數與搜索次數的比率，即點(diǎn)擊通過(guò)率，作為評估搜索結果精準性的重要指標，進(jìn)行優(yōu)化，確保我們的算法滿(mǎn)足用戶(hù)對于“精準”的理解。
3. 效果
通過(guò)搜狗網(wǎng)頁(yè)搜索3.0在海量在全、及時(shí)新、精準三方面的努力，搜狗網(wǎng)頁(yè)搜索的效果得到了大幅提升，有效解決了中文搜索用戶(hù)面臨的三大困擾。
在海量方面，由于數據量大，保證了有價(jià)值的信息能被找到。比如搜索“中國站長(cháng)大會(huì )”，搜狗的結果相對于百度的結果，明顯能看見(jiàn)數據量大所產(chǎn)生的優(yōu)勢。
在及時(shí)性方面，搜狗在多次互聯(lián)網(wǎng)熱點(diǎn)事件后，均在第一時(shí)間內搜索到了大量相關(guān)結果，滿(mǎn)足了網(wǎng)友對于新信息的獲取。經(jīng)過(guò)測試，互聯(lián)網(wǎng)上的熱點(diǎn)新聞，搜狗3.0僅需1分鐘時(shí)間就能完成從抓取到頁(yè)面分析到建立索引到上線(xiàn)的全部過(guò)程。在這樣的速度下，每天搜狗的服務(wù)器集群并行更新了上億的網(wǎng)頁(yè)。在強大的更新能力下，用戶(hù)不必再到專(zhuān)門(mén)的新聞搜索引擎上，就能獲得最新的資訊。
在精準方面，用戶(hù)對于搜索結果的點(diǎn)擊，代表了用戶(hù)對搜索結果的認可。數據分析表明，用戶(hù)每次搜索后，點(diǎn)擊結果的次數越多，說(shuō)明搜索結果越精準。搜狗從用戶(hù)體驗出發(fā)，將結果點(diǎn)擊次數與搜索次數的比率，即點(diǎn)擊通過(guò)率，作為評估搜索結果精準性的重要指標，進(jìn)行優(yōu)化，確保我們的算法滿(mǎn)足用戶(hù)對于“精準”的理解。搜狗在3.0版本上線(xiàn)后，網(wǎng)頁(yè)搜索的點(diǎn)擊通過(guò)率提升了10%。從數據統計上，證明了網(wǎng)頁(yè)搜索3.0的強大能力。
