第三代搜索，作為對以Google為代表的第二代搜索范式的超越或者說(shuō)革新，時(shí)下正逼近一個(gè)重要的時(shí)間拐點(diǎn)。這股范式轉型潮流由多條支流組成，其中一個(gè)支流是包含本地化搜索、社區內容搜索、知識問(wèn)答社區等在內的社會(huì )化搜索，另一個(gè)支流則是人工智能、模式識別、語(yǔ)義分析、神經(jīng)網(wǎng)絡(luò )等智能搜索。
可以說(shuō)，就技術(shù)門(mén)檻而言，智能搜索代表了下一代搜索的主流趨勢。但鑒于基于神經(jīng)網(wǎng)絡(luò )、人工智能的搜索耗資巨大，目前還處在試驗階段，尚無(wú)一家成型的搜索引擎上線(xiàn)；至于全球搜索界窮20年之力埋首研發(fā)的自然語(yǔ)言分析或者語(yǔ)義分析，由于語(yǔ)言本身的復雜性，其結果及性能迄今還不能解決現實(shí)世界的問(wèn)題，也因此，迄今還沒(méi)有一家完全基于語(yǔ)義分析的搜索引擎獲得商業(yè)成功。
語(yǔ)義搜索的局限
完全采用語(yǔ)法和詞匯原則來(lái)理解文字信息的語(yǔ)義搜索的一大局限，是不能處理例如雙關(guān)語(yǔ)、多義詞等模糊信息。這是因為計算機本身缺乏理解能力，尤其是缺乏理解不確定性信息或模糊信息的能力，所以當計算機嘗試通過(guò)解析整段話(huà)來(lái)提取含義時(shí)，就會(huì )頗為棘手。一些高級的系統能夠建立一套使機器解決不確定性所遵循的原則。但是，其指令集極為煩雜而且難以維護，基本沒(méi)有可操作性。
與基于關(guān)鍵字的搜索方法一樣，語(yǔ)義搜索方法也不能確定思想的相對重要性。換句話(huà)說(shuō)，計算機會(huì )給一句話(huà)中的不同詞匯分配相同的重要性值，而這與自然語(yǔ)言的實(shí)際內涵可能大相徑庭。
固然，在最好的情況下，語(yǔ)義搜索方法可以處理少數簡(jiǎn)單的句子，但在采用包含大量概念的大型文件時(shí)，要從整段話(huà)、整篇文章中提取含義，其語(yǔ)言模式就只能望洋興嘆了。由于語(yǔ)義分析是基于真/假決策樹(shù)和規則結構進(jìn)行推理的，一個(gè)不正確的決策或者一個(gè)未知的查詢(xún)的出現，會(huì )導致整個(gè)分析全盤(pán)皆錯。
此外，語(yǔ)義分析都是基于特定語(yǔ)言及其語(yǔ)法結構的，這意味著(zhù)它在俚語(yǔ)或語(yǔ)法方面非常容易出錯。而且一旦有新單詞或者變更出現，則必須對系統進(jìn)行調整，從而保證系統能夠理解這些新單詞或變更，對系統進(jìn)行拓展是一項復雜的工程。通常，語(yǔ)義搜索引擎只能支持有限的一些語(yǔ)言，如果要增加一種新的比較難的語(yǔ)言，則會(huì )產(chǎn)生很多問(wèn)題。此前國內的問(wèn)一問(wèn)、21ilink、悠游等基于自然語(yǔ)言處理的搜索引擎之所以曇花一現，然后即迅速地被甚囂塵上的第二代關(guān)鍵詞搜索所淹沒(méi)，與此有關(guān)。
另一種方法
與完全基于語(yǔ)法結構分析的語(yǔ)義搜索不同，以Autonomy為代表的核心概念匹配技術(shù)并不單純依賴(lài)于一種語(yǔ)言的語(yǔ)法結構，而是把文字當作語(yǔ)意的抽象符號或者另一種“類(lèi)型”的信息，采用可預測的統計詞方式表示概念和功能，并通過(guò)有意義的概念詞出現的上下文環(huán)境（而不是通過(guò)嚴格的語(yǔ)法定義）來(lái)形成對該概念詞的理解，以此確定文檔中每個(gè)主題的相關(guān)性及重要性。由于其系統由所輸入的實(shí)際數據驅動(dòng)，而不是由與內容無(wú)關(guān)的輔助規則所驅動(dòng)，所以，Autonomy的系統可以支持基于俚語(yǔ)、行業(yè)術(shù)語(yǔ)、自然語(yǔ)言的檢索。
因為同樣的原因，Autonomy還能夠不受語(yǔ)言語(yǔ)種限制（支持超過(guò)80種語(yǔ)言），支持任意信息片斷的檢索，只要該語(yǔ)言的信息足夠多，就可以讓系統形成對該語(yǔ)言的理解。例如將一句話(huà)、一段或者整頁(yè)文本作為輸入的搜索條件，由此可返回與搜索條件概念相關(guān)的結果，這些結果可按照概念相關(guān)性或文檔上下文關(guān)聯(lián)排序。Autonomy 的技術(shù)甚至能自動(dòng)檢測輸入文檔的語(yǔ)言并改變相應配置以自動(dòng)處理每一種語(yǔ)言。
Autonomy的技術(shù)內核，是一個(gè)被稱(chēng)為IDOL的智能信息處理層。IDOL由動(dòng)態(tài)推理引擎 (DRE)、分類(lèi)服務(wù)器、用戶(hù)服務(wù)器等模塊組成，DRE 可實(shí)現概念識別、自動(dòng)摘要、有效識別、自動(dòng)超鏈接、自然語(yǔ)言檢索等核心操作，分類(lèi)服務(wù)器可實(shí)現自動(dòng)聚類(lèi)、自動(dòng)分類(lèi)、自動(dòng)目錄生成等功能操作，用戶(hù)服務(wù)器則可以實(shí)現個(gè)人化信息創(chuàng )建、個(gè)性化信息提示、個(gè)性化信息訓練、專(zhuān)家定位等個(gè)性化操作。
可以說(shuō)， IDOL提供了一個(gè)對語(yǔ)言模式進(jìn)行文字分析、進(jìn)而推斷出有序概念的智能內核。正是以此為基礎，Autonomy才能夠發(fā)展出一整套基于“模式匹配”的功能應用，比如二維島圖、二維趨勢圖、三維立體圖等圖形化結果，比如自動(dòng)建檔、社區及協(xié)作、專(zhuān)家搜索、信息推送等行業(yè)應用，比如電子通訊和管理技術(shù)的安全監控、訴訟及風(fēng)險管理自動(dòng)化的Aungate，比如下一代呼叫中心技術(shù)Qfiniti（現在是Autonomy etalk部門(mén)的一部分），比如視頻關(guān)鍵幀識別技術(shù)和語(yǔ)音識別技術(shù)，如此等等。而這些Autonomy早在上世紀90年代末即已研發(fā)成熟并投入使用的搜索應用，正是眼下第三代搜索潮流中最被看好的主流應用。
聯(lián)系客服
