2006-08-10 13:34:17.08
駱衛華 劉群 張俊林
計世網(wǎng) 評估搜索引擎背后的信息檢索技術(shù)的先進(jìn)性，驗證互聯(lián)網(wǎng)環(huán)境下大規模數據的信息檢索技術(shù)的系統有效性，推動(dòng)檢索技術(shù)的進(jìn)步和成果轉化，這是信息檢索技術(shù)評測的主要目標。
互聯(lián)網(wǎng)蓬勃興起使人們擺脫了信息貧乏的桎梏，進(jìn)入了一個(gè)信息極度豐富的時(shí)代。比如，今天僅Google能索引到的網(wǎng)頁(yè)就超過(guò)80億個(gè)，圖片超過(guò)10億張。當信息的來(lái)源不再是問(wèn)題時(shí)，如何快捷準確地獲取感興趣的信息就成為人們關(guān)注的主要問(wèn)題。因此，以Web搜索引擎為代表的 Google、百度、Yahoo都取得了很大成功。然而，基于不同的信息檢索技術(shù)發(fā)展而來(lái)的搜索引擎系統，對于同一個(gè)用戶(hù)查詢(xún)其結果往往存在差異，由此產(chǎn)生了比較結果的需求。而基于主觀(guān)使用感受的評價(jià)既不客觀(guān)也不可靠，因此，必須提出一套客觀(guān)的評測體系，這種評測不受個(gè)別人主觀(guān)感覺(jué)的影響，并且所做出的評價(jià)在通常情況下都成立。這種評測研究的方法具有以下特點(diǎn)：明確的形式化研究任務(wù)、公開(kāi)的訓練與測試數據、公開(kāi)的評測比較。它使得研究之間的比較更加客觀(guān)，從而讓研究者認清各種技術(shù)的優(yōu)劣，起到正確引導研究發(fā)展方向的目的。
信息檢索技術(shù)的現狀
提及信息檢索，大家往往馬上會(huì )想起Google、Yahoo等搜索引擎公司?？梢哉f(shuō)，Web搜索引擎與大家的日常生活最為密切，在某種程度上成了信息檢索技術(shù)的代稱(chēng)。但作為實(shí)用化的系統，搜索引擎一般采用比較成熟的技術(shù)，并對穩定性、反映速度、界面等工程化問(wèn)題更為關(guān)注。因此，這些系統并不完全代表信息檢索技術(shù)的發(fā)展水平。
由于人們對于各種粒度的信息獲取的需求不斷增長(cháng)，國外的學(xué)術(shù)界和企業(yè)界對為此投入了相當大的力量進(jìn)行前瞻性研究，這方面比較有代表性的機構是馬薩諸塞大學(xué)、卡耐基梅隆大學(xué)、倫敦城市大學(xué)、
IBM、
微軟研究院、滑鐵盧大學(xué)等。
總的來(lái)看，早期以Okapi、Smart、查詢(xún)擴展、相關(guān)反饋為代表的內容分析技術(shù)，后來(lái)以Pagerank、HITS為代表的鏈接分析技術(shù)，以及近年來(lái)的語(yǔ)言模型，都曾在信息檢索發(fā)展過(guò)程中掀起研究熱潮，但近年來(lái)卻少有激動(dòng)人心的新技術(shù)出現。2005年，TREC在其總結報告指出現在“信息檢索性能已進(jìn)入平臺期”。這表明，用戶(hù)無(wú)關(guān)的傳統信息檢索技術(shù)已相對成熟。這些技術(shù)已經(jīng)被商用搜索引擎廣泛應用，并在一定程度上解決了用戶(hù)在粗粒度（文檔級）上的信息獲取需求。
從TREC來(lái)看，現在的任務(wù)設置向高精度、細粒度和大規模三個(gè)方向傾斜，比較有代表性的有高精度文檔檢索任務(wù)（HARD）、新信息檢測任務(wù)（Novelty）、問(wèn)答任務(wù)（QA）、TB級檢索（Terabyte）等。其中前三個(gè)任務(wù)要求返回的結果不再是簡(jiǎn)單的一篇篇文檔，而是信息片斷，而TB級檢索則是把測試集的規模提高到了TB級，其他不變。從評測結果來(lái)看，這些任務(wù)已經(jīng)取得了很大進(jìn)展。但相對于目前的技術(shù)而言，這些任務(wù)還是相當困難的，與實(shí)用還有一段距離。
總的來(lái)看，國外主流的Web檢索技術(shù)已比較成熟，無(wú)論從結果、性能還是穩定性來(lái)看，都能提供令人滿(mǎn)意的結果，并且已經(jīng)在人們的日常信息獲取中發(fā)揮作用。更高精度和更細粒度的檢索技術(shù)仍處于實(shí)驗室階段，但這方面的研究方興未艾。也許在不遠的將來(lái)，我們就能看到基于這些新技術(shù)的搜索引擎的出現。而推動(dòng)信息檢索技術(shù)的不斷進(jìn)步正是信息檢索評測索要達到的目標。
信息檢索評測
作為扶持科技發(fā)展的重要措施之一，863國家高技術(shù)研究發(fā)展計劃一直對國內的研究有著(zhù)重要影響。而規范化評測作為檢驗系統性能的可信機制，逐漸成為 863關(guān)注的重點(diǎn)之一。2003年，國家863計劃軟硬件主題設立了“中文信息處理和智能人機接口技術(shù)評測”專(zhuān)項課題，對包括機器翻譯、語(yǔ)音識別、信息檢索在內的中文信息處理關(guān)鍵技術(shù)進(jìn)行評測。信息檢索評測的目的并不僅僅定位為863課題驗收或資格認證，而是要了解國內在中文信息檢索技術(shù)領(lǐng)域的研究現狀，驗證互聯(lián)網(wǎng)環(huán)境下大規模數據的中文信息檢索技術(shù)的系統有效性，推動(dòng)技術(shù)進(jìn)步和成果的應用和轉化，成為這個(gè)領(lǐng)域技術(shù)評價(jià)和交流的平臺。
從2003年開(kāi)始，連續三屆信息檢索評測在任務(wù)設置和組織形式上有所不同，如表1所示：
時(shí)間 評測任務(wù) 評測形式 參加單位
2003.10.28 全文檢索 現場(chǎng)評測 北京語(yǔ)言大學(xué)語(yǔ)言信息處理研究所
復旦大學(xué)計算機科學(xué)與工程系
清華大學(xué)智能技術(shù)與系統國家重點(diǎn)實(shí)驗室
2004.10.19 文檔檢索 現場(chǎng)評測 北京語(yǔ)言文化大學(xué)
段落檢索 哈爾濱工業(yè)大學(xué)檢索組
哈爾濱工業(yè)大學(xué)語(yǔ)言組
南京大學(xué)
清華大學(xué)智能技術(shù)與系統實(shí)驗室
2005.9.20-9.22 相關(guān)網(wǎng)頁(yè)檢索 網(wǎng)上評測 北京大學(xué)計算機技術(shù)研究所
北京郵電大學(xué)模式識別實(shí)驗室
哈爾濱工業(yè)大學(xué)信息檢索研究室
清華大學(xué)智能技術(shù)與系統國家重點(diǎn)實(shí)驗室
中國科學(xué)院自動(dòng)化研究所
表1
2003年度評測只有一個(gè)子任務(wù)，即全文檢索核心技術(shù)評測，但測試在小規模和大規模兩種數據集上進(jìn)行，目的是更為全面地考察系統的性能。其中小規模數據評測主要側重于奧運領(lǐng)域文本的檢索。檢索題目
以及標準答案委托中科院軟件所人工完成，在精選的數千篇網(wǎng)頁(yè)上設計了20道檢索題目，其中體育類(lèi) 15道。大規模數據采用從國內9個(gè)網(wǎng)站采集的約100多萬(wàn)篇網(wǎng)頁(yè)作為評測數據，規模達到GB級。檢索題目由中科院計算所設計，共18道，選題領(lǐng)域廣泛，包括政治、經(jīng)濟、文化、體育等諸多方面。對大規模數據集，不可能全部通過(guò)人工方式制作出標準答案。因此，這里采用了一種稱(chēng)為Pooling的方法。該方法最早由Jones和Rijsbergen提出，并在TREC中得到廣泛應用和檢驗，其思想是：針對每個(gè)查詢(xún)主題，從參與評比的各系統所送回的測試結果中抽取出前若干篇文檔，合并形成一個(gè)文檔池（Pool），視之為該查詢(xún)主題可能的相關(guān)文檔候選集合，將集合中重復的文檔去除后，再送給該查詢(xún)集的構建者進(jìn)行相關(guān)判斷。
2004年度評測的任務(wù)變?yōu)閮身?，即文檔檢索和段落檢索。其中文檔檢索要求參評者對每個(gè)查詢(xún)條件返回以文檔為單位的檢索結果；而段落檢索要求參評者以段落為單位給出檢索結果，段落的具體定義和長(cháng)短可由參評者自由選擇。為了引導參賽單位研究更具實(shí)用性的技術(shù)，本次測試還增加了對檢索速度的評測。兩個(gè)任務(wù)的評測語(yǔ)料都是由北大天網(wǎng)提供的15GB的中文簡(jiǎn)體網(wǎng)頁(yè)。組織方在這些數據上擬定了30個(gè)查詢(xún)條件。由于參賽隊伍較少，2003年的評測中Pooling技術(shù)沒(méi)有有效發(fā)揮作用，因此本次評測集的答案采用Pooling和人工相結合的方法生成，即利用檢索工具以及段落查找輔助工具同時(shí)結合人工判斷形成了初步標準答案，在各隊提交了檢索結果后，又利用Pooling方法對初步標準答案進(jìn)行調整形成最終的標準答案。
隨著(zhù)參評單位來(lái)源的擴大以及測試集規模的增長(cháng)，以往把系統在測試現場(chǎng)安裝、運行并提交結果的模式面臨很多問(wèn)題。于是，借鑒國外著(zhù)名評測會(huì )議的經(jīng)驗，2005年的評測以網(wǎng)上測試代替現場(chǎng)測試。9月20日，組織方通過(guò)官方網(wǎng)站（www.863data.org.cn）發(fā)布測試數據，要求參評單位在22日之前提交運行結果。本屆信息檢索評測影響力迅速擴大，在組織過(guò)程中得到了中科院軟件所、北京大學(xué)、微軟亞洲研究院等單位的鼎力協(xié)助。本屆評測只安排了相關(guān)網(wǎng)頁(yè)檢索子任務(wù)，要求給定主題，返回測試集中與該主題相關(guān)的網(wǎng)頁(yè)并按相關(guān)度排序。參加評測的單位通過(guò)自動(dòng)方式和人工方式根據主題構造查詢(xún)。自動(dòng)方式是指在沒(méi)有任何人為因素的影響下根據主題構造查詢(xún)的方式，除此之外的方式均為人工方式。
本次評測的任務(wù)的難度比以往大大增加。首先，測試數據的規模達到了海量級，采用了北京大學(xué)計算機網(wǎng)絡(luò )與分布式系統實(shí)驗室提供的以中文為主的Web測試集 CWT100g，共571萬(wàn)個(gè)網(wǎng)頁(yè)，容量為90GB。其次，查詢(xún)條件的數量也大幅增加到50個(gè)。本屆評測的測試集構造、評測組織實(shí)施和結果分析，都更加規范科學(xué)。查詢(xún)條件盡量模擬用戶(hù)的真實(shí)信息需求。標題查詢(xún)域（title）盡量簡(jiǎn)短，一般為2~5個(gè)詞匯。描述查詢(xún)域(desc)一般為一到兩句自然語(yǔ)言語(yǔ)句。敘述查詢(xún)域 (narr)進(jìn)一步詳細描述用戶(hù)的信息需求。部分題目出題時(shí)參考目前互聯(lián)網(wǎng)搜索引擎統計出的比較熱門(mén)的用戶(hù)需求。題目涉及領(lǐng)域盡可能全面。包含政治、經(jīng)濟、文化、娛樂(lè )、體育等多個(gè)不同領(lǐng)域。題目整體難易程度適中，標準答案數目不太少也不過(guò)多，從而提高不同系統結果的區分度。此外，為了使參評單位的系統調整到最佳性能，組織方還提前發(fā)布訓練集、開(kāi)發(fā)集和檢索源數據。
評測結果分析
作為國內有較大影響的評測會(huì )議，863信息檢索評測基本上反映了中文信息檢索技術(shù)的發(fā)展水平。下面我們通過(guò)2005年度最新評測結果來(lái)分析國內的研究現狀。這次評測分為自動(dòng)和手工構造查詢(xún)條件兩組。評測結果如下表所示（由于863評測結果發(fā)布采用匿名方式，因此這里只給出最終結果而不顯示參賽單位名稱(chēng)）：
指標 System 1 System 2 System 3 System 4 System 5 MAP 0.2727 0.1862 0.3107 0.3175 0.2858 R-PRECISION 0.3320 0.2554 0.3672 0.3605 0.3293 P@10 0.5300 0.5180 0.6240 0.5540 0.6280 表1 信息檢索評測結果—自動(dòng)組
指標 System 1 System 2 System 3 System 4 System 5 MAP 0.3257 0.1705 0.3538 0.2673 0.3671 R-PRECISION 0.3826 0.2327 0.4078 0.3185 0.4140 P@10 0.5580 0.4640 0.6840 0.4800 0.7040 表2 信息檢索評測結果—手工組
從所有參評隊伍的整體檢索效果看，這次評測的結果與以往的評測結果相比，在各個(gè)指標都有了很大提高。這主要是因為研究者利用了鏈接分析技術(shù)、錨文本等相關(guān)評價(jià)因素來(lái)提高準確率，并針對評測采取有效的技術(shù)
手段來(lái)克服中文檢索中的某些難點(diǎn)，比如命名實(shí)體識別等。此外相關(guān)反饋或者重排序技術(shù)對于提高檢索效果也有一定的幫助。從檢索模型來(lái)說(shuō)，參評隊伍采用了向量空間模型、概率模型、語(yǔ)言模型等基本模型或者混合模型，同時(shí)利用了PageRank、鏈入分析等鏈接分析或者頁(yè)面分析技術(shù)來(lái)提高檢索效果。中文檢索相對英文等其他語(yǔ)種來(lái)說(shuō)，如何正確分詞對于檢索效果有所影響，尤其是命名實(shí)體、縮略語(yǔ)以及新詞等未登錄詞的正確識別對于某些查詢(xún)來(lái)說(shuō)影響較大?，F在的大部分檢索系統在索引以及查詢(xún)分析階段采用了命名體識別，從結果來(lái)看，取得了比較好的效果。
當前的中文檢索技術(shù)均基于國際主流的算法，在評測中成績(jì)較好的單位在TREC評測中也曾取得不錯的成績(jì)?？梢钥闯?，這些算法提供了基準級的性能，系統級的創(chuàng )新或改進(jìn)不多，不過(guò)現有系統都會(huì )針對中文的特點(diǎn)進(jìn)行改進(jìn)?？傮w上，如果用戶(hù)草擬的查詢(xún)條件能夠比較全面準確地表達用戶(hù)需求的話(huà)，現有的中文檢索技術(shù)一般能夠提供比較好的檢索結果，但是對于以下方面還存在著(zhù)一些問(wèn)題：
* 查詢(xún)條件與文檔詞匯內容失配；
* 部分命名體，新詞以及縮略語(yǔ)識別還存在著(zhù)一些問(wèn)題；
* 在計算相似度時(shí)，查詢(xún)詞匯權重的設定正確與否也在一定程度上影響檢索效果。
這些問(wèn)題的存在導致現有檢索系統性能下降，針對這些問(wèn)題，現有的檢索技術(shù)還有很大的改善空間來(lái)獲得比較滿(mǎn)意的檢索結果。
經(jīng)過(guò)眾多研究者的努力，規范化評測對信息檢索技術(shù)發(fā)展的重要作用已經(jīng)得到了廣泛認同。雖然和國外相比起步較晚，但短短幾年間，中文信息檢索的規范化評測從無(wú)到有，已經(jīng)取得了令人鼓舞的進(jìn)步。但是，總的來(lái)說(shuō)，國內仍處于學(xué)習國外的相關(guān)評測（尤其是TREC系列會(huì )議）的階段。
規范化評測與公正客觀(guān)這個(gè)終極目標還有一定的距離，而如何降低人為因素的影響仍是擺在評測組織者面前的一道難題。而國內的信息檢索評測無(wú)論是從數據規模還是從評測手段來(lái)看，與國際知名評測仍有較大差距，這是由我國目前的科研和應用的總體水平?jīng)Q定的。但差距的存在也表明提升的空間巨大，國內的相關(guān)研究者任重而道遠。
鏈接
1. Cranfield試驗
早期信息檢索技術(shù)評測最著(zhù)名的研究是由Cleverdon在1960年代所進(jìn)行的Cranfield試驗，它首開(kāi)規范化評測研究之先河，開(kāi)創(chuàng )了以測試集（Test Collection）配合測試標準（Measures）來(lái)評估系統的模式。所謂測試集，是一種在規范化環(huán)境中測試系統性能的機制，包括測試問(wèn)題（Queries）、測試文件集（Document Set）以及相關(guān)判斷（Relevance Assessment）三個(gè)部分。其研究設計的概念是假設在給定的查詢(xún)問(wèn)句與文件集中，某些文件是與查詢(xún)問(wèn)句相關(guān)的。系統的目的是檢索出相關(guān)的文件，并拒絕不相關(guān)的文件。Cranfield研究在評測技術(shù)的發(fā)展歷程上具有里程碑意義，很多思想和做法都成為后人評測的基石。然而，由于剛剛起步， Cranfield試驗還存在很多不足之處。早期所采用的測試集規模均不大，且大多數是使用同質(zhì)型較高的文件集（例如，Cranfield二期研究只包含 279個(gè)查詢(xún)問(wèn)句和1400個(gè)文件），因此它與真實(shí)的檢索環(huán)境之間存在著(zhù)很大差異?；谶@樣的測試集所發(fā)展出來(lái)的檢索系統，在實(shí)際應用中往往受到極大的限制，效果并不好。
2.文本檢索會(huì )議TREC
Cranfiled試驗之后的20多年間，也有研究機構做了類(lèi)似試驗，但都存在兩個(gè)根本缺陷：一是缺少在相同的測試數據上使用相同評測方法的跨系統公開(kāi)評測；二是缺少真實(shí)的大規模測試集。不過(guò)，要建構大型測試集必須耗費相當可觀(guān)的人力、物力，這對大多數單位來(lái)說(shuō)是不堪負荷的，因此大規模的測試集一直無(wú)法真正實(shí)施。
20世紀90年代，基于軍事和反恐情報處理的需要，美國國防部高級研究計劃署（DARPA）提出了TIPSTER文本處理計劃，文本檢索會(huì )議（Text REtrieval Conference，簡(jiǎn)稱(chēng)TREC）就是該計劃的重要組成部分。1992年，在美國國防部高級研究與開(kāi)發(fā)機構和DARPA的資助下，NIST召開(kāi)了第一屆TREC會(huì )議，以后每年舉辦一次，到2005年已舉辦了14屆。TREC的組織者認為，對不同系統的比較，其意義并不在于要證明某個(gè)系統優(yōu)于其他系統，而是要把更多不同的技術(shù)放在一起公開(kāi)討論，這對技術(shù)的發(fā)展有很大好處。于是，TREC自開(kāi)辦之初，就明確提出了四個(gè)目標：
1. 以大規模測試集為基礎，推動(dòng)信息檢索的研究；
2. 通過(guò)建立一個(gè)開(kāi)放式的論壇，使與會(huì )者交流研究成果與心得，以增進(jìn)學(xué)術(shù)界、產(chǎn)業(yè)界與政府的交流互通；
3. 通過(guò)對真實(shí)檢索環(huán)境的模擬與重要改進(jìn)，加速將實(shí)驗室研究技術(shù)轉化為商業(yè)產(chǎn)品；
4. 開(kāi)發(fā)適當且具有實(shí)用性的評價(jià)技術(shù)，供各界遵循采用。
TREC的評測機制基本沿襲Cranfield模式，但它的很多思想和做法也突破了傳統的限制。首先，TREC極力強調數據規模的重要性，并投入了大量人力、物力去構建大規模測試集和訓練集，第一屆就提供了2G的數據集；其次，TREC把復雜的單一目標分解為若干明確的測試項目（稱(chēng)為“Track”），其中很多項目都以模擬真實(shí)的使用環(huán)境為目標；第三，TREC非常重視不同的算法和系統設計者之間的交流，參賽單位除了要提交系統的運行結果之外，還可以參加研討會(huì )，與會(huì )者可以公開(kāi)系統的架構，評估結果并互相討論切磋。
TREC發(fā)展到現在，已經(jīng)成為備受矚目的標尺性測試，對信息檢索研究領(lǐng)域產(chǎn)生了巨大而深遠的影響。今天，在TREC評測中名列前茅的算法往往成為大家研究的重點(diǎn)，很多商用搜索引擎所采用的核心技術(shù)就是那些被TREC證明成功的算法發(fā)展而來(lái)的。TREC論壇成為研究人員互相交流學(xué)習的重要途徑，很多新的思想和方法正是從這里碰撞產(chǎn)生。TREC為新的熱點(diǎn)研究提供了急需的數據和評價(jià)體系，促進(jìn)了這些技術(shù)的快速發(fā)展。鑒于TREC的巨大成功，現在的眾多評測，甚至其他研究領(lǐng)域的評測，如跨語(yǔ)言檢索評測會(huì )議NTCIR、CLEF，機器翻譯評測TC-STAR等，都或多或少受到它的影響。
3. 信息檢索評價(jià)指標
信息檢索評測指標直接關(guān)系到參評系統的最終評價(jià)，指標不合理會(huì )導致對系統的評價(jià)也不合理，因此規范化的評測會(huì )議對于評價(jià)指標的選擇都是很慎重的。
早期常用的評測指標包括準確率（Precision）、召回率（Re
call）、F1值等，其意義如下：
召回率=系統檢索到的相關(guān)文件數/相關(guān)文件總數
準確率=系統檢索到的相關(guān)文件數/系統返回文件總數
顯而易見(jiàn)，召回率考察系統找全答案的能力，而準確率考察系統找準答案的能力，兩者相輔相成，從兩個(gè)不同側面較為全面地反映了系統性能。F1值是一個(gè)把準確率和召回率結合起來(lái)的指標?？紤]到某些情況下不同系統的準確率和召回率互有高低，不便于直接比較，而使用F1值就可以更直觀(guān)地對系統性能進(jìn)行排序。
隨著(zhù)測試集規模的擴大以及人們對評測結果理解的深入，更準確反映系統性能的新評價(jià)指標逐漸出現，包括：
（1） 平均準確率（Mean Average Precision，即MAP）：?jiǎn)蝹€(gè)主題的MAP是每篇相關(guān)文檔檢索出后的準確率的平均值。主題集合的MAP是每個(gè)主題的MAP的平均值。MAP是反映系統在全部相關(guān)文檔上性能的單值指標。
（2） R-Precision：?jiǎn)蝹€(gè)主題的R-Precision是檢索出R篇文檔時(shí)的準確率。其中R是測試集中與主題相關(guān)的文檔的數目。主題集合的R-Precision是每個(gè)主題的R-Precision的平均值。
（3） P@10：P@10是系統對于該主題返回的前10個(gè)結果的準確率?？紤]到用戶(hù)在查看搜索引擎結果時(shí)，往往希望在第一個(gè)頁(yè)面（通常為10個(gè)結果）就找到自己所需的信息，因此設置了這樣一個(gè)擬人化的指標，P@10常常能比較有效地反映系統在真實(shí)應用環(huán)境下所表現的性能。
（駱衛華、劉群工作單位為中國科學(xué)院計算技術(shù)研究所，張俊林工作單位為中國科學(xué)院軟件所）
