1 引言
中文自動(dòng)分詞是中文信息處理的基礎研究?jì)热葜?，其中面臨的兩大難題便是切分歧義和未登錄詞問(wèn)題。在今后一段時(shí)間里，對切分歧義的相關(guān)研究包括：基于Web和專(zhuān)業(yè)領(lǐng)域核心詞表的分詞歧義窮盡式調研，非受限的通用分詞歧義表構造、各領(lǐng)域的常用分詞歧義表構造等。其中，交集型歧義切分字段又占全部歧義切分字段的絕大多數[1]。對交集型歧義切分的研究主要集中于各種消歧算法的設計上，目前已有的方法主要是基于各種統計和規則進(jìn)行的[2]，如基于詞概率[3]、詞的Bi-Gram模型[4]、Bayes分類(lèi)器[5]等方法。同時(shí)，研究者還將消歧算法用于構建消歧實(shí)例庫，在自動(dòng)分詞時(shí)調用切分實(shí)例或規則進(jìn)行中文的分詞[1][5]。這些方法對提高中文信息檢索的質(zhì)量起到一定的提升作用。
本文將說(shuō)明在信息檢索中存在的一種特殊的準交集型歧義切分現象，即，詞語(yǔ)排除關(guān)系現象，給出了排除詞的定義與排除詞在信息檢索中的作用。筆者指出排除詞實(shí)質(zhì)上是最大準交集型歧義切分字段的偽歧義切分所導致的，然后描述了排除詞的識別方法、排除詞詞庫的建立方法和步驟，最后在實(shí)際的信息檢索平臺上進(jìn)行了排除詞詞庫的應用測評。
2 排除詞及其在信息檢索中的作用
2.1 幾個(gè)相關(guān)概念
先給出幾個(gè)相關(guān)的說(shuō)明如下：
Ω: 中文字符串集合；
S : 中文字符串，S=c1c2，…，cn，即SÎΩ；
Ψ : 分詞詞典，用于中文分詞；
T : 已分詞的訓練語(yǔ)料。
下面給出與交集型切分歧義相關(guān)的基本基本定義。
定義1：交集型歧義切分字段。對于字符串S，S=c1c2，…，cn，SÎΩ，S=c1c2，…，cn為漢字，如果存在整數I1,i2,…,im，j1,j2,…,jm,滿(mǎn)足：
(1) SÏΨ；
(2) W1=CI1…Cj1,W2=CI2…CJ2, WM=CIM…CJM，且w1、w2、…、wmÎΨ，且 中不存在包含w1、w2、…、wm的詞；
(3) w1、w2、…、wm構成相互交叉，即：
1=i1<><><><><><><><><><><><><><θ，因此，“市 府”為市政府”在t上的偽交集型歧義切分形式。識別出偽交集型歧義切分形式后，分詞系統就可以采用查表的方式直接確定分詞形式,而不再參與后續的分詞處理過(guò)程[6]，即歧義消解通過(guò)直接查表即可實(shí)現[7]。="" 定義3：準交集型歧義切分字段。對于交集型歧義切分字段s，若s為復合詞，且s可加入到詞表Ψ，此時(shí)，s將不再是嚴格定義下的交集型歧義切分字段。則將s稱(chēng)為準交集型歧義切分字段（quasi="" overlapping="" ambiguity="" string，qoas）。="" 例如，“人民法院”開(kāi)始不在詞表Ψ中，其中“人民”、“民法”、“法院”均為詞，并構成交叉，因此“人民法院”是一個(gè)交集型歧義切分字段。但“人民法院”為復合詞，可將“人民法院”加入詞表Ψ中，此時(shí)，“人民法院”不再是交集型歧義切分字段，而是準交集型歧義切分字段。顯然，若將“人民法院”從詞表Ψ中刪除，則“人民法院”又成為交集型歧義切分字段。="" 定義4：排除詞。對于給定的準交集型歧義切分字段s，存在偽交集型歧義切分形式，即c1/…/="" wi/…/cn，則稱(chēng)wi與s構成排除關(guān)系，即wi與s互稱(chēng)排除詞（mutually="" exclusive="" words，mew）。例如“電腦科學(xué)”為準交集型歧義切分字段，存在偽交集型歧義切分形式“電/腦科/學(xué)”，因此“腦科”與“電腦科學(xué)”構成排除關(guān)系，即，“腦科”為“電腦科學(xué)”的排除詞。同理，“民法”為“人民法院”的排除詞。="" 2.2="" 排除詞在信息檢索中的作用="" （1）="" 全文索引時(shí)降低索引膨脹率="" 當全文檢索系統后臺采用的是詞索引時(shí)，通常情況下，系統會(huì )對詞語(yǔ)所有出現的位置進(jìn)行索引，例如，對“動(dòng)機”建立詞索引時(shí)，會(huì )將“電動(dòng)機”、“永動(dòng)機”等關(guān)鍵詞的文檔列入到索引中，這樣以來(lái)，當用戶(hù)檢索“動(dòng)機”時(shí)，自然返回結果中會(huì )包含“電動(dòng)機”、“永動(dòng)機”等不相關(guān)的文檔。若事先建立排除詞詞典，在對排除詞建立索引時(shí)，考慮類(lèi)似“動(dòng)機”與“電動(dòng)機、永動(dòng)機”等排除關(guān)系，即在該排除詞詞典的干預下，可以過(guò)濾這種語(yǔ)義不相符的索引,降低了索引膨脹率。="" 另外，在進(jìn)行詞索引時(shí)，若進(jìn)行自動(dòng)分詞，借助于排除詞詞典，可加快分詞質(zhì)量和速度,這是基于記憶的偽交集型歧義切分處理過(guò)程[7]。="" （2）="" 信息檢索中的縮檢作用="" 利用排除詞詞典可以排除與查詢(xún)式不相關(guān)的結果，如：檢索“腦科”，排除包含“電腦科學(xué)”的結果，檢索“個(gè)性化學(xué)習”，排除包含“化學(xué)”的結果，這樣起到縮檢作用，并提高檢準率。="" （3）="" 信息檢索中的擴檢作用="" 當信息檢索系統返回給用戶(hù)的結果過(guò)少，有些系統會(huì )對查詢(xún)式進(jìn)行解析，重新進(jìn)行檢索。例如，用戶(hù)將“基本體操”作為檢索詞進(jìn)行文檔檢索時(shí)返回結果很少，若用戶(hù)希望得到更多相關(guān)結果，此時(shí)，一般的全文檢索系統會(huì )對檢索詞進(jìn)行字面折分，如將“基本體操”拆分為：“基本、本體、體操”作為新的查詢(xún)式重新進(jìn)行查詢(xún)，返回包含有“基本”、“本體”或“體操”的文檔。實(shí)際上，含有“本體”的文檔和用戶(hù)的實(shí)際需求是不符合的。在排除詞詞典的控制下，則可避免這種語(yǔ)義不相符的情況發(fā)生。="" 3="" 排除詞識別方法="" 3.1="" 最大準交集型歧義切分字段識別="" 前面提到，只有當s被認定為復合詞時(shí)，交集型歧義切分字段s與wi才有可能構成排除關(guān)系。在沒(méi)有上下文約束的情況下，復合詞s的正確切分形式不包括切分為“c1/…/="" wi/…/cn”的情形，例如“發(fā)展中國家”可以切分為“發(fā)展中/國家”，“發(fā)展中”對“國家”起限定作用，但不可切分為“發(fā)展/中國/家”。在有上下文約束的情況下，復合詞s有可能與周?chē)淖址俅伟l(fā)生新的交叉關(guān)系。例如，句子“這反映了我國的ｒ＆ｄ活動(dòng)在發(fā)展中國家居中等水平”，其中“發(fā)展中國家”與后續字符“居”、“中”、“等”再次交叉，構成交集型歧義，即，“發(fā)展中國家居中等”也是交集型歧義切分字段，其正確切分形式為“發(fā)展中國家/居/中等”。而在句子“致力于把個(gè)性化高品質(zhì)的設計和一流的工業(yè)體系配套有效結合來(lái)發(fā)展中國家居產(chǎn)業(yè)。”中，“發(fā)展中國家居”為交集型歧義切分字段，其正確切分形式為“發(fā)展/中國/家居”。="" 由此可以看出，在有上下文約束下，即真實(shí)文本中，只有當包含準交集型歧義切分字段s的句子能切分出復合詞s時(shí)，才能進(jìn)一步進(jìn)行排除詞的識別。若該準交集型歧義切分字段與周?chē)址l(fā)生交叉，即成為交集型歧義切分字段，則需要進(jìn)行歧義消解處理。若該準交集型歧義切分字段s不再與任何字發(fā)生新的交叉關(guān)系，則稱(chēng)該準交集型歧義切分字段為最大準交集型歧義切分字段，筆者借用最大交集型歧義切分字段的定義（maximal="" overlapping="" ambiguity="" string，moas）[1]，給出準交集型歧義切分字段的具體定義如下。="" 定義5：最大準交集型歧義切分字段。設="" 為準交集型歧義切分字段，滿(mǎn)足：="" （1）="" s="" max=""><><>
本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請
點(diǎn)擊舉報。
