欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

重溫 Lucene

91 年底用 Lucene (Java) 做了 大富翁全文檢索。為了中文處理，制作了 ChineseTokenizer，ChineseFilter 和 ChineseAnalyzer 三個(gè)類(lèi)。

當網(wǎng)上有人把 Lucene 移植成 C# 版本的時(shí)候 (NLucene)，也試著(zhù)轉換那三個(gè)類(lèi)。發(fā)現了一些 Java 與 C# 的區別：

• In Java, Tokenizer uses Reader which returns -1 if nothing can be read. But in C#, Tokenizer uses TextReader which returns 0 in this case.

if (dataLen == -1) return Flush(); // Java
should be changed to
if (dataLen == 0) return Flush(); // C#

• In C#, the result of string.CompareTo relies on the Locale settings. It‘s better to use string.CompareOrdinal instead.

String.Compare(...) // Java

string.CompareOrdinal(...)  // C#

移植后 .NET 下的 Lucene 工作良好，最妙的地方是數據格式兼容。即用 Java Lucene 生成的索引，能被 C# 讀出來(lái)，反之亦然。

最近有機會(huì )把 大富翁全文檢索 搬到 ASP.NET 下，所以有拾起 Lucene。發(fā)現 NLucene 已經(jīng)停止了，取而代之的是 Lucene.NET。

Lucene.NET 發(fā)布了個(gè) NLS (語(yǔ)言處理包)，收錄了我的 ChineseAnalyzer。結果他們在移植過(guò)程中忽略了 Reader 返回 -1，0 的差別，會(huì )造成死循環(huán)。我已經(jīng)在 Lucene.NET 的Bug 和論壇中指出。希望不要被人罵。

感覺(jué) Lucene.NET 仍然是 Java Lucene 1.2 的核心，因為據說(shuō) 1.3 的 JavaCC 語(yǔ)法分析器包括了更多的 unicode 處理，能進(jìn)行中文分詞，不需要額外的輔助類(lèi)。但是 Lucene.NET 仍然需要我的 ChineseAnalyzer 包才能處理中文。

因此重新審查 ChineseAnalyzer，發(fā)現一個(gè)錯誤。

In file ChineseTokenizer.cs, around line 160.

case UnicodeCategory.OtherLetter:
if (length>0)
{
    bufferIndex--;
    return Flush();
}

should be :

case UnicodeCategory.OtherLetter:
if (length>0)
{
    bufferIndex--;
    offset --; // Add this
    return Flush();
}

這個(gè)錯誤不影響建索引和檢索，但是回影響到加亮顯示 (highligh)。這個(gè)問(wèn)題也已經(jīng)發(fā)到 Lucene.NET 的論壇。

ChineseAnalyzer 包到底干了些什么？這是一個(gè)中文分詞工具，是單字模式，把每個(gè)中文字作為一個(gè)詞  (Token)。那么檢索詞“中國”、“中共”、“人和”、“民國”是否會(huì )把“中華人民共和國”檢索出來(lái)呢？答案是：不會(huì )。原因是 Lucene 的 Query Parser 會(huì )把“中國”解析成兩個(gè)必須相連的 Token。非常精妙 (PhraseSlop=0 by default)。因此完全沒(méi)有必要象另外一個(gè) CJKAnalyzer，那樣把每?jì)蓚€(gè)字作為一個(gè)詞，既增加一倍的索引存儲空間，又復雜化分詞算法。這里是一個(gè)別人做的分析。實(shí)際用下來(lái)，我的單字模式分詞算法很快，索引存儲小，多快好省。

目前排序問(wèn)題仍然沒(méi)有好的解決辦法，不過(guò)看到不久就要出臺的 Lucene 1.4 會(huì )支持排序，那就先等等吧。