欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

如何在lucene中使用中文自動(dòng)分詞技術(shù)- -

前段時(shí)間我試著(zhù)在lucene中使用了自動(dòng)分詞技術(shù)，有不少朋友都很感興趣。大致方法就是生成自動(dòng)分詞的dll，然后在java中用jni調用。前幾天我整理一下，做了一個(gè)方便使用的jar包，并寫(xiě)了一個(gè)演示的例子和一篇說(shuō)明文檔，以上資料和dll文件還有java源程序可以到我們的網(wǎng)站-新聞收割機下載http://www.newsreaper.info/download/AutoSplit.rar

在使用dll的前提下，在lucene中使用自動(dòng)分詞的方法如下：
建索引時(shí)：
1)先調用SplitCaller將要處理的內容進(jìn)行分詞處理。示例代碼如下：(下面的代碼是對RSS文檔進(jìn)行建索引操作）
---RSSDocument.java-------
import com.blogever.RssReader.SplitCaller;
...
...
public static Document makeDocument(ItemIF item) {
    Document doc = new Document();
    //現在加了自動(dòng)分詞功能
    doc.add(Field.Text(TITLE, SplitCaller.splits("將標題進(jìn)行分詞")));
    doc.add(Field.Text(CONTENT,SplitCaller.splits("將內容進(jìn)行分詞")));
   
    //下面的內容沒(méi)有分詞
    doc.add(new Field("uid", uid(item), false, true, false));
  
   
    return doc;
  }
...

2)使用Analyzer時(shí)注意要使用 WhitespaceAnalyzer 分析器，因為自動(dòng)分詞程序已經(jīng)將文檔進(jìn)行了分詞，并用空格

空開(kāi)，此時(shí)只要按空格進(jìn)行解析就行了。如：“將標題進(jìn)行分詞”已經(jīng)分成“將 標題 進(jìn)行 分詞”。
-----ChannelIndexer.java------
   ...
   import org.apache.lucene.analysis.WhitespaceAnalyzer;
   ...
   //其他代碼
   ...
   Analyzer analyzer = new WhitespaceAnalyzer();
   ...

   public void indexItems(boolean createNewIndex, Collection items) throws java.io.IOException
   {
     ArrayList al = (ArrayList) items;
     Collections.sort(al, new ItemComparator());
     writer = new IndexWriter(indexDir, analyzer, createNewIndex);
     writer.maxFieldLength = 1000000;
     ...
     //其他代碼
     ...
     writer.addDocument(RssDocument.makeDocument(item));
     ...
     writer.optimize();
     nrOfIndexedItems = writer.docCount();
     writer.close();
     logger.info("Finished writing index.");
   }
   ...

3)檢索時(shí)，對檢索詞也采用上面同樣的方法即可：
    ...
    Searcher searcher = new IndexSearcher("d:\\NewsSpider\\index");
    Analyzer analyzer = new WhitespaceAnalyzer();

      BufferedReader in = new BufferedReader(new InputStreamReader(System.in));
      while (true) {
        System.out.print("Query: ");
        String line = in.readLine();

        if (line.length() == -1)
          break;

        Query query = QueryParser.parse(SplitCaller.splits(line), "title", analyzer);
        System.out.println("Searching for: " + query.toString("title"));

        Hits hits = searcher.search(query);
        System.out.println(hits.length() + " total matching documents");
      ...

通過(guò)上面的方法，就可以在lucene中使用自動(dòng)分詞的了。有人也許會(huì )問(wèn)為什么不直接寫(xiě)一個(gè)能自動(dòng)分詞的Analyzer。其實(shí)本來(lái)我想寫(xiě)一個(gè)的，但是我發(fā)現那樣很不方便，還不如先分詞然后再用WhitespaceAnalyzer解析來(lái)得方便。如果有人有更好的辦法，請一定和我探討一下。

- 作者： yuanlang 2005年01月20日, 星期四 18:07