欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

打開(kāi)APP
userphoto
未登錄

開(kāi)通VIP,暢享免費電子書(shū)等14項超值服

開(kāi)通VIP
使用Lucene進(jìn)行全文檢索(二)---得到有效的內容
 

scud(飛云小俠) http://www.jscud.com 轉載請注明來(lái)源/作者

關(guān)鍵字:lucene,html parser,全文檢索,IndexReader,Document,Field,IndexWriter,Term,HTMLPAGE


  在使用lucene對相關(guān)內容進(jìn)行索引時(shí),會(huì )遇到各種格式的內容,例如Html,PDF,Word等等,那么我們如何從這么文檔中得到我們需要的內容哪?例如Html的內容,一般我們不需要對Html標簽建立索引,因為那不是我們需要搜索的內容.這個(gè)時(shí)候,我們就需要從Html內容中解析出我們所需要的內容.對于PDF,Word文檔,也是類(lèi)似的要求.
 
  總之,我們只需要從內容中提取出我們需要的文本來(lái)建立索引,這樣用戶(hù)就能搜索到需要的內容,然后訪(fǎng)問(wèn)對應的資源即可.

  Lucene本身帶的例子中有一個(gè)解析Html的代碼,不過(guò)不是純JAVA的,所以在網(wǎng)上我又找到了另外一個(gè)Html解析器,網(wǎng)址如下:http://htmlparser.sourceforge.net.
 
  對PDF解析的相關(guān)項目有很多,例如PDFBox.在PDFBox里面提出pdf的文本內容只需要一句話(huà)即可:  
  
   

Document doc = LucenePDFDocument.getDocument( file );  

  
  當然如果需要更高級的設置,就要使用PDFBox中PDFTextStripper等類(lèi)來(lái)實(shí)現更高級的操作了.
 
 
  對Word文檔解析的相關(guān)有POI,網(wǎng)址是 http://jakarta.apache.org/poi/.
 
  HtmlParser本身提供的功能很強大,我們下面主要來(lái)關(guān)注我們需要的功能.首先給出幾個(gè)函數如下:
 

 /**
 * 解析一個(gè)Html頁(yè)面,返回一個(gè)Html頁(yè)面類(lèi).
 *
 * @param resource 文件路徑或者網(wǎng)址
 */
    public static SearchHtmlPage parseHtmlPage(String resource)
    {
        String title = "";
        String body = "";
        try
        {
            Parser myParser = new Parser(resource);

            //設置編碼:根據實(shí)際情況修改
            myParser.setEncoding("GBK");

            HtmlPage visitor = new HtmlPage(myParser);

            myParser.visitAllNodesWith(visitor);

            title = visitor.getTitle();

            body = combineNodeText(visitor.getBody().toNodeArray());
        }
        catch (ParserException e)
        {
            LogMan.error("Parse Html Page " + resource + " Error!");
        }

        SearchHtmlPage result = new SearchHtmlPage(title, body);

        return result;
    }

    /**
     * 解析Html內容,得到普通文本和鏈接的內容.
     *
     * @param content 要解析的內容
     * @return 返回解析后的內容
     */
    public static String parseHtmlContent(String content)
    {
        Parser myParser;
        NodeList nodeList = null;

        myParser = Parser.createParser(content, "GBK");

        NodeFilter textFilter = new NodeClassFilter(TextNode.class);
        NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);

        //暫時(shí)不處理 meta
        //NodeFilter metaFilter = new NodeClassFilter(MetaTag.class);

        OrFilter lastFilter = new OrFilter();
        lastFilter.setPredicates(new NodeFilter[] { textFilter, linkFilter });

        try
        {
            nodeList = myParser.parse(lastFilter);
        }
        catch (ParserException e)
        {
            LogMan.warn("Parse Content Error", e);
        }

        //中場(chǎng)退出了
        if (null == nodeList)
        {
            return "";
        }

        Node[] nodes = nodeList.toNodeArray();

        String result = combineNodeText(nodes);
        return result;
    }

 //合并節點(diǎn)的有效內容
    private static String combineNodeText(Node[] nodes)
    {
        StringBuffer result = new StringBuffer();

        for (int i = 0; i < nodes.length; i++)
        {
            Node anode = (Node) nodes[i];

            String line = "";
            if (anode instanceof TextNode)
            {
                TextNode textnode = (TextNode) anode;
                //line = textnode.toPlainTextString().trim();
                line = textnode.getText();
            }
            else if (anode instanceof LinkTag)
            {
                LinkTag linknode = (LinkTag) anode;

                line = linknode.getLink();
                //過(guò)濾jsp標簽
                line = StringFunc.replace(line, "<%.*%>", "");
            }

            if (StringFunc.isTrimEmpty(line)) continue;

            result.append(" ").append(line);
        }

        return result.toString();
    }


  
  其中SearchHtmlPage類(lèi)是表示一個(gè)Html頁(yè)面的模型,包含標題和內容,代碼如下:
  
 package com.jscud.www.support.search;
 
 /**
  * 搜索時(shí)解析Html后返回的頁(yè)面模型.
  *
  * @author scud(飛云小俠) http://www.jscud.com
  * 
  */
 public class SearchHtmlPage
 {
     /**標題*/
     private String title;
 
     /**內容*/
     private String body;
    
     public SearchHtmlPage(String title, String body)
     {
         this.title = title;
         this.body = body;
     }
    
     public String getBody()
     {
         return body;
     }
 
     public void setBody(String body)
     {
         this.body = body;
     }
 
     public String getTitle()
     {
         return title;
     }
 
     public void setTitle(String title)
     {
         this.title = title;
     }
 }
 


 
  當然,使用HtmlParser解析Html資源還有很多其他的方法,可以設置很多的條件來(lái)滿(mǎn)足用戶(hù)的解析要求,用戶(hù)可以閱讀其他的文章或者HtmlParser的文檔來(lái)了解,在此不多介紹.
 
  下一節講解如何進(jìn)行搜索.

本站僅提供存儲服務(wù),所有內容均由用戶(hù)發(fā)布,如發(fā)現有害或侵權內容,請點(diǎn)擊舉報。
打開(kāi)APP,閱讀全文并永久保存 查看更多類(lèi)似文章
猜你喜歡
類(lèi)似文章
htmlParser使用教程
利用htmlparser抓取網(wǎng)頁(yè)內容(一)
定時(shí)抓取特定網(wǎng)站內容
Google爬取天氣預報代碼
html parser
HtmlAgilityPack 之 HtmlNode類(lèi)
更多類(lèi)似文章 >>
生活服務(wù)
分享 收藏 導長(cháng)圖 關(guān)注 下載文章
綁定賬號成功
后續可登錄賬號暢享VIP特權!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服

欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久