隨著(zhù)網(wǎng)絡(luò )信息資源的急劇增長(cháng)，人們越來(lái)越多地關(guān)注如何快速有效地從海量的網(wǎng)絡(luò )信息中，抽取出潛在的、有價(jià)值的信息，使之有效地在管理和決策中發(fā)揮作用。搜索引擎技術(shù)解決了用戶(hù)檢索網(wǎng)絡(luò )信息的困難，目前搜索引擎技術(shù)正成為計算機科學(xué)界和信息產(chǎn)業(yè)界爭相研究、開(kāi)發(fā)的對象。本文旨在探討搜索引擎技術(shù)在網(wǎng)絡(luò )信息挖掘方面的應用。
一、數據挖掘的研究現狀
討論網(wǎng)絡(luò )信息挖掘，首先要從傳統的數據挖掘談起。
1、什么是數據挖掘
根據W.J.Frawley和G.P.Shapiro等人的定義，數據挖掘是指從大型數據庫的數據中提取人們感興趣的知識，而這些知識是隱含的、事先未知的、潛在的有用信息。原始數據可以是結構化的，如關(guān)系型數據庫中的數據；也可以是半結構化的，如文本、圖形、圖像數據；甚至是分布在網(wǎng)絡(luò )上的異構型數據。數據挖掘的方法可以是數學(xué)的，也可以是非數學(xué)的；可以是演繹的，也可以是歸納的。挖掘出來(lái)的信息可以被用于信息管理、決策支持、過(guò)程控制等，還可用于數據自身的維護。因此，數據挖掘是一門(mén)廣義的交叉學(xué)科，它匯聚了不同領(lǐng)域的研究者，尤其是數據庫、人工智能、數理統計、可視化、并行計算等方面的學(xué)者和工程技術(shù)人員。
2、數據挖掘的研究現狀
目前，國外在數據挖掘方面的發(fā)展趨勢及研究主要有：對知識發(fā)現方法的進(jìn)一步研究，如近年來(lái)注重對Bayes(貝葉斯)方法以及Boosting方法的研究和提高；統計學(xué)回歸法在KDD中的應用；KDD與數據庫的緊密結合；對網(wǎng)絡(luò )信息挖掘方法的研究等。國外很多計算機公司非常重視數據挖掘的開(kāi)發(fā)應用，IBM和微軟都成立了相應的研究中心，一些公司的相關(guān)軟件也開(kāi)始在國內銷(xiāo)售，如Platinum、BO以及IBM。
國內從事數據挖掘研究的人員主要在大學(xué)，也有部分在研究所或公司。所涉及的研究領(lǐng)域很多，一般集中于學(xué)習算法的研究、數據挖掘的實(shí)際應用以及有關(guān)數據挖掘理論方面的研究。目前進(jìn)行的大多數研究項目是由政府資助進(jìn)行的，如國家自然科學(xué)基金、863計劃、"九五"計劃等。
可以看出，數據挖掘的研究和應用受到了學(xué)術(shù)界、實(shí)業(yè)界和政府部門(mén)的越來(lái)越多的重視。
3、數據挖掘的分類(lèi)及其工具
1)、根據數據挖掘的應用類(lèi)型不同，大致可分為以下幾類(lèi)。①分類(lèi)模型。其主要功能是根據商業(yè)數據的屬性將數據分派到不同的組中，通過(guò)分析分組中數據的各種屬性，找出數據的屬性模型。②關(guān)聯(lián)模型。主要是描述了一組數據項目的密切度或關(guān)系，通過(guò)挖掘數據派生關(guān)聯(lián)規則，了解客戶(hù)的行為。③順序模型。主要用于分析數據倉庫中的某類(lèi)與時(shí)間相關(guān)的數據，并發(fā)現某一時(shí)間段內數據的相關(guān)處理模型。它是一種在關(guān)聯(lián)模型中增加了時(shí)間屬性的特定的關(guān)聯(lián)模型。④聚簇模型。主要用于當要分析的數據缺乏描述信息或無(wú)法組織成任何分類(lèi)模式時(shí)，按照某種相近程度度量方法將用戶(hù)數據分成互不相同的一些分組。進(jìn)而，通過(guò)采用聚簇模型，根據部分數據發(fā)現規律，找出對全體數據的描述。
2)、數據挖掘采用的典型方法及工具
針對上述應用類(lèi)型，數據挖掘領(lǐng)域提出了多種實(shí)現方式與算法。這里僅討論幾種常見(jiàn)的典型的實(shí)現方法。①神經(jīng)網(wǎng)絡(luò )。它建立在可以自學(xué)習的數學(xué)模型的基礎之上，可以對大量復雜的數據進(jìn)行分析，并完成極為復雜的模式抽取及趨勢分析。神經(jīng)網(wǎng)絡(luò )對分類(lèi)模型比較適合，但得出結論的因素并不十分明顯，其輸出結果也沒(méi)有任何解釋?zhuān)绊懡Y果的可信度及可接受程度；其次，它需要較長(cháng)的學(xué)習時(shí)間，因此當數據量很大時(shí)，性能可能會(huì )出現問(wèn)題。②決策樹(shù)。是通過(guò)一系列規則對數據進(jìn)行分類(lèi)。采用決策樹(shù)，可以將數據規則可視化，其輸出結果也容易理解。決策樹(shù)方法精確度比較高，構造過(guò)程簡(jiǎn)單，因此比較常用。其缺點(diǎn)是很難基于多個(gè)變量組合發(fā)現規則；不同決策樹(shù)分支之間的分裂也不平滑。③聯(lián)機分析處理（OLAP）。主要通過(guò)***的方式對用戶(hù)當前及歷史數據進(jìn)行分析、查詢(xún)和報表，輔助領(lǐng)導決策。④數據可視化。數據倉庫中包含大量的數據，充實(shí)著(zhù)各種數據模型，將如此大量的數據可視化需要復雜的數據可視化工具。
目前，數據挖掘技術(shù)正處在發(fā)展當中。數據挖掘涉及到數理統計、模糊理論、神經(jīng)網(wǎng)絡(luò )和人工智能等多種技術(shù)，技術(shù)含量比較高，實(shí)現難度較大。然而，數據挖掘技術(shù)與可視化技術(shù)、地理信息系統、統計分析系統相結合，可以豐富數據挖掘技術(shù)及工具的功能與性能。
4、網(wǎng)絡(luò )信息挖掘及其分類(lèi)
網(wǎng)絡(luò )信息挖掘是一個(gè)極其復雜的過(guò)程，它不同于傳統的數據倉庫技術(shù)和簡(jiǎn)單的知識發(fā)現（KDD），它面對的海量信息不是全簡(jiǎn)單的結構化數據，而常常為半結構化的數據，如文本、圖形、圖像數據，甚至是異構型數據。發(fā)現知識的方法可以是數學(xué)的，也可以是非數學(xué)的；可以是演繹的，也可以是歸納的。
網(wǎng)絡(luò )信息挖掘大致分為四個(gè)步驟：①資源發(fā)現，即檢索所需的網(wǎng)絡(luò )文檔；②信息選擇和預處理，即從檢索到的網(wǎng)絡(luò )資源中自動(dòng)挑選和預先處理得到專(zhuān)門(mén)的信息；③概括化，即從單個(gè)的Web站點(diǎn)以及多個(gè)站點(diǎn)之間發(fā)現普遍的模式；④分析，對挖掘出的模式進(jìn)行確認或解釋。
根據挖掘的對象不同，網(wǎng)絡(luò )信息挖掘可以分為網(wǎng)絡(luò )內容挖掘、網(wǎng)絡(luò )結構挖掘和網(wǎng)絡(luò )用法挖掘。①網(wǎng)絡(luò )內容挖掘。即從網(wǎng)絡(luò )的內容/數據/文檔中發(fā)現有用信息的過(guò)程。網(wǎng)絡(luò )信息資源類(lèi)型眾多，從網(wǎng)絡(luò )信息源的角度看，大量的網(wǎng)絡(luò )信息資源可以直接從網(wǎng)上抓取、建立索引、實(shí)現檢索服務(wù)，但是還有一些網(wǎng)絡(luò )信息是“隱藏”的，如由用戶(hù)的提問(wèn)而動(dòng)態(tài)生成的結果，或是存在DBMS中的數據，或是那些私人數據，它們無(wú)法被索引，從而無(wú)法提供對它們有效的檢索方式；從資源形式看，網(wǎng)絡(luò )信息內容是由文本、圖像、音頻、視頻、元數據等形式的數據組成的，因此網(wǎng)絡(luò )內容挖掘是一種多媒體數據挖掘形式。②網(wǎng)絡(luò )結構挖掘。即挖掘Web潛在的鏈接結構模式。這種思想源于引文分析，即通過(guò)分析一個(gè)網(wǎng)頁(yè)鏈接和被鏈接數量以及對象來(lái)建立Web自身的鏈接結構模式?？梢杂糜诰W(wǎng)頁(yè)歸類(lèi)，并且可以由此獲得有關(guān)不同網(wǎng)頁(yè)間相似度及關(guān)聯(lián)度的信息，有助于用戶(hù)找到相關(guān)主題的權威站點(diǎn)。③網(wǎng)絡(luò )用法挖掘。通過(guò)網(wǎng)絡(luò )用法挖掘，可以了解用戶(hù)的網(wǎng)絡(luò )行為數據所具有的意義。網(wǎng)絡(luò )內容挖掘、網(wǎng)絡(luò )結構挖掘的對象是網(wǎng)上的原始數據，而網(wǎng)絡(luò )用法挖掘則面對的是在用戶(hù)和網(wǎng)絡(luò )交互的過(guò)程中抽取出來(lái)的第二手數據。這些數據包括：網(wǎng)絡(luò )服務(wù)器訪(fǎng)問(wèn)記錄、代理服務(wù)器日志記錄、瀏覽器日志記錄、用戶(hù)簡(jiǎn)介、注冊信息、用戶(hù)對話(huà)或交易信息、用戶(hù)提問(wèn)式等等。
二、搜索引擎的主要技術(shù)及其應用和發(fā)展趨勢
狹義上講，網(wǎng)絡(luò )信息檢索就是網(wǎng)絡(luò )信息(內容)挖掘的一種。因此，要探討網(wǎng)絡(luò )信息挖掘，也有必要探討一下有關(guān)搜索引擎的問(wèn)題。
1、什么是搜索引擎
搜索引擎是指因特網(wǎng)上專(zhuān)門(mén)提供查詢(xún)服務(wù)的一類(lèi)網(wǎng)站，這些網(wǎng)站通過(guò)網(wǎng)絡(luò )搜索軟件（又稱(chēng)為網(wǎng)絡(luò )搜索機器人）或網(wǎng)站登錄等方式，收集因特網(wǎng)上大量網(wǎng)站的頁(yè)面，經(jīng)過(guò)加工處理后建庫，從而能夠對用戶(hù)提出的各種查詢(xún)作出響應，提供用戶(hù)所需的信息。用戶(hù)的查詢(xún)途徑主要包括自由詞、全文檢索、主題詞檢索、分類(lèi)檢索及其它特殊信息的檢索（企業(yè)、人名、電話(huà)黃頁(yè)等）。
2、搜索引擎的主要技術(shù)
搜索引擎一般由搜索器、索引器、檢索器和用戶(hù)接口四個(gè)部分組成。①搜索器：其功能是在互聯(lián)網(wǎng)中漫游，發(fā)現和搜集信息。它要盡可能多、盡可能快地搜集新信息和定期更新舊信息，以避免死連接和無(wú)效連接，為此搜索器的實(shí)現常采用分布式、并行計算技術(shù)，以提高信息發(fā)現和更新的速度。②索引器：其功能是理解搜索器所搜索的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表。索引器可以使用集中式索引算法或分布式索引算法。③檢索器：其功能是根據用戶(hù)的查詢(xún)在索引庫中快速檢出文檔，進(jìn)行文檔與查詢(xún)的相關(guān)度評價(jià)，對將要輸出的結果進(jìn)行排序，并實(shí)現某種用戶(hù)相關(guān)性反饋機制。常用的信息檢索模型有集合理論模型、代數模型、概率模型和混合模型四種。④用戶(hù)接口：其作用是輸入用戶(hù)查詢(xún)、顯示查詢(xún)結果、提供用戶(hù)相關(guān)性反饋機制。分為簡(jiǎn)單接口和復雜接口兩種。簡(jiǎn)單接口只提供用戶(hù)輸入查詢(xún)串的文本框，復雜接口可以讓用戶(hù)對查詢(xún)進(jìn)行限制。
3、搜索引擎的應用
目前幾個(gè)比較大的中文搜索引擎是：雅虎中國；搜狐；新浪;網(wǎng)易；北大天網(wǎng)搜索(
http://e.pku.edu.cn)等。
在Internet的信息海洋里尋找信息，首先，應該使用一個(gè)以上搜索引擎，除非你第一次就發(fā)現完美的搜索結果。其二，通過(guò)大量實(shí)踐，仔細體會(huì )每個(gè)搜索引擎的特色和功能。其三，統計表明，很多用戶(hù)只輸入一個(gè)詞進(jìn)行查詢(xún)，查詢(xún)結果往往有很多冗余。建議同時(shí)使用多個(gè)詞以縮小搜索范圍。其四，若最初的查找并不成功，可以用同義詞進(jìn)行查找。此外，平時(shí)應多注意積累優(yōu)秀的專(zhuān)業(yè)網(wǎng)站和數據庫網(wǎng)址。
據***IC于2000年7月27日發(fā)布的統計資料，搜索引擎的使用已經(jīng)占到網(wǎng)絡(luò )應用的55.91%，成為中國當前第二大互聯(lián)網(wǎng)應用，僅次于收發(fā)E-Mail，搜索引擎的重要性已成為網(wǎng)站建設的重要功能，成為網(wǎng)絡(luò )信息挖掘的主要途徑。
4、搜索引擎的未來(lái)發(fā)展趨勢
隨著(zhù)WWW信息的指數增加，目前的搜索引擎存在搜索速度慢、死鏈接太多、重復信息或不相關(guān)信息較多，難以滿(mǎn)足人們的各種信息需求，搜索引擎將向智能化、精確化、交叉語(yǔ)言檢索、多媒體檢索、專(zhuān)業(yè)化等適應不同用戶(hù)需求的方向發(fā)展。①智能化的搜索引擎：它是搜索引擎的發(fā)展方向。它利用智能代理技術(shù)對用戶(hù)的查詢(xún)計劃、意圖、興趣方向進(jìn)行推理，自動(dòng)進(jìn)行信息搜集過(guò)濾，自動(dòng)地將用戶(hù)感興趣的、對用戶(hù)有用的信息提交給用戶(hù)。②重視查詢(xún)結果的精度，提高檢索的有效性：解決查詢(xún)結果過(guò)多的現象目前有以下幾種方法：a.構建基于內容的搜索引擎?；趦热莸乃阉鞯谋容^成熟的解決方案是依靠語(yǔ)義網(wǎng)絡(luò )、漢語(yǔ)分詞、句法分析、處理同義詞等信息處理技術(shù)最大程度地了解用戶(hù)的信息需求。b.將用戶(hù)提問(wèn)轉化為系統已知的問(wèn)題，然后對已知問(wèn)題進(jìn)行解答，以求降低對自然語(yǔ)言理解技術(shù)的依賴(lài)性。c.用正文分類(lèi)技術(shù)將結果分類(lèi)，使用可視化技術(shù)顯示分類(lèi)結構，用戶(hù)可以只瀏覽自己感興趣的類(lèi)別。d.進(jìn)行站點(diǎn)類(lèi)聚或內容類(lèi)聚，減少信息的總量。e.讓用戶(hù)對返回結果進(jìn)行選擇，進(jìn)行二次查詢(xún)是一種非常有效的手段。③實(shí)現交叉語(yǔ)言的檢索：對多種語(yǔ)言的數據庫進(jìn)行交叉語(yǔ)言信息檢索，返回能夠回答用戶(hù)問(wèn)題的所有語(yǔ)言的文檔。該技術(shù)目前還處于初步研究階段，是搜索引擎的發(fā)展方向。④多媒體搜索引擎：由于未來(lái)的互聯(lián)網(wǎng)是多媒體數據網(wǎng)絡(luò )，開(kāi)發(fā)出可查詢(xún)圖像、聲音、圖片和電影的搜索引擎是一個(gè)新的方向。⑤專(zhuān)業(yè)化搜索引擎：是為了專(zhuān)門(mén)收錄某一行業(yè)、某一主題或某一地區的信息而建立，具有針對性強、實(shí)用性強的特點(diǎn)。如商務(wù)查詢(xún)、企業(yè)查詢(xún)、人名查詢(xún)、專(zhuān)業(yè)信息查詢(xún)等等。
三、搜索引擎在網(wǎng)絡(luò )信息挖掘中的應用
1、搜索引擎在網(wǎng)絡(luò )信息挖掘中的應用實(shí)例
下面以國外著(zhù)名的搜索引擎Google(
http://www.google.com)為例，剖析網(wǎng)絡(luò )信息檢索在網(wǎng)絡(luò )信息挖掘中的應用。首先我們先看一下Google的體系結構(見(jiàn)圖1)。
Google的搜索機制是：幾個(gè)分布的Crawler(自動(dòng)搜索軟件)同時(shí)工作？？在網(wǎng)上“爬行”，URL服務(wù)器負責向Crawler提供URL的列表。Crawler所找到的網(wǎng)頁(yè)被送到存儲服務(wù)器中。存儲服務(wù)器于是把這些網(wǎng)頁(yè)壓縮后存入一個(gè)知識庫(repository)中。每個(gè)網(wǎng)頁(yè)都有一個(gè)關(guān)聯(lián)ID？？doc ID，當一個(gè)新的URL從一個(gè)網(wǎng)頁(yè)中解析出來(lái)時(shí)，就被分配一個(gè)doc ID。索引庫和排序器負責建立索引，索引庫從知識庫中讀取記錄，將文檔解壓并進(jìn)行解析。每個(gè)文檔就轉換成一組詞的出現狀況，稱(chēng)為hits。hits記錄了詞、詞在文檔中的位置、字體大小、大小寫(xiě)等。索引庫把這些hit又分成一組“barrels”，產(chǎn)生經(jīng)過(guò)部分排序后的索引。索引庫同時(shí)分析網(wǎng)頁(yè)中所有的鏈接,并將重要信息存在A(yíng)nchors文檔中，該這個(gè)文檔包含了足夠信息，可以用來(lái)判斷一個(gè)鏈接被鏈入或鏈出的結點(diǎn)信息。
URL分解器(URL Resolver)閱讀Anchors文檔，并把相對的URL轉換成絕對的URLs，并生成doc ID，它進(jìn)一步為Anchor文本編制索引，并與Anchor所指向的doc ID建立關(guān)聯(lián)。同時(shí)，它還產(chǎn)生由doc ID對(pairs of doc ID)所形成的數據庫。這個(gè)鏈接數據庫(Links)用于計算所有文檔的頁(yè)面等級(Pagerank)。
排序器會(huì )讀取barrels，并根據詞的ID號(word ID)列表來(lái)生成倒排擋。一個(gè)名為DumpLexicon的程序則把上面的列表和由索引庫產(chǎn)生的一個(gè)新的詞表結合起來(lái)產(chǎn)生另一個(gè)新的詞表供搜索器(Searcher)使用。這個(gè)搜索器就是利用一個(gè)Web服務(wù)器，并使用由DumpLexicon所生成的詞表，并利用上述倒排擋以及頁(yè)面等級來(lái)回答用戶(hù)的提問(wèn)。
從Google的體系結構、搜索原理中可以看到，其關(guān)鍵是：利用URL分解器獲得Links信息，并且運用一定的算法得出頁(yè)面等級的信息，這正是網(wǎng)絡(luò )結構挖掘技術(shù)。
2、網(wǎng)絡(luò )信息挖掘的應用前景
網(wǎng)絡(luò )信息挖掘已廣泛地應用于金融業(yè)、零售業(yè)、遠程通訊業(yè)、政府管理、制造業(yè)、醫療服務(wù)以及體育事業(yè)中，對它的應用和研究正在成為一個(gè)熱點(diǎn)。網(wǎng)絡(luò )信息挖掘的應用前景主要表現在三個(gè)方面：①電子商務(wù)。運用網(wǎng)絡(luò )挖掘技術(shù)能夠從服務(wù)器和瀏覽器端的日志記錄中自動(dòng)發(fā)現隱藏在數據中的模式信息，了解系統的訪(fǎng)問(wèn)模式以及用戶(hù)的行為模式，從而作出預測性分析。例如通過(guò)評價(jià)用戶(hù)對某一信息資源瀏覽所花的時(shí)間，可以判斷出用戶(hù)對資源興趣如何；對日志文件所收集到的域名數據，如國家或類(lèi)型(.com，.edu，.gov)的分類(lèi)分析；應用聚類(lèi)分析來(lái)識別用戶(hù)的訪(fǎng)問(wèn)動(dòng)機和訪(fǎng)問(wèn)趨勢等。②網(wǎng)站設計。通過(guò)對網(wǎng)站內容的挖掘，可以有效地組織網(wǎng)站信息，例如采用自動(dòng)歸類(lèi)技術(shù)實(shí)現網(wǎng)站信息的層次性組織；通過(guò)對用戶(hù)訪(fǎng)問(wèn)日志記錄信息的挖掘，把握用戶(hù)的興趣，有助于開(kāi)展網(wǎng)站信息推送服務(wù)以及個(gè)人信息的定制服務(wù)。③搜索引擎。用搜索引擎進(jìn)行網(wǎng)絡(luò )信息挖掘的最大特色體現在它所采用的對網(wǎng)頁(yè)Links信息的挖掘技術(shù)上。如通過(guò)對網(wǎng)頁(yè)內容挖掘，可以實(shí)現對網(wǎng)頁(yè)的聚類(lèi)、分類(lèi)，實(shí)現網(wǎng)絡(luò )信息的分類(lèi)瀏覽與檢索；通過(guò)用戶(hù)所使用的提問(wèn)式的歷史記錄的分析，可以有效地進(jìn)行提問(wèn)擴展，提高用戶(hù)的檢索效果(查全率，precision；查準率，recall)；運用網(wǎng)絡(luò )內容挖掘技術(shù)改進(jìn)關(guān)鍵詞加權算法，提高網(wǎng)絡(luò )信息的標引準確度，從而改善檢索效果。
上面僅僅列舉了網(wǎng)絡(luò )信息挖掘技術(shù)在這三個(gè)方面的應用。這項技術(shù)的應用正變得越來(lái)越廣泛；用戶(hù)對高品質(zhì)、個(gè)性化的信息的需求必將推動(dòng)學(xué)術(shù)界與實(shí)業(yè)界的研究開(kāi)發(fā)工作。
四、結束語(yǔ)
面向Web的數據挖掘是一項復雜的技術(shù)，由于Web數據挖掘比單個(gè)數據倉庫的挖掘要復雜的多。我們相信，隨著(zhù)XML作為在Web上交換數據的一種標準方式的出現、用戶(hù)信息需求的多樣化、網(wǎng)絡(luò )信息挖掘研究的不斷深入，“智能化”的搜索引擎將會(huì )涌現，面向Web的網(wǎng)絡(luò )信息挖掘也將會(huì )變得非常輕松。
來(lái)源：
劉永
