信息挖掘即指從各種各樣的信息源中，抽取先前未知的、完整的信息，來(lái)做關(guān)鍵的業(yè)務(wù)決策。
商業(yè)智能方案幫助企業(yè)做決策支持分析，而信息挖掘就是商業(yè)智能方案中的一員。信息挖掘包括數據挖掘(Data Mining)和文本挖掘(Text Mining)兩種，它采用先進(jìn)的技術(shù)來(lái)分析信息資源，為企業(yè)在激烈競爭環(huán)境下的業(yè)務(wù)決策提供依據。
信息挖掘技術(shù)概述
信息挖掘即指從各種各樣的信息源中，抽取先前未知的、完整的信息，來(lái)做關(guān)鍵的業(yè)務(wù)決策。很顯然，信息挖掘有別于傳統的數據查詢(xún)、報表、OLAP及全文搜索等數據分析的方法，它是在沒(méi)有前提假設的情況下，從事信息與知識挖掘。信息挖掘所得到的信息結果，一定是先前未知的，對于結構化數據，我們可以稱(chēng)之為數據挖掘或知識發(fā)現，其涉及到的技術(shù)領(lǐng)域包括：機器學(xué)習、統計、數據庫技術(shù)、規則系統、神經(jīng)網(wǎng)絡(luò )和可視化呈現。文本挖掘也基本以類(lèi)似的技術(shù)為基礎。
在信息挖掘過(guò)程中占有重要地位的機器學(xué)習，讓計算機有能力認識一些模型，例如：我們想預測信用卡欺詐行為，計算機算法分析信用卡用戶(hù)的購買(mǎi)習慣，從而認識客戶(hù)的模式，并分辨出偏離模式的信用卡盜用行為。這個(gè)學(xué)習的過(guò)程需要有一個(gè)訓練階段，提供正反兩方面的偏離例子用挖掘程序來(lái)訓練，訓練之后，算法應能推導出合法交易的定義，并能預測一個(gè)新的交易是合法的還是非法的。
信息挖掘程序的好壞關(guān)鍵在于其算法的質(zhì)量。算法決定了是否能推導出一個(gè)完整而一致的概念與定義。
IBM的智能挖掘機家族產(chǎn)品，利用了廣泛的高質(zhì)量的機器學(xué)習算法，它能夠在應付大量數據的同時(shí)，又保證理想的響應時(shí)間，使得市場(chǎng)分析、風(fēng)險預測、欺詐管理、客戶(hù)關(guān)系管理和競爭優(yōu)勢分析等應用成為可能。
IBM數據智能挖掘機
數據挖掘過(guò)程中，數據的質(zhì)量決定了能否獲得有意義的分析結果。數據準備階段大約占了數據挖掘整個(gè)工作量的80％。數據準備包括：剔除冗余數據，保證數據的邏輯一致性等。
數據挖掘的基本過(guò)程
·確定業(yè)務(wù)目標
我們首先要清楚地確定業(yè)務(wù)遇到的問(wèn)題及挑戰。
·準備數據
確定要挖掘的數據，并處理數據(解決遺漏的數據)。
·選擇合適的數據挖掘技術(shù)
例如：基于數據特性、業(yè)務(wù)特點(diǎn)來(lái)選擇分簇算法。
·解釋及評價(jià)結果
用可視化的工具呈現數據，目的是為了分辨出各個(gè)分組中各種屬性的重要程度，并比較這組人群同所有樣本中各種屬性分布的不同。
在一個(gè)數據挖掘的過(guò)程中，有時(shí)需要重復以上的某些步驟。
數據挖掘操作與技術(shù)
數據挖掘的主要操作包括：預測模型、數據庫分簇、關(guān)聯(lián)分析和偏差監測(Deviation Detection)。
當我們做預測模型時(shí)，實(shí)現分類(lèi)操作的算法有Tree Induction和Neural Induction兩種。Tree Induction是指用構建決策樹(shù)來(lái)預測新的情況，而Neural Induction是指訓練出神經(jīng)網(wǎng)絡(luò )結構來(lái)識別各種模式。
數據庫分簇操作可以用Demographic Clustering來(lái)實(shí)現。
關(guān)聯(lián)分析操作采用簡(jiǎn)單的計算技術(shù)來(lái)發(fā)現關(guān)聯(lián)規則和順序模型。
偏差監測依賴(lài)于統計分析和Visualization，后者是發(fā)現數據模式的強有力工具之一。
IBM的數據智能挖掘機提供了完整和高質(zhì)量的算法，支持客戶(hù)從企業(yè)業(yè)務(wù)數據中發(fā)現商業(yè)決策所需要的依據，而且，這些算法的擴展性好，能在響應時(shí)間保持良好的情況下應付大量的輸入數據。
IBM文本智能挖掘機
推動(dòng)文本挖掘工具發(fā)展的原動(dòng)力主要有兩方面：一是Internet的迅速發(fā)展，據專(zhuān)家預測到2000年，在Internet上將會(huì )有大量的網(wǎng)頁(yè)數據，這些數據以文檔的形式出現；另一個(gè)原動(dòng)力是，客戶(hù)關(guān)系管理系統，而客戶(hù)的相關(guān)信息絕大多數是文字性質(zhì)的。這些文檔、文本信息的設計不是面向計算機處理的，是非結構化的數據，其包含的重要內容不是顯示的，而是隱含在文檔內部。
IBM的文本智能挖掘機有三個(gè)主要成分：高級搜索引擎(Advanced Search Engine)——TextMiner；Web訪(fǎng)問(wèn)工具(Web Access Tools)——包括Web搜索引擎NetQuestion和Web Crawler；文本分析工具(Text Analysis Tools)。文本智能挖掘機專(zhuān)為分析文本數據而設計，支持文本數據的信息搜索，為文檔按主題創(chuàng )建目錄及創(chuàng )建索引。
IBM的TextMiner
TextMiner是IBM文本智能挖掘機的主要成分之一，幫助創(chuàng )建高質(zhì)量的信息查詢(xún)系統；支持16種語(yǔ)言的多種格式文本的數據檢索；采用深層次的文本分析與索引方法；支持全文搜索及索引搜索，搜索的條件可以是自然語(yǔ)言和布爾邏輯條件。TextMiner是Client/Server結構的工具，支持大量的并發(fā)用戶(hù)做檢索任務(wù)，一個(gè)重要的功能包括聯(lián)機更新索引，同時(shí)又能完成其它的搜索任務(wù)。
TextMiner的全文搜索功能已經(jīng)集成在IBM通用數據庫版本5和IBM數字圖書(shū)館版本2中。
Web搜索與工具
IBM文本智能挖掘機中提供了Web搜索引擎——NetQuestion。NetQuestion適合Internet/Intranet信息搜索，其內核采用了同TextMiner類(lèi)似的技術(shù)，又根據Web的超大數據量的特點(diǎn)做了調整，以支持快速索引和理想的查詢(xún)響應時(shí)間。
NetQuestion同時(shí)又是Lotus Go Web Server、IBM公司主頁(yè)、IBM 1500個(gè)Intranet Server和IBM網(wǎng)絡(luò )計算架構(Network Computing Framework)的搜索引擎。
文本挖掘技術(shù)應用到企業(yè)的各個(gè)領(lǐng)域，如：客戶(hù)關(guān)系管理系統、電子郵件處理系統、合同管理等。
聯(lián)系客服
