商業(yè)智能的技術(shù)與實(shí)踐早在20世紀90年代末，商業(yè)智能（Business Intelligence）技術(shù)就被一家計算機權威雜志評選為未來(lái)幾年最具影響力的IT技術(shù)之一。雖然近幾年整個(gè)IT界不景氣，但與商業(yè)智能相關(guān)的產(chǎn)品研發(fā)及應用卻方興未艾，且數以百計的IT企業(yè)不斷涌進(jìn)這一新興領(lǐng)域，BI應用甚至成為了IT界又一全新“亮點(diǎn)”。究竟什么是商業(yè)智能技術(shù)？又有哪些技術(shù)支撐著(zhù)如此具有前景的商業(yè)智能應用？答案就在—
商業(yè)智能技術(shù)并不是基礎技術(shù)或者產(chǎn)品技術(shù)，它是數據倉庫、聯(lián)機分析處理OLAP（Online Analytical Processing）和數據挖掘等相關(guān)技術(shù)走向商業(yè)應用后形成的一種應用技術(shù)。
商業(yè)智能系統主要實(shí)現將原始業(yè)務(wù)數據轉換為企業(yè)決策信息的過(guò)程。與一般的信息系統不同，它在處理海量數據、數據分析和信息展現等多個(gè)方面都具有突出性能。
商業(yè)智能系統架構圖
商業(yè)智能系統主要包括數據預處理、建立數據倉庫、數據分析及數據展現四個(gè)主要階段。數據預處理是整合企業(yè)原始數據的第一步，它包括數據的抽取、轉換和裝載三個(gè)過(guò)程。建立數據倉庫則是處理海量數據的基礎。數據分析是體現系統智能的關(guān)鍵，一般采用聯(lián)機分析處理和數據挖掘兩大技術(shù)。聯(lián)機分析處理不僅進(jìn)行數據匯總/聚集，同時(shí)還提供切片、切塊、下鉆、上卷和旋轉等數據分析功能，用戶(hù)可以方便地對海量數據進(jìn)行多維分析。數據挖掘的目標則是挖掘數據背后隱藏的知識，通過(guò)關(guān)聯(lián)分析、聚類(lèi)和分類(lèi)等方法建立分析模型，預測企業(yè)未來(lái)發(fā)展趨勢和將要面臨的問(wèn)題。在海量數據和分析手段增多的情況下，數據展現則主要保障系統分析結果的可視化。一般認為數據倉庫、OLAP和數據挖掘技術(shù)是商業(yè)智能的三大組成部分。
數據倉庫：商業(yè)智能的基礎
對于一個(gè)企業(yè)來(lái)說(shuō)，最關(guān)鍵也最為重要的是，如何以一種有效的方式逐步整理各個(gè)業(yè)務(wù)處理系統中積累下來(lái)的歷史數據，并通過(guò)靈活有效的方式為各級業(yè)務(wù)人員提供統一的信息視圖，從而在整個(gè)企業(yè)內實(shí)現真正的信息共享。數據倉庫技術(shù)正好滿(mǎn)足了這一需求。數據倉庫是商業(yè)智能系統的基礎，如果沒(méi)有數據倉庫，沒(méi)有企業(yè)數據的融合，數據分析就成為了無(wú)源之水。
數據倉庫主要有四個(gè)重要特征：
1、數據倉庫是面向主題的。傳統的操作型系統是圍繞公司的應用進(jìn)行組織。如對一個(gè)電信公司來(lái)說(shuō)，應用問(wèn)題可能是營(yíng)業(yè)受理、專(zhuān)業(yè)計費和客戶(hù)服務(wù)等，而主題范圍可能是客戶(hù)、套餐、繳費和欠費等。
2、數據倉庫是集成的。數據倉庫實(shí)現數據由面向應用的操作型環(huán)境向面向分析的數據倉庫的集成。由于各個(gè)應用系統在編碼、命名習慣、實(shí)際屬性、屬性度量等方面不一致，當數據進(jìn)入數據倉庫時(shí)，要采用某種方法來(lái)消除這些不一致性。
3、數據倉庫是非易失的。數據倉庫的數據通常是一起載入與訪(fǎng)問(wèn)的，在數據倉庫環(huán)境中并不進(jìn)行一般意義上的數據更新。
4、數據倉庫隨時(shí)間的變化性。數據倉庫中的數據隨時(shí)間變化的特性表現在三個(gè)方面：
1）數據倉庫中的數據時(shí)間期限要遠遠長(cháng)于操作型系統中的數據時(shí)間期限。操作型系統的時(shí)間期限一般是6 0～9 0天，而數據倉庫中數據的時(shí)間期限通常是5～1 0年。
2）操作型數據庫含有“當前值”的數據，這些數據的準確性在訪(fǎng)問(wèn)時(shí)是有效的，同樣當前值的數據能被更新；而數據倉庫中的數據僅僅是一系列某一時(shí)刻生成的復雜的快照。
3）操作型數據的鍵碼結構可能包含也可能不包含時(shí)間元素，如年、月、日等；而數據倉庫的鍵碼結構總是包含時(shí)間元素。
OLAP：海量數據分析利器
對于TB級的海量數據，聯(lián)機分析處理OLAP無(wú)疑是一種有力的數據分析工具。它可以讓管理者靈活地對海量數據進(jìn)行瀏覽分析。利用多維的概念，OLAP提供了切片、切塊、下鉆、上卷和旋轉等多維度分析與跨維度分析功能。相對于普通的靜態(tài)報表，OLAP更能滿(mǎn)足決策者和分析人員對數據倉庫數據的分析。
區別于傳統的聯(lián)機事務(wù)處理 (OLTP)系統，OLAP有12條準則：
1、 OLAP模型必須提供多維概念視圖
2、 透明性準則
3、 存取能力推測
4、 穩定的報表能力
5、 客戶(hù)/服務(wù)器體系結構
6、 維的等同性準則
7、 動(dòng)態(tài)的稀疏矩陣處理準則
8、 多用戶(hù)支持能力準則
9、 非受限的跨維操作
10、直觀(guān)的數據操縱
11、靈活的報表生成
12、不受限的維與聚集層次
雖然隨著(zhù)技術(shù)的發(fā)展，部分準則有所突破，但這些準則仍然是OLAP技術(shù)的基礎。
OLAP系統架構主要分為基于關(guān)系數據庫的ROLAP（Relational OLAP）、基于多維數據庫的MOLAP（Multidimensional OLAP）、基于混合數據組織的HOLAP（Hybrid OLAP）三種。前兩種方式比較常見(jiàn)。ROLAP表示基于關(guān)系數據庫的OLAP實(shí)現。它以關(guān)系數據庫為核心，以關(guān)系型結構進(jìn)行多維數據的表示和存儲。ROLAP將多維數據庫的多維結構劃分為兩類(lèi)表:一類(lèi)是事實(shí)表，用來(lái)存儲數據和維關(guān)鍵字；另一類(lèi)是維表，即對每個(gè)維至少使用一個(gè)表來(lái)存放維的層次、成員類(lèi)別等維的描述信息。MOLAP表示基于多維數據組織的OLAP實(shí)現。它以多維數據組織方式為核心，使用多維數組存儲數據。MOLAP查詢(xún)方式采用索引搜索與直接尋址相結合的方式，比ROLAP的表索引搜索和表連接方式速度要快得多。
數據挖掘：洞察力之源
與展示企業(yè)歷史和現有信息的靜態(tài)、動(dòng)態(tài)報表及查詢(xún)等分析方法不同，數據挖掘是從數據庫中智能地尋找模型，從海量數據中歸納出有用信息?？梢哉f(shuō)通過(guò)商業(yè)智能系統，企業(yè)獲得洞察力的主要手段就是數據挖掘。
數據挖掘(Data Mining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過(guò)程。
數據挖掘技術(shù)可分為描述型數據挖掘和預測型數據挖掘兩種。描述型數據挖掘包括數據總結、聚類(lèi)及關(guān)聯(lián)分析等。預測型數據挖掘包括分類(lèi)、回歸及時(shí)間序列分析等。
1、數據總結：繼承于數據分析中的統計分析。數據總結目的是對數據進(jìn)行濃縮,給出它的緊湊描述。傳統統計方法如求和值、平均值、方差值等都是有效方法。另外還可以用直方圖、餅狀圖等圖形方式表示這些值。廣義上講，多維分析也可以歸入這一類(lèi)。
2、聚類(lèi)：是把整個(gè)數據庫分成不同的群組。它的目的是使群與群之間差別很明顯，而同一個(gè)群之間的數據盡量相似。這種方法通常用于客戶(hù)細分。在開(kāi)始細分之前不知道要把用戶(hù)分成幾類(lèi)，因此通過(guò)聚類(lèi)分析可以找出客戶(hù)特性相似的群體，如客戶(hù)消費特性相似或年齡特性相似等。在此基礎上可以制定一些針對不同客戶(hù)群體的營(yíng)銷(xiāo)方案。
3、關(guān)聯(lián)分析：是尋找數據庫中值的相關(guān)性。兩種常用的技術(shù)是關(guān)聯(lián)規則和序列模式。關(guān)聯(lián)規則是尋找在同一個(gè)事件中出現的不同項的相關(guān)性；序列模式與此類(lèi)似，尋找的是事件之間時(shí)間上的相關(guān)性，如對股票漲跌的分析等。
4、分類(lèi)：目的是構造一個(gè)分類(lèi)函數或分類(lèi)模型(也常常稱(chēng)作分類(lèi)器)，該模型能把數據庫中的數據項映射到給定類(lèi)別中的某一個(gè)。要構造分類(lèi)器，需要有一個(gè)訓練樣本數據集作為輸入。訓練集由一組數據庫記錄或元組構成,每個(gè)元組是一個(gè)由有關(guān)字段(又稱(chēng)屬性或特征)值組成的特征向量,此外,訓練樣本還有一個(gè)類(lèi)別標記。一個(gè)具體樣本的形式可表示為:( v1, v2, ...，vn；c )，其中vi表示字段值，c表示類(lèi)別。
5、回歸：是通過(guò)具有已知值的變量來(lái)預測其它變量的值。一般情況下，回歸采用的是線(xiàn)性回歸、非線(xiàn)性回歸這樣的標準統計技術(shù)。一般同一個(gè)模型既可用于回歸也可用于分類(lèi)。常見(jiàn)的算法有邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò )等。
6、時(shí)間序列：時(shí)間序列是用變量過(guò)去的值來(lái)預測未來(lái)的值。
數據挖掘另一個(gè)重要方面是與之相關(guān)的方法論。一般的事務(wù)處理系統甚至一些只提供報表分析功能的簡(jiǎn)單商業(yè)智能系統，建成以后只需要少量的工程維護工作，而采用數據挖掘技術(shù)的商業(yè)智能系統往往有很大不同。因為數據挖掘是一個(gè)商業(yè)理解、數據理解、建模、評估等一系列多次反復、多次調整的過(guò)程，并且模型的應用也不是一成不變的，在適當的時(shí)候需要更新和重建。所以一般的商業(yè)智能項目并不追求一次性工程建設，更倡導的是一種與企業(yè)業(yè)務(wù)緊密聯(lián)系能夠提升企業(yè)競爭力的咨詢(xún)服務(wù)，而且熟悉業(yè)務(wù)和分析方法的分析人員在商業(yè)智能系統的應用中起著(zhù)至關(guān)重要的作用。從這一點(diǎn)也能看出為什么說(shuō)BI是企業(yè)MIS之后更高層次、更具戰略意義的應用。
誠然，對于數據挖掘或者商業(yè)智能也應有一個(gè)客觀(guān)的認識。從廣義上，數據挖掘是在傳統數據分析方法基礎上，融合了數據庫、人工智能等多方面技術(shù)形成的知識發(fā)現技術(shù)。它對企業(yè)的信息分析必然產(chǎn)生積極的效果，對企業(yè)經(jīng)營(yíng)決策的輔助作用也是顯而易見(jiàn)。但是數據挖掘只是一些技術(shù)和方法，并非萬(wàn)能，而商業(yè)智能系統更多的是為企業(yè)提供一個(gè)經(jīng)營(yíng)分析的環(huán)境和一些分析工具。如何切合企業(yè)經(jīng)營(yíng)實(shí)際，從海量的經(jīng)營(yíng)數據中挖掘出有助于企業(yè)市場(chǎng)競爭的知識，商業(yè)智能系統本身體現并不多。因此，企業(yè)洞察力的真正來(lái)源是商業(yè)智能系統以及數據挖掘技術(shù)的成功應用和實(shí)踐。
聯(lián)系客服
