一種新型的數據管理系統——數據倉庫
任錦鸞 張閩 曾珍香
摘要 在比較了數據倉庫與傳統數據庫的區別的基礎上，討論了數據倉庫系統的基本結構、數據倉庫化的步驟和技術(shù)；認為數據倉庫、聯(lián)機分析處理和數據挖掘的結合將成為決策支持系統的重要組成部分；并且提出了數據市場(chǎng)是實(shí)現數據倉庫的中間過(guò)渡形式，以企業(yè)銷(xiāo)售情況分析為例做了數據市場(chǎng)中數據存儲形式的初步設計．
關(guān)鍵詞 數據倉庫，數據倉庫化，聯(lián)機分析處理，數據挖掘，決策支持系統，數據市場(chǎng)
A New System for Data Management—Data Warehouse
Ren Jinluan Zhang Min Zeng Zhenxiang
Abstract Based on the comparing data warehouse （DW）with database, this paper discusses the structure of DW,the stages and technology of data warehousing.The paper puts forward that DW,OLAP and data mining will become new important parts of DSS.AS a transitional pattern of data warehouse,Data mart is researched.And its initial design is discussed with the background of sales analysis for business.
Key words Data Warehouse (DW),Data Warehousing On-line Analytical Processing (OLAP),Data Mining,Decision Support System,Data Mart1
0 概述
數據倉庫（ Data Warehouse DW）是是支持經(jīng)營(yíng)管理決策過(guò)程的、面向主體的、集成的、隨時(shí)間而變的、持久的數據集合．而以數據倉庫為核心的系統則從事物發(fā)展和歷史的角度對來(lái)自于異地、異構的數據源或數據庫的信息進(jìn)行收集、轉換、提取、過(guò)濾、集成和維護，為復雜的數據分析和高層決策提供支持．
在錯綜復雜的現實(shí)世界中，決策者在分析當前商業(yè)狀況時(shí)受到很大的競爭壓力，對信息的需要已超過(guò)了信息技術(shù)所能提供的范圍，這就產(chǎn)生了信息危機，信息危機刺激了信息技術(shù)的發(fā)展，從而信息技術(shù)推陳出新，不斷進(jìn)步．從五十年代用于成本、工資計算的自動(dòng)化軟件到六、七十年代用于數據集成的數據庫管理系統，在八十年代出現了用于在網(wǎng)絡(luò )上數據處理的聯(lián)機事物處理（ OLTP）系統[1]．當前為了解決數據庫管理系統的缺點(diǎn)，改變數據庫管理系統只能進(jìn)行數據管理，而不能提供綜合性分析的不足，以便更好地支持自動(dòng)化的商業(yè)過(guò)程，為高層決策提供快速、有力的支持，數據倉庫應運而生了．
1 數據倉庫與數據庫的比較
數據倉庫與傳統的數據庫相比有很大的不同．傳統的數據庫技術(shù)在對決策支持系統的支持方面存在以下不足[2]：
1.1 各種來(lái)源的數據在定義和組織方式上不同，為決策者統一調用數據和進(jìn)行不同系統的比較帶來(lái)了困難，數據倉庫提供了數據融合技術(shù)，將不同來(lái)源，不同定義的數據統一定義、管理，使不同部門(mén)、機構、產(chǎn)品、區域間情況的比較成為可能；
1.2 數據庫提供的數據是事物性的、操作性的．數據倉庫的設計是面向主題的，通過(guò)數據聯(lián)機分析技術(shù)（On-line Analytical Processing OLAP），將數據轉化為信息，為決策者提供更直觀(guān)的幫助；
1.3 數據庫中保存的是當前數據，無(wú)法進(jìn)行歷史趨勢分析，數據倉庫同時(shí)提供當前數據和歷史數據，并可作出歷史趨勢變化分析．
總之，數據倉庫技術(shù)是在收集各種數據和信息的基礎之上，對數據進(jìn)行提取、清理、轉換和合成，改變了數據庫只提供數據支持的形式，為決策者提供總結性的信息知識，趨勢分析，情況描述等更直觀(guān)的內容，幫助決策者探索業(yè)務(wù)活動(dòng)規律，為制定全局范圍的戰略決策和長(cháng)期趨勢分析提供更有效支持．
2 數據倉庫系統的基本結構
數據倉庫系統是在原有關(guān)系型數據庫的基礎上發(fā)展形成的，但為了完成更優(yōu)化的查詢(xún)功能，它的組織結構形式和數據庫的組織結構形式是不同的，如圖1所示．[3]
圖1數據倉庫系統基本結構
它主要由四部分組成：信息源、包裝器/監視器、集成器和數據倉庫．在這一系統中信息源一般包括原始數據庫，知識庫，HTML文檔，操作系統數據等．在包裝器/監視器模塊中，包裝器把各種信息源提供的不同形式的數據轉換為數據倉庫系統統一的格式，監視器負責對本地信息源中需提取的數據及其變化做自動(dòng)地跟蹤調查，把結果輸送到集成器．集成器匯總各種數據并把集成結果裝載到數據倉庫中．本系統是開(kāi)放的，可根據需要加入新的信息源、新的包裝器/監視器模塊，再與集成器相連，這不會(huì )影響原系統的操作和運行．系統的數據傳輸還可以是逆向進(jìn)行的，集成器合成的具有新的結構，新的意義的數據可通過(guò)包裝器/監視器模塊發(fā)送給信息源，為將來(lái)其它的信息需求提供素材．
3 數據倉庫化的基本過(guò)程
數據倉庫化是指把可操作數據提煉和轉化成信息數據并存儲到數據倉庫中的過(guò)程．數據倉庫化的過(guò)程主要包括五個(gè)階段[1]．
3.1 數據模型化數據倉庫系統將數據庫中組織數據的二維關(guān)系表轉化為多維立方體模式，這樣用戶(hù)可以進(jìn)行涉及到多種因素的描述性查詢(xún)．
3.2 在源數據中提取信息這一過(guò)程要利用各種提取技術(shù)從多種信息源提取數據．無(wú)論在舊有的系統如DB2、IMS、ORACL 還是在Sybase、Informix 等新的數據倉庫系統中的數據都可以提取到．在存儲空間允許的情況下，以前提取的數據可以存儲在機器中，用之與當前的數據進(jìn)行比較，通過(guò)數據捕捉技術(shù)，在新的提取過(guò)程中可只提取已改變的數據，這樣就大大提高了系統運行的有效性．
3.3 清理數據、修補不完善的記錄在提取數據的過(guò)程中，數據含義不明確，拼寫(xiě)錯誤，漏填記錄都是常見(jiàn)的，清理數據就是清除這些無(wú)效輸入的過(guò)程．隨時(shí)間的變化，企業(yè)的部門(mén)名稱(chēng)，產(chǎn)品代號，地理位置等常常發(fā)生變化，這就要重新裝入，即對記錄進(jìn)行修補．
3.4 數據轉換和集成不同來(lái)源的數據的形式、定義、內涵都有很大的差別，為了進(jìn)行比較和分析，數據倉庫系統把它們轉化成統一的表示形式和代碼，可以進(jìn)行向整數、浮點(diǎn)數、ASCⅡ等形式的轉換，并可完成時(shí)間的統一表示．系統按一定的邏輯規則將一定維的數據進(jìn)行提前組合和計算，即數據的集成．
3.5 數據裝載數據裝載和分析的過(guò)程是非同時(shí)進(jìn)行的．
數據倉庫系統是通過(guò)何種技術(shù)實(shí)現這些過(guò)程的呢？許多公司都提出了不同的解決方法，其中紅磚（Red Brick）倉庫系統比較有代表意義，它是一種特殊化的關(guān)系數據庫管理系統（RDBMS），可完成數據倉庫化的任務(wù)，它由3個(gè)部分組成： ANSI 標準的SQL 和決策支持擴展系統；優(yōu)良的桌面管理系統（TMU）；數據倉庫通道．
4 數據倉庫與OLAP、數據挖掘的關(guān)系
設計數據倉庫的目的就是為決策提供信息，在提供支持的過(guò)程中如何來(lái)利用這些數據呢？這就要開(kāi)發(fā)其它的技術(shù)，OLAP技術(shù)和數據挖掘技術(shù)就是與之相關(guān)的近期發(fā)展起來(lái)的新型技術(shù)．[5]
OLAP技術(shù)以客戶(hù)/服務(wù)器的方式來(lái)完成多維數據分析．多維數據有兩種存儲方式，關(guān)系數據庫存儲和多維數據庫存儲，相應的OLAP也有兩種處理技術(shù)，ROLAP和MOLAP．ROLAP是基于技術(shù)較成熟的關(guān)系數據庫的，它操作靈活，但數據冗于量大．MOLAP是基于多維數據庫的，結構簡(jiǎn)明，利用多維數據查詢(xún)語(yǔ)言可實(shí)現數據的高度綜合性分析，它是一種新型的技術(shù)，各方面還有待進(jìn)一步提高.
數據挖掘是從大型數據庫或數據倉庫中發(fā)現并提取隱藏在其中的技術(shù)，目的就是幫助決策者尋找數據間的關(guān)系，發(fā)現被忽略的因素．它實(shí)現的具體方法有：決策樹(shù)方法，神經(jīng)網(wǎng)絡(luò )方法、遺傳算法、模糊方法論、統計分析方法等．數據倉庫技術(shù)、OLAP技術(shù)和數據挖掘技術(shù)的共同結合為決策支持系統的研究提供了新的方向．數據倉庫技術(shù)通過(guò)對各種基礎數據的轉換、集成和綜合，形成了面向主題的綜合數據．OLAP技術(shù)則在這些這數據的基礎上，分析其規律性和趨勢性．數據挖掘技術(shù)通過(guò)智能技術(shù)和其它工具對各種信息進(jìn)行比較，發(fā)現其內在的、隱藏的規律性，為決策者提供新的知識點(diǎn)．三者的結合使大量數據的管理更為方便，且把數據轉化為信息，為決策提供參考．
但是，這三者的結合并不是完整的決策支持系統，必須把它與傳統的決策支持系統相融合，實(shí)現定量和定性分析的充分結合，才可使決策支持系統的水平達到更高的層次．
5 數據倉庫的過(guò)渡形式—數據市場(chǎng)
雖然全球在大力鼓勵信息技術(shù) （IT ）的建設和研究，數據倉庫的研究也是一個(gè)新的研究方向，但它的建設也面臨許多的困難．這主要是由于數據倉庫是大型的數據處理系統，它的建立需要大量的資金、時(shí)間和不同組織間的合作，而且投資風(fēng)險也大，許多企業(yè)不愿為沒(méi)保障的項目投資，各種合作者在數據定義和處理上也有很大的差異，矛盾很難調和．當前提出了一種建設數據倉庫的過(guò)渡項目—數據市場(chǎng)（Data Mart DM）[6，7]．數據市場(chǎng)是一種高度集中的數據倉庫版本，它不同于數據倉庫自頂向下的建設步驟，而進(jìn)行由底向上的組織過(guò)程，針對某一具體的部門(mén)，如財務(wù)、銷(xiāo)售、生產(chǎn)部門(mén)，建立專(zhuān)門(mén)的具有數據倉庫特征的數據管理系統，這些系統只涉及到較少的使用者、資金和數據，在較短的時(shí)間內就可建設完成，實(shí)現投資的回收．同時(shí)，這種小型系統又是開(kāi)放的，可添加的，當數據倉庫技術(shù)發(fā)展到更成熟的階段，就可把各種數據市場(chǎng)融合為大型的數據倉庫．這種設計方法在開(kāi)發(fā)資金和技術(shù)上都能得到可靠的保障，是現實(shí)可行的．
下面以銷(xiāo)售情況分析為例,進(jìn)行數據市場(chǎng)中數據存儲形式的初步設計．
5.1 設計主題：銷(xiāo)售情況分析．
5.2 需求要求：本廠(chǎng)產(chǎn)品不同時(shí)期銷(xiāo)售情況比較，本廠(chǎng)產(chǎn)品不同地區銷(xiāo)售情況比較，產(chǎn)品銷(xiāo)售預測分析，預測情況與實(shí)際情況比較，各銷(xiāo)售部銷(xiāo)售業(yè)績(jì)比較，本廠(chǎng)產(chǎn)品與競爭廠(chǎng)家銷(xiāo)售情況比較．
5.3 數據模型化，根據需求的內容，設計系統數據存儲模型．在本例中設計為星型多維模型圖，見(jiàn)圖2．
圖2銷(xiāo)售分析星形多維模型圖
以上建立了數據市場(chǎng)的星型多維模型圖，為OLAP技術(shù)、數據挖掘技術(shù)的實(shí)施提供了良好的基礎，但只是做了初步的工作，還有許多工作正待進(jìn)一步的研究和實(shí)踐．
6 數據倉庫系統研究和發(fā)展動(dòng)態(tài)
數據倉庫系統的研究現在正處于在理論研究向應用研究過(guò)渡的時(shí)期，它的建設還有許多的問(wèn)題正待解決，例如：數據系統的實(shí)時(shí)更新，優(yōu)化索引的建立，實(shí)現在聯(lián)機狀態(tài)下對數據的維護和數據倉庫的物理結構的設計等．但毋庸質(zhì)疑的是數據倉庫技術(shù)將為決策者提供更有力的支持，據國外的調查研究表明，它的投資回收率三年內平均可達101%，最高達401%．我國中國銀行廣東省分行建立的金融管理信息系統，是數據倉庫系統在我國金融業(yè)應用的一個(gè)實(shí)例，并已取得了明顯的經(jīng)濟效益和社會(huì )效益．
數據倉庫技術(shù)應與計算機硬件技術(shù)、人工智能、數據挖掘技術(shù)、聯(lián)機分析等先進(jìn)的現代化技術(shù)結合起來(lái)，才能更容易的從海量的數據中提取有價(jià)值的信息，分析商業(yè)變化的規律，為決策者，特別是高層決策提供可靠的幫助．它必將成為信息時(shí)代的一種有效的、必不可少的技術(shù)．
作者簡(jiǎn)介：任錦鸞 女 1972年生 碩士在讀
作者單位：河北工業(yè)大學(xué) 管理學(xué)院 天津 300130
參考文獻
1 Peter J Weyman.The case for a process-driven approach to data warehousing.Database & Network Journal,1997,27(1)
2 Red Brick Systems.The data warehouse:achieving better decision faster.Database & Network Journal,1998,28(3)
3 Waynew W Eckerson.The case foe the datamart.Database & Network Journal,1997,27(5)
4 李子木.數據倉庫技術(shù)的研究現狀及未來(lái)方向.計算機科學(xué)，1998,25(4):57～59
5 張宜紅.數據倉庫的實(shí)現技術(shù).計算機科學(xué)，1998,25(2):67～69
6 黃啟春.面向主題的數據倉庫結構.計算機應用研究，1998(5):18～20
7 陳文偉.決策支持系統新結構體系.管理科學(xué)學(xué)報，1998,1(3):54～58
聯(lián)系客服
