摘要：基于DB和DW的中間層ODS的數據存儲技術(shù)，從應用的角度分析設計了一個(gè)商業(yè)系統的即時(shí)OLAP系統。通過(guò)使用ODS克服了利用DW進(jìn)行決策過(guò)于臃腫且不適合企業(yè)即時(shí)的中層決策的問(wèn)題。
關(guān)鍵詞：數據倉庫（DW），操作數據存儲(ODS)，即時(shí)聯(lián)機分析處理(OLAP)
1．問(wèn)題提出
面向主題的數據倉庫（DW）概念的提出，不但為有效地支持企業(yè)經(jīng)營(yíng)管理決策提供了一個(gè)全局一致的數據環(huán)境，也為歷史數據，綜合數據的處理提出了一種行之有效的解決方法。數據倉庫概念的提出也清楚的把數據處理劃分為了操作型處理和分析型處理兩種不同類(lèi)型，從而建立起了DB-DW的兩層體系結構。但是有很多情況，DB-DW的兩層體系結構并不能涵蓋企業(yè)所有的數據處理要求，因為企業(yè)的數據處理雖然可以較為粗略的劃分成操作型和分析型兩部分，但這兩種類(lèi)型也不是涇渭分明的，它們之間也有交叉的情況，譬如，有些是操作型的，但不適合在操作型DB中進(jìn)行，而又有一些是分析型處理，但不適合在DW中進(jìn)行。
比如我們開(kāi)發(fā)的一個(gè)醫藥銷(xiāo)售公司的決策系統，按要求公司經(jīng)理要解決什么商品該進(jìn)貨了，各種商品近來(lái)的贏(yíng)利情況，客戶(hù)的信任情況等等。要回答這些問(wèn)題，他必須首先要弄清楚藥品的存貨是否充裕，還要了解該藥品近期的銷(xiāo)售情況，另外還要和別的藥品的庫存和銷(xiāo)售情況進(jìn)行比較等。如果我們把這個(gè)決策分析過(guò)程放在原有的面向應用的分散DB系統中去完成的話(huà)，不一定得到每個(gè)部門(mén)的準確一致的信息，而要進(jìn)行各部門(mén)間的協(xié)調配合，工作量勢必會(huì )很大，但如果把其放在DW中去進(jìn)行分析的話(huà)，不但費時(shí)，而且會(huì )有很多的不必要的數據檢索存在。
對于上述問(wèn)題可以借助于DB-DW的中間層ODS（操作數據存儲）來(lái)解決。它象DW一樣是一種面向主題，集成的數據環(huán)境，又象操作型DB一樣包含著(zhù)全局一致的，細節的當前的數據。建立基于ODS的即時(shí)OLAP應用是應中層決策分析之需要的一種解決方案，它能很好的適應企業(yè)日常頻繁的中低層次的決策分析應用。
2．ODS技術(shù)和即時(shí)OLAP
2.1 操作數據存儲（ODS）
是用于支持企業(yè)日常的全局應用的數據集合，ODS的數據具有面向主題、集成的、可變的和數據是當前的或是接近當前的4個(gè)基本特征。ODS是介于DB和DW之間的一種數據存儲技術(shù)，和原來(lái)面向應用的分散的DB相比，ODS中的數據組織方式和數據倉庫（DW）一樣也是面向主題的和集成的，所以對進(jìn)入ODS的數據也象進(jìn)入數據倉庫的數據一樣進(jìn)行轉化和集成處理。另外ODS只是存放當前或接近當前的數據，如果需要的話(huà)還可以對ODS中的數據進(jìn)行增、刪和更新等操作，雖然DW中的數據也是面向主題和集成的，但這些數據一般不進(jìn)行修改，所以ODS和DW的區別主要體現數據的可變性和當前性上。
2.2 即時(shí)OLAP
ODS主要是適應企業(yè)級的全局應用的需要而產(chǎn)生的，對它的應用主要是在即時(shí)"OLAP"的數據處理上。
我們在DW上實(shí)現OLAP主要是為了進(jìn)行長(cháng)期趨勢分析，DW中是數據量很大，所以OLAP應用的運行時(shí)間都比較長(cháng)。在企業(yè)日常經(jīng)營(yíng)中，常常要進(jìn)行一些非戰略的中層決策以實(shí)現企業(yè)的日常管理和控制，譬如，醫藥銷(xiāo)售公司經(jīng)理要每周查看藥品的銷(xiāo)售情況，各地區的藥品銷(xiāo)售情況，業(yè)務(wù)員的業(yè)績(jì)情況等等，并且這種決策過(guò)程并不需要參考太多的歷史數據，主要是參考當前的或比較當前的數據，還需要比較快的執行速度，可以把這種分析決策稱(chēng)為"即時(shí)OLAP"。顯然利用DW不但運行的效率是無(wú)法讓人忍受而且也很難準確的反映近期的真實(shí)情況，ODS的建立克服了DW系統過(guò)于臃腫，處理時(shí)間過(guò)長(cháng)和不適應即時(shí)OLAP的情況，提供給中層決策者以快捷準確的分析信息。
2.3 從DB向ODS轉化的實(shí)現機制
在DB-ODS的體系結構中，ODS的實(shí)現機制表現在其記錄系統定義的數據傳送關(guān)系上，如圖1所示。操作型環(huán)境中各分散的DB記錄經(jīng)過(guò)過(guò)濾后形成了ODS系統的記錄系統，向ODS系統中提供數據。記錄系統定義了原有分散DB中那些數據送往ODS，并指明與ODS數據相應的數據表。通過(guò)ODS的定義可以把分散于應用的DB中的數據復制到ODS中去，這樣原來(lái)的分散DB中的記錄就形成了ODS中的面向主題的記錄。ODS維護著(zhù)一個(gè)分析型的環(huán)境，數據處理簡(jiǎn)單得多，實(shí)際需要的支持技術(shù)也很少。
圖1 從DB向ODS轉化機制
上圖沒(méi)有給出從ODS向DB轉化的實(shí)現機制，這種情況主要用在有關(guān)企業(yè)全局操作應用的情況，可以通過(guò)在ODS系統中存放一些參數表，它所反應的關(guān)系是ODS全局更新時(shí)必須要反應到所有DB中的相關(guān)記錄。此時(shí)，ODS是一個(gè)操作型環(huán)境，實(shí)現ODS所要求的技術(shù)跟原來(lái)的面向應用的分散的數據庫系統一樣，包括事務(wù)管理、封鎖管理、數據恢復等等技術(shù)。
3 基于ODS的藥品銷(xiāo)售即時(shí)OLAP應用的設計
我們知道ODS是介于DB和DW之間的一種新的數據存儲技術(shù)，它兼有DW和DB的特點(diǎn)，在開(kāi)發(fā)即時(shí)OLAP系統時(shí)，其開(kāi)發(fā)方式更接近DW的開(kāi)發(fā)模式。
3.1 建立ODS
該藥品銷(xiāo)售公司原本的一個(gè)銷(xiāo)售數據庫管理系統數據庫結構如圖2所示，是分布在
ACCESS97數據庫中，分屬于財務(wù)，銷(xiāo)售和庫存等幾個(gè)數據庫中。
根據前面的分析，優(yōu)先選擇銷(xiāo)售區域，客戶(hù)和藥品三個(gè)在銷(xiāo)售領(lǐng)域最關(guān)切的的主題，把事務(wù)數據庫中涉及到此領(lǐng)域的數據轉入到ODS中。ODS（主要對照DW）邏輯模型的類(lèi)別主要有星形模型，雪花模型和混合模型等三種，我們在開(kāi)發(fā)ODS邏輯模型時(shí)用了星形模型。一個(gè)簡(jiǎn)單的星形模型由一個(gè)事實(shí)表和若干個(gè)維表組成，而復雜的的星形模型可能包括數百個(gè)維表。星形模型從支持商務(wù)決策的角度定義了數據實(shí)體，它能客觀(guān)在實(shí)體中反映商務(wù)運行的規則和屬性，與后兩種模型相比，設計相對簡(jiǎn)單，更容易被用戶(hù)所理解和接受，圖3是本系統的邏輯模型。
定義記錄系統時(shí)，主要考慮如何將主題域的各個(gè)屬性分配到應用系統中去，這里主要考慮把各主題中的屬性分配到藥品銷(xiāo)售的操作環(huán)境中的銷(xiāo)售和庫存等子系統中。
3.2 數據采集
數據采集過(guò)程跨越分散DB操作環(huán)境和ODS分析環(huán)境。本系統中數據采集過(guò)程較為簡(jiǎn)單，只需要按照ODS記錄系統和ODS記錄系統定義兩者之間的映射關(guān)系，將DB中的數據傳送到ODS，這里我們采用了SQL SERVER 7.0的DTS數據轉換服務(wù)，SQL SERVER 7.0的DTS（Data Transformation Services）提供了數據的提取，轉換和裝載的功能。利用SQL SERVER 7。0的輸入輸出向導創(chuàng )建DTS包，在復制時(shí)使用SNAPSHOT（快照類(lèi)型）對ODS中的數據進(jìn)行清除和重建，由于數據量不是很大，故可以取得很好的執行效率。
3.3 系統用戶(hù)界面的實(shí)現
最終用戶(hù)界面利用DELPHI 5.X來(lái)實(shí)現，這里有幾個(gè)有利的地方，DELPHI提供了一組決策支持元件，用于對數據進(jìn)行全方位多層次的分析。這些決策支持元件包括:
.TDecisionCube 這是以個(gè)多維數據倉庫。
.TDecisionQuery 類(lèi)似于TQuery，用于與數據庫的連接。
.TDecisionSource 類(lèi)似于TDatasource，可以為數據透視表，柵格，圖表等元件提供數據源連接。
.TDecisionPivot 用于對柵格的形式顯示多維的數據。
.TDecisionGraph 以圖表的形式顯示數據，可以按照不同的字段重新組織圖表。
通過(guò)把所建的ODS數據表通過(guò)連接導入到數據倉庫元件（TDecisionCube）中，即可利用其他的決策元件來(lái)實(shí)現多維柵格和圖表的顯示，給用戶(hù)提供一個(gè)直觀(guān)，明了的分析界面。
3.4 系統的體系結構
圖4 系統的體系結構
4．結束語(yǔ)
ODS技術(shù)的引入和應用，為企業(yè)在日常經(jīng)營(yíng)中進(jìn)行即時(shí)OLAP提供了一種解決方案使得企業(yè)無(wú)須建立一個(gè)"臃腫"的DW，就可以進(jìn)行一些非戰略性的的中層決策，來(lái)實(shí)現對企業(yè)的日常管理和控制，同時(shí)也能獲得較快的響應速度。
同時(shí)，企業(yè)在構建DW時(shí)，可以考慮DB-ODS-DW的三層模式來(lái)開(kāi)發(fā)DW，進(jìn)而更進(jìn)一步的開(kāi)發(fā)具有全局應用的高層OLAP決策系統，以實(shí)現企業(yè)的總體決策和即時(shí)決策相互補充。
參考文獻
[1] 王珊等 數據倉庫技術(shù)與聯(lián)機分析處理 科學(xué)出版社 1998.6
[2] W.H.Inmon /王志海等譯 Building the Data Warehouse 機械工業(yè)出版社 2000.5
[3] MichaelCorey MichaelAbbey/希望圖書(shū)創(chuàng )作室譯 SQL Server 7 Data Warehousing 北京希望電子出版社 2000.1
聯(lián)系客服
