前幾天參加了Oracle Golden Gate實(shí)時(shí)數據集成研討會(huì )，這里總結和分析一下Oracle的數據集成家族產(chǎn)品。
在數據集成方面，Oracle主要有三大產(chǎn)品：（1）Oracle新收購的Golden Gate，主要強調數據的實(shí)時(shí)性，號稱(chēng)數據提取最快，對源端開(kāi)銷(xiāo)影響最??；（2）Oracle原有的產(chǎn)品ODI（Oracle Data Integrator），用于數據集成的絕大多數場(chǎng)景；（3）Data Quality/Profiling，主要在ETL時(shí)保證數據質(zhì)量和分類(lèi)的輔助工具。和IBM的相應產(chǎn)品家族相比，幾乎一一對應。對于（2）和（3），IBM有收購的DataStage相應產(chǎn)品對應，對于（1）的實(shí)時(shí)性，IBM有MQ家族中的一個(gè)real-time版本對應。微軟Microsoft有相應（2）（3）的產(chǎn)品，（1）還沒(méi)有。
Golden Gate工作原理：在源數據庫端（支持各種數據庫）提取日志文件以獲得變化的發(fā)生，如Oralce數據庫就是監控Redo Log或Archieve Log，將變化的數據寫(xiě)入一個(gè)本地的跟蹤文件Trail File（可以想象成一個(gè)TXT文件），然后將記錄加密、壓縮后路由到目的端的跟蹤文件Trail File，最后在目標端用SQL寫(xiě)入目標數據庫。在目標和源端的跟蹤文件都有一個(gè)檢查點(diǎn)記錄最后一個(gè)成功的記錄位置。說(shuō)實(shí)話(huà)，Golden Gate的工作原理很簡(jiǎn)單，在國內ISV開(kāi)發(fā)的應用中也有用完全類(lèi)似的方法來(lái)實(shí)現功能，如銀行業(yè)的前置機項目和電信的BOSS項目中導程控交換機的話(huà)單。
Golden Gate的適用面還是相對窄的，主要是強調實(shí)時(shí)性的地方，說(shuō)白了就是ODI不能滿(mǎn)足要求的地方，否則客戶(hù)為什么不使用數據庫內置的ODI工具，還非要額外花錢(qián)購買(mǎi)Golden Gate呢？Oracle提供的適用場(chǎng)景例子有銀行信用卡欺詐檢測、網(wǎng)上促銷(xiāo)優(yōu)化、基于位置的服務(wù)、SCM的改善等。
Oracle用了很多市場(chǎng)化的溢美之詞來(lái)給Golden Gate貼金，搞清楚上面的工作原理后也就無(wú)需大驚小怪了。事務(wù)的可靠性是通過(guò)基于日志來(lái)提取變化實(shí)現的；最快的數據提取是通過(guò)近似記錄的傳遞，大大加快了傳遞的頻率來(lái)實(shí)現的；網(wǎng)絡(luò )帶寬占用小是通過(guò)由日志到記錄再到壓縮的記錄來(lái)實(shí)現的。
Oracle在會(huì )上舉了3個(gè)例子，分別是BlackBerry的制造者RIM，全球很大的旅游分銷(xiāo)者Sabre，以及據說(shuō)排名美國第二位的網(wǎng)上零售商O(píng)verStock?？上а葜v者對于這三家的業(yè)務(wù)都不熟，不清楚這三家到底將Golden Gate用于什么業(yè)務(wù)的什么地方，為什么一定要用Golden Gate，所以給人的感覺(jué)是說(shuō)服力不強。后面有一個(gè)女的演講者倒是相對詳細地介紹了RIM如何用Golden Gate，不過(guò)給我的感覺(jué)更像是一個(gè)反面案例。
RIM在全球有5個(gè)Supply Center，未來(lái)還會(huì )增加，比如由于和中國電信合作，將會(huì )在中國增加一個(gè)Supply Center。每個(gè)Supply Center要根據全球的需求和其他點(diǎn)的產(chǎn)量來(lái)決定自己的生產(chǎn)量，即每個(gè)Supply Center的決策者要同時(shí)看到其他center的最新數據，所以RIM采用了Golden Gate來(lái)將其他點(diǎn)的數據同步到本地，雙向需要總共20個(gè)同步操作。這種分布式的模式顯然和目前數據大集中的主流方向背道而馳，復雜性隨Supply Center的增加而大大增加，所以除了RIM是Golden Gate的鐵桿Fans外，實(shí)在找不出其他理由。為什么不在某個(gè)中心點(diǎn)建一個(gè)DW數據庫，將5個(gè)Supply Center的數據都同步到中心點(diǎn)就可以了，這樣只需要5個(gè)單向的同步操作。
Oracle將Golden Gate定位于兩種應用，一是DW中的ETL，另外一種是DR中的數據高可靠性。嚴格來(lái)說(shuō)，Oracle都有將Golden Gate的應用面擴大之嫌，更多的站在產(chǎn)品已有的功能上來(lái)想可以用于哪些方面，并希望說(shuō)服客戶(hù)按照Oracle的思路走。Golden Gate作為一家單獨的公司時(shí)，上述的兩個(gè)定位是沒(méi)錯，但被Oracle收購后，在Oracle的大家族中，再如此定位，Oracle顯然打著(zhù)多收三五斗的主意。
從ETL來(lái)說(shuō)，任何數據庫都帶自己的ETL工具，Oracle自己的是ODI。Golden Gate相比ODI的優(yōu)勢是更新頻率快，實(shí)時(shí)性好，但真正要用到該特性的機會(huì )很少。DW的應用通常以天的頻率更新就足夠了，如果實(shí)在需要加快，2小時(shí)做一次ETL增量操作即可。而且即使Golden Gate將數據ETL到了目標端DW數據庫，如果采用MOLAP的方式做BI，為了要得到實(shí)時(shí)性，還必須以非常高的頻率來(lái)執行刷新MOLAP Cube的操作，這時(shí)BI應用是不可用的。因此要得到Golden Gate實(shí)時(shí)性的好處，DW應用必須采用ROLAP的方式，該方式速度比MOLAP低，通常用于數據量非常大的高端場(chǎng)合（同樣情況下采用MOLAP，將占用非常大的磁盤(pán)空間），所以真要將Golden Gate用于ETL，只有實(shí)時(shí)性要求高，數據量非常大的極端場(chǎng)合。
從DR來(lái)說(shuō)，Golden Gate的優(yōu)勢是支持異構數據庫，網(wǎng)絡(luò )帶寬占用小。但前一個(gè)優(yōu)勢沒(méi)有人會(huì )真正使用，由于應用的限制，不會(huì )有人在DR Site采用異構數據庫如DB2、SQL Server來(lái)容災Oracle數據庫。失去了這個(gè)優(yōu)勢，相信絕大多數的人會(huì )采用Oracle的Date Guard來(lái)實(shí)現DR，一免費（包含在數據庫中），二支持同步模式（Golden Gate其實(shí)是異步模式），三Golden Gate要經(jīng)過(guò)兩次Trail File再寫(xiě)入SQL的過(guò)程也相對復雜。所以采用Golden Gate來(lái)做DR的機會(huì )也是很小的。
總結來(lái)說(shuō)，Golden Gate能發(fā)揮用武之地，必須具備數據實(shí)時(shí)性要求高，遠端Site點(diǎn)距離很遠（廣域網(wǎng)時(shí)延很大，帶寬占用小的優(yōu)勢發(fā)揮），遠端需要的數據必須經(jīng)過(guò)復雜處理等要求的場(chǎng)合，否則值不回Golden Gate的購買(mǎi)成本，或有更經(jīng)濟的替代方案。
聯(lián)系客服
