商業(yè)智能的性能
2007-06-01 10:44:43
數據倉庫引擎是BI中的核心，它的性能高低直接決定了BI的表現。
一個(gè)完整的BI（Business
Intelligence）應用通常涉及數據倉庫引擎及其相關(guān)的設計建模工具、ET
L工具、前端展現工具等。這里的數據展現主要作用是以圖表、
Dashboard等形式將結果呈現給用戶(hù)；ETL負責將原始數據進(jìn)行抽取、轉化、清洗、裝載進(jìn)數據倉庫；數據倉庫負責執行數據的
存儲和管理，并執行前端展現工具提交的各種查詢(xún)分析任務(wù)。在BI應用中，數據倉庫類(lèi)似于汽車(chē)的引擎，居于核心地位，它的性能高低直接決定了BI應用的響應速度。而在大型BI應用中，性能是一個(gè)非常關(guān)鍵的問(wèn)題，特別是那些有著(zhù)海量數據、需要完成復雜查詢(xún)任務(wù)的系統，數據倉庫引擎的選擇就更為關(guān)鍵。
不同的技術(shù)路線(xiàn)
綜觀(guān)目前的數據倉庫市場(chǎng)，能提供這一個(gè)工具的供應商并不多，一線(xiàn)的廠(chǎng)商主要有Teradata、
IBM、
Oracle、
Sybase、Microsoft等。盡管同為數據倉庫引擎，但是這些供應商各自所走的技術(shù)路線(xiàn)并不同，不同的技術(shù)也導致了它們的產(chǎn)品具有完全不同的特點(diǎn)。
Teradata應該算最為特立獨行的一個(gè)。Teradata數據倉庫主要運行在NCR WorldMark SMP硬件的
Unix操作系統平臺上（該公司也提供基于
Windows NT的Teradata），它的高性能主要通過(guò)Teradata與NCR硬件平臺海量并行處理
服務(wù)器（Massively Parallel
Processing, MPP）結合，以及采用特有BYNET協(xié)議和查詢(xún)優(yōu)化等技術(shù)實(shí)現并行等機制來(lái)實(shí)現。由于采用一些專(zhuān)有的硬件和技術(shù)，因此，價(jià)格較高，是數據倉庫中的貴族。
IBM、Oracle和Microsoft的數據倉庫引擎屬于同一類(lèi)，它們都提供
數據庫產(chǎn)品，其數據倉庫引擎和數據庫引擎從技術(shù)上說(shuō)有很多相似之處。這種技術(shù)路線(xiàn)給它們帶來(lái)的好處是，其數據倉庫解決方案很自然地從數據庫技術(shù)拓展和延伸而來(lái)，集成性、延續性比較突出。
與IBM、Oracle等相比，雖然Sybase也同時(shí)提供數據庫和數據倉庫產(chǎn)品，但是，其Sybase的數據倉庫引擎卻走了一條與其數據庫、也與Oracle、IBM完全不同的技術(shù)路線(xiàn)。其中最大的不同就是在Sybase數據倉庫引擎（即Sybase IQ）中采用列存儲架構，而所有關(guān)系型數據庫引擎廣泛采用的則是行式存儲。
列存儲技術(shù)
在關(guān)系型數據庫內核中，數據庫是按行來(lái)存儲數據記錄的，也就是說(shuō)數據庫表最典型的表示為一條數據頁(yè)鏈，每一數據頁(yè)中有一行或者多行數據記錄。而在數據倉庫應用中，從查詢(xún)性能的觀(guān)點(diǎn)出發(fā)，這種存儲方式并不可取。因為在OLTP（在線(xiàn)事務(wù)處理，即傳統數據庫應用）環(huán)境中，一個(gè)事務(wù)處理是與一行（或多行）數據有效對應的，而在OL
AP（在線(xiàn)分析處理，即BI應用）環(huán)境中，以查詢(xún)處理最多，而查詢(xún)是基于特定的列來(lái)選擇的。Sybase IQ是按列來(lái)組織數據的，每張表是一組相互獨立的頁(yè)鏈，每個(gè)頁(yè)鏈代表表中的一列。
基于列存儲所帶來(lái)的一個(gè)直接好處是，在壓縮方面比傳統的關(guān)系型數據更加有效。這是因為同一列的所有數據域有相同的類(lèi)型，因而每一列都可以為優(yōu)化的效率和檢索進(jìn)行壓縮。而基于行的存儲，各個(gè)不同的域擁有各不相同的數據類(lèi)型，盡管這非常適合交易進(jìn)程，但并不適合壓縮，因為壓縮很可能只能采用一種最低通用原則。
事實(shí)上，在壓縮效果上，Sybase非常自信。Sybase中國公司CTO盧東明對記者表示，Sybase IQ能保證至少3倍以上的壓縮比。高的壓縮能力能帶來(lái)存儲成本的節約，有人曾經(jīng)對數據的存儲成本進(jìn)行過(guò)估算，目前每管理1TB數據的軟硬件加人力成本大約為5萬(wàn)美元左右。
列存儲的另一個(gè)好處是性能上的提高。在行存儲方式的情況下，如果需要訪(fǎng)問(wèn)數據必須讀出完整的一行，而不管你實(shí)際感興趣的是其中哪一個(gè)或幾個(gè)域。因此，這可能形成只需要50K的數據卻需要讀出500k的情況。而在采用列存儲方式時(shí)，可以只讀出所需要的列數據。讀出數據量的減少直接后果就是性能的提高。特別是在處理大數據量、復雜的跨多表查詢(xún)時(shí)，列存儲在性能上的提升非常明顯。
除此之外，Sybase IQ還采用了其他的一些專(zhuān)有技術(shù)，如位圖索引和BitWise索引技術(shù)等。“由于這些技術(shù)的采用，最終保證了Sybase IQ查詢(xún)速度的極大改進(jìn)，這種速度的提高能達到10倍以上。因此，我們認為Sybase IQ的技術(shù)是革命性的。”Sybase的盧東明在接受記者采訪(fǎng)時(shí)表示。
目前，上述三種不同的數據倉庫技術(shù)到底哪種更好，各家都有自己的說(shuō)法。因此，對用戶(hù)而言，具體選擇時(shí)還需多了解同類(lèi)型的BI應用。不過(guò)，用戶(hù)倒是樂(lè )觀(guān)其成，畢竟競爭可以帶給用戶(hù)更好的技術(shù)和產(chǎn)品。（ccw）
