ETL,是Extract-Transform-Load的縮寫(xiě),即數據抽取、轉換及加載,用來(lái)描述將數據從來(lái)源端經(jīng)過(guò)抽?。╡xtract)、轉換(transform)、加載(load)至目的端的過(guò)程。ETL一詞較常用在數據倉庫,但其對象并不限于數據倉庫。
ETL所描述的數據操作過(guò)程,一般常見(jiàn)的作法包含ETL或是ELT(Extract-Load-Transform),并且混合使用。通常越大量的數據、復雜的轉換邏輯、目的端為較強運算能力的數據庫,越偏向使用ELT,以便運用目的端數據庫的平行處理能力。
ODS
ODS是Operational Data Store的縮寫(xiě),即操作性數據庫。
ODS是數據倉庫體系結構中的一個(gè)可選部分。ODS操作性數據,是作為數據庫到數據倉庫的一種過(guò)渡,ODS的數據結構一般與數據來(lái)源保持一致,便于減少ETL的工作復雜性,而且ODS的數據周期一般比較短。
ODS具備數據倉庫的部分特征和OLTP系統的部分特征。數據倉庫隨著(zhù)時(shí)間和業(yè)務(wù)的變化,會(huì )不斷往里追加數據內容,也會(huì )不斷刪掉舊的數據內容。數倉中的每個(gè)表格,都會(huì )有對應的“生命周期”。
ODS在業(yè)務(wù)系統和數據倉庫之間形成一個(gè)隔離層。ODS為了考慮后續可能需要追溯數據問(wèn)題,因此對于這一層就不建議做過(guò)多的數據清洗工作,原封不動(dòng)地接入原始數據即可,至于數據的去噪、去重、異常值處理等過(guò)程可以放在后面的DWD層來(lái)做。
inmon贊成使用高度范式化的數據模型來(lái)為ODS建模,而kimball提倡使用維度建模來(lái)實(shí)現ODS,和后面的DW、DM使用統一的維表。?
DWD
?
聯(lián)系客服