欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

打開(kāi)APP
userphoto
未登錄

開(kāi)通VIP,暢享免費電子書(shū)等14項超值服

開(kāi)通VIP
數據治理--元數據

元數據是 對某個(gè)潛在信息性對象做出的陳述 。在瀏覽其他網(wǎng)頁(yè)的時(shí)候會(huì )看到元數據被稱(chēng)之為 “數據的數據”。為了更好的描述元數據到底是什么東西,我以一本《Metadata》書(shū)作為例子進(jìn)行說(shuō)明?!禡etadata》第二頁(yè)記錄著(zhù)該書(shū)的 CIP 信息、作者、出版社、書(shū)號、定價(jià)、印次、字數等信息,而這些信息都是用于描述《Metadata》這本書(shū)的元數據。

一條元數據記錄就是關(guān)于一個(gè)資源的主謂賓陳述集合。例如:達芬奇(賓語(yǔ))是蒙娜麗莎(主語(yǔ))的創(chuàng )作者(謂語(yǔ))。

主數據、元數據與參考數據

元數據

元數據(meta-data)是描述企業(yè)數據的相關(guān)數據,指在IT系統建設過(guò)程中所產(chǎn)生的有關(guān)數據定義,目標定義,轉換規則等相關(guān)的關(guān)鍵數據,包括 對數據的業(yè)務(wù)、結構、定義、存儲、安全等各方面對數據的描述 。地市表這個(gè)實(shí)體的數據模型如何進(jìn)行定義正是元數據所關(guān)心的范疇。

元數據可以說(shuō)是企業(yè)的數據地圖,它直接反映了企業(yè)中有什么樣的數據,數據是如何存放的,例如,數據結構是什么樣子,數據與業(yè)務(wù)之間的關(guān)系是怎么樣,數據與數據之間的關(guān)系是怎么樣,數據有什么樣的安全需求,數據有什么樣的存儲需求。

主數據

主數據(main data)主要是指經(jīng)實(shí)例化的企業(yè) 關(guān)鍵數據 。

我們在上面設計完成數據模型設計的“城市表”中填寫(xiě)了相應的城市數據,例如,北京、上海、廣州、南寧等等。這些在城市表中 填充的數據 ,正是組織中國地理協(xié)會(huì )的主數據,因為這些數據是中國地理協(xié)會(huì )這個(gè)組織的關(guān)鍵業(yè)務(wù)實(shí)體, 它為組織的業(yè)務(wù)開(kāi)展提供關(guān)聯(lián)環(huán)境 ,而且它可能在企業(yè)業(yè)務(wù)開(kāi)展過(guò)程中 被反復引用 。針對這些核心關(guān)鍵數據,組織和企業(yè)無(wú)論從數據的質(zhì)量、一致性、可用性、管理規范等方面都應該有著(zhù)最嚴格的數據要求。

主數據就是企業(yè)被不同運營(yíng)場(chǎng)合反復引用關(guān)鍵的狀態(tài)數據,它需要在企業(yè)范圍內保持高度一致。它可以隨著(zhù)企業(yè)的經(jīng)營(yíng)活動(dòng)而改變,例如,客戶(hù)的增加,組織架構的調整,產(chǎn)品下線(xiàn)等;但是, 主數據的變化頻率應該是較低的 。所以,企業(yè)運營(yíng) 過(guò)程產(chǎn)生過(guò)程數據,如生產(chǎn)過(guò)程產(chǎn)生各種如訂購記錄、消費記錄等,一般不會(huì )納入主數據的范圍 。當然,在不同行業(yè),不同企業(yè)對主數據有不同的看法和做法,正如我們與國內大型航空企業(yè)的實(shí)施相關(guān)數據項目時(shí),也在為航班動(dòng)態(tài)是不是主數據而糾結不已。

個(gè)人覺(jué)得 主數據具有跨行業(yè)也能存在能力,同時(shí)實(shí)例數據變更是低頻的。 例如商品價(jià)格信息、會(huì )員信息是主數據,而訂單信息不是主數據,它具有高頻更新存在。因而怎么算高頻就是一個(gè)仁者見(jiàn)仁智者見(jiàn)智的情況了,需要結合自己所在的行業(yè)進(jìn)行判斷。

參考數據——數據的字典

在本文引用的假設案例中,我們將會(huì )注意到剛才填寫(xiě)的地市這類(lèi)數據有些列,如省份、城市類(lèi)型等。 如果沒(méi)有缺少上下文的環(huán)境,我們是無(wú)法理解其具體含義 ,這時(shí)候我們往往引入參考數據(reference data)加以解釋和理解。

參考數據是增加數據可讀性、可維護性以及后續應用的重要數據。例如,你看到“性別”的這個(gè)字段,很可能是1代表男性、2代表女性。在許多企業(yè)中有這樣的約定俗成,而更多的參考數據可能記錄在開(kāi)發(fā)人員和運營(yíng)人員的大腦當中。但問(wèn)題是一旦這些人離開(kāi),您系統里面的數據就成了一堆沒(méi)有注釋的天書(shū)。

大家可能覺(jué)得,這所謂參考數據不就是數據字典嗎?對,我們在很多系統里面都會(huì )有這樣和那樣的數據字典。但是正是由于這些數據字典僅局限于個(gè)別系統而沒(méi)有統一標準,從一個(gè)側面間接造就了大量的數據孤島。企業(yè)為了進(jìn)行更有效率的數據整合、數據共享和數據分析應用,開(kāi)始嘗試對參考數據進(jìn)行企業(yè)或者部門(mén)層面的整合和管理,利用參考數據集記錄系統嘗試為范圍內的IT系統中的數據庫提供統一的參考數據。

小結

主數據則是真實(shí)的企業(yè)業(yè)務(wù)數據,是企業(yè)的關(guān)鍵業(yè)務(wù)數據。

參考數據則是對數據的解釋?zhuān)槍σ恍祿秶腿≈档臄祿忉專(zhuān)屓藗內菀鬃x取相關(guān)的數據。

元數據是對數據的描述,用于描述企業(yè)數據的所有信息和數據,如結構、關(guān)系、安全需求等,除增加數據可讀性外,也是后續數據管理的基礎。

一般而言,企業(yè)中這三類(lèi)數據與其它數據的數據量、質(zhì)量需求,更新頻率、數據生命周期的關(guān)系大致如下圖:

中臺與元數據

中臺強調的是復用性,利用提高服務(wù)的重復使用,降低開(kāi)發(fā)時(shí)間和提高工作效率。但現實(shí)生活中,大量的數據孤島和重復建設存在,從而存在大量的數據指標定義不同帶來(lái)的歧義問(wèn)題。由于不同的項目 PM 管理風(fēng)格迥異,存在有些必要信息沒(méi)有進(jìn)行存檔,而是通過(guò)口口相傳的不靠譜形式,信息準確性大打折扣。

數據中臺建設中需要尋找共性數據,通過(guò)數據建模,將其進(jìn)行抽取形成一張公共的數據大寬表。如何快速了解掌握數據關(guān)系,定位表與表之間的共性部分,往往需要對業(yè)務(wù)有一定的了解,但現實(shí)情況大量的開(kāi)發(fā)人員只了解自己負責的那一個(gè)模塊內容,對于其他人或者項目的內容一無(wú)所知。

而元數據就是為了消除二義性,同時(shí),對元數據的管理,形成結構化的權威數據,降低數據傳遞成本和提高準確性。

常見(jiàn)元數據分類(lèi)
  • 元數據包括業(yè)務(wù)元數據、技術(shù)元數據和管理元數據。
  • 常見(jiàn)的業(yè)務(wù)元數據包括:業(yè)務(wù)定義、業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)規則、業(yè)務(wù)指標等。
  • 常見(jiàn)的技術(shù)元數據包括:存儲位置、數據模型、數據庫表、字段長(cháng)度、字段類(lèi)型、ETL腳本、SQL腳本、接口程序、數據關(guān)系等。
  • 常見(jiàn)的管理元數據包括:數據所有者、數據質(zhì)量定責、數據安全等級等。
業(yè)務(wù)問(wèn)題

在沒(méi)有元數據管理的情況下,從使用問(wèn)題、管理問(wèn)題、數據問(wèn)題等三個(gè)方面進(jìn)行說(shuō)明:

使用問(wèn)題

  • 查看表結構信息不方便(查看、檢索、表復用)
  • 表依賴(lài)關(guān)系不清楚(血緣)
  • 表信息缺少(表維護者,表狀態(tài))

管理問(wèn)題

  • 表權限管理
  • 數據管理
  • 數據質(zhì)量監控

數據問(wèn)題

  • 建表規則混亂,沒(méi)有統一標準
  • 表結構變更之后,信息不同步
如何設計元數據管理

數據治理數倉構建名詞說(shuō)明業(yè)務(wù)板塊

定義數據倉庫的名稱(chēng)和業(yè)務(wù)空間,以企業(yè)內一個(gè) 相對獨立的業(yè)務(wù) 為分配單元。例如,如果業(yè)務(wù)涉及零售、文娛,且系統間 相對獨立 ,則需要構建兩個(gè)業(yè)務(wù)板塊,即零售、文娛。如果業(yè)務(wù)僅涉及零售,且業(yè)務(wù)內的系統間隔離較少,則只需要構建一個(gè)業(yè)務(wù)板塊,即零售。

公共定義

定義企業(yè)構建數據所需的全局概念對象或參數,以 保證全局概念統一 。當定義完成后,系統內其他指標(例如派生指標)可以按需統一、通用化引用這些對象,例如統計周期,年、月、日、每周、每日。

項目管理

項目是一種 物理空間上 的劃分。項目管理,即用戶(hù)在數據中臺建設過(guò)程中,對物理資源及開(kāi)發(fā)人員進(jìn)行隔離化管理。 一個(gè)業(yè)務(wù)板塊可以包含多個(gè)項目 ,每個(gè)系統成員可以加入多個(gè)不同的項目。

維度

維度即 進(jìn)行統計的對象 。通常情況下,維度是 實(shí)際存在 、不因事件發(fā)生就存在的實(shí)體。創(chuàng )建維度,即從頂層規范業(yè)務(wù)中的實(shí)體(主數據),并保證實(shí)體的唯一性。例如訂單、商品。

業(yè)務(wù)過(guò)程

業(yè)務(wù)過(guò)程即業(yè)務(wù)活動(dòng)中的 所有事件 (它是一個(gè)事件集合)。創(chuàng )建業(yè)務(wù)過(guò)程,即從頂層規范業(yè)務(wù)中事務(wù)內容的類(lèi)型及唯一性。因此業(yè)務(wù)過(guò)程是一個(gè)不可拆分的行為事件。例如下單、支付、退款都是業(yè)務(wù)過(guò)程。

指標

指標分為原子指標和派生指標。

原子指標:對指標統計口徑(即計算邏輯)、具體算法的一個(gè)抽象,是業(yè)務(wù)定義中不可再拆分的指標,例如支付金額。一般都為數值(統計)。 原子指標=業(yè)務(wù)過(guò)程(動(dòng)作) 度量, 如支付(事件)金額(度量)。

派生指標:業(yè)務(wù)中常用的統計指標。派生指標=原子指標 業(yè)務(wù)限定 統計周期 統計粒度。例如,自然周、會(huì )員、采用優(yōu)惠券支付的訂單。

統計粒度

統計的最小顆粒度,數據唯一性的保證,統計分析的對象或視角,定義數據需要匯總的程度,可以理解為聚合運算時(shí)的分組條件(類(lèi)似于SQL中g(shù)roup by的對象)。 粒度是維度的一個(gè)組合,指明您的統計范圍 。例如,某個(gè)指標是某個(gè)賣(mài)家在某個(gè)省份的成交額,則粒度就是賣(mài)家、省份這兩個(gè)維度的組合。

這里需要注意粒度與維度的關(guān)系,通過(guò)一個(gè)或多個(gè)維度構建粒度。

流程

  • 維度構建 DIM 維度模型。
  • 數據域與項目是相互獨立的不同統計指標,但同屬于同一個(gè)業(yè)務(wù)板塊下面。
  • 以源表和維表構建得到事實(shí)明細表。
  • 以原子指標、業(yè)務(wù)限定、統計周期、統計粒度構建得到派生指標,結合統計粒度構建 DWS 匯總表

示例

本站僅提供存儲服務(wù),所有內容均由用戶(hù)發(fā)布,如發(fā)現有害或侵權內容,請點(diǎn)擊舉報。
打開(kāi)APP,閱讀全文并永久保存 查看更多類(lèi)似文章
猜你喜歡
類(lèi)似文章
你、我、他的中臺 | 從數據中臺到AI中臺
數據建模方法及步驟
什么是數據標準?如何做好數據標準管理落地?
如何構建銀行數據倉庫
企業(yè)數據資產(chǎn)盤(pán)點(diǎn)與數據標準梳理方法
《數據標準管理實(shí)踐白皮書(shū)》全文
更多類(lèi)似文章 >>
生活服務(wù)
分享 收藏 導長(cháng)圖 關(guān)注 下載文章
綁定賬號成功
后續可登錄賬號暢享VIP特權!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服

欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久