談?wù)勱P(guān)于數(shù)據(jù)建模的思考（一）

shawnsun007 2022-09-23 發(fā)布于北京

展開全文

關(guān)于數(shù)倉建設(shè)，之前分享過《詳解數(shù)據(jù)倉庫的實施步驟，實戰(zhàn)掃盲系列！》、《如何做好一個BI項目的規(guī)劃和需求定義？》

本到了分享數(shù)倉模型階段，發(fā)現(xiàn)有大佬寫得更專業(yè)，站在企業(yè)數(shù)據(jù)架構(gòu)的角度，企業(yè)數(shù)據(jù)模型是構(gòu)建數(shù)倉模型的基礎(chǔ)，所以接下來幾期推送，將分享幾篇關(guān)于數(shù)據(jù)建模的思考，歡迎關(guān)注！

文 | 王保強

關(guān)于數(shù)據(jù)建模在《DAMA數(shù)據(jù)管理知識體系指南中文版》中，第四章-數(shù)據(jù)架構(gòu)管理，第五章-數(shù)據(jù)開發(fā)管理，第九章-數(shù)據(jù)倉庫和商務(wù)智能管理中均有涉及。

數(shù)據(jù)建模也有多種多樣的方法，本文嘗試對相關(guān)數(shù)據(jù)建模方法進行解讀和全面梳理。

百度中關(guān)于數(shù)據(jù)建模的定義是“數(shù)據(jù)建模是一種用于定義和分析數(shù)據(jù)的要求和其需要的相應(yīng)支持的信息系統(tǒng)的過程。數(shù)據(jù)建模指的是對現(xiàn)實世界各類數(shù)據(jù)的抽象組織，確定數(shù)據(jù)庫需管轄的范圍、數(shù)據(jù)的組織形式等直至轉(zhuǎn)化成現(xiàn)實的數(shù)據(jù)庫。將經(jīng)過系統(tǒng)分析后抽象出來的概念模型轉(zhuǎn)化為物理模型后，在visio或erwin等工具建立數(shù)據(jù)庫實體以及各實體之間關(guān)系的過程。”

說起數(shù)據(jù)建模，不能不提數(shù)據(jù)架構(gòu)，數(shù)據(jù)建模是數(shù)據(jù)架構(gòu)的核心，數(shù)據(jù)架構(gòu)又是企業(yè)架構(gòu)的一部分。企業(yè)數(shù)據(jù)架構(gòu)整合整個企業(yè)的數(shù)據(jù)并標(biāo)準(zhǔn)化，是企業(yè)架構(gòu)的一部分，企業(yè)數(shù)據(jù)架構(gòu)是一套規(guī)范和文檔的集合，主要包括企業(yè)數(shù)據(jù)模型：企業(yè)數(shù)據(jù)架構(gòu)的核心；信息的價值鏈分析：使數(shù)據(jù)與業(yè)務(wù)流程及其他企業(yè)架構(gòu)組件相一致；相關(guān)數(shù)據(jù)交付架構(gòu)：包括數(shù)據(jù)庫架構(gòu)、數(shù)據(jù)整合架構(gòu)、數(shù)據(jù)倉庫/商務(wù)智能架構(gòu)、文檔和內(nèi)容架構(gòu)，以及元數(shù)據(jù)架構(gòu)。

關(guān)于企業(yè)架構(gòu)比較著名的是Zachman框架，它旨為信息技術(shù)企業(yè)提供一種可以理解的信息表述。它可以對企業(yè)信息按照要求分類和從不同角度進行表示。也被稱為企業(yè)架構(gòu)和企業(yè)信息系統(tǒng)結(jié)構(gòu)架構(gòu)。Zachman框架提煉和吸收了傳統(tǒng)方法中的一些精髓，它是一款獨立于信息企業(yè)所使用的工具的平臺。它可以根據(jù)抽象規(guī)則定義企業(yè)信息的一個方面.一個框架采用了一種六行,每行中包含36個子單元的格式，這六行包括了范圍，商業(yè)模式,系統(tǒng)模式，技術(shù)模式,組件和工作系統(tǒng))其中有六列分別為誰，什么，什么時間，什么地點，為什么和如何做。

數(shù)據(jù)架構(gòu)是用于定義數(shù)據(jù)，指導(dǎo)對數(shù)據(jù)資產(chǎn)的整合和控制、使數(shù)據(jù)投資與業(yè)務(wù)戰(zhàn)略相匹配的一套整體構(gòu)建規(guī)范，包括正式的數(shù)據(jù)命名、全面的數(shù)據(jù)定義、有效的數(shù)據(jù)結(jié)構(gòu)、精確的數(shù)據(jù)完整性規(guī)則以及健全的數(shù)據(jù)文檔。

——以上來自《DAMA數(shù)據(jù)管理知識體系指南中文版》

數(shù)據(jù)模型是定義業(yè)務(wù)實體以及運營和指導(dǎo)業(yè)務(wù)所需的那些事實。數(shù)據(jù)模型是一種分析和設(shè)計方法，用于定義和分析數(shù)據(jù)需求，設(shè)計滿足以上需求的邏輯和物理數(shù)據(jù)結(jié)構(gòu)。企業(yè)數(shù)據(jù)模型是反映數(shù)據(jù)需求和設(shè)計的一系列規(guī)范和相關(guān)圖表，企業(yè)數(shù)據(jù)模型是企業(yè)范圍內(nèi)的整合的、面向主題的數(shù)據(jù)模型，用來定義關(guān)鍵的數(shù)據(jù)生產(chǎn)者和消費者。這里的整合是組織中所有數(shù)據(jù)和規(guī)則都只被描述一次并無縫地相互配合。這里的面向主題是模型分解為跨多個業(yè)務(wù)流程和應(yīng)用系統(tǒng)的有共識的主題域。主題域關(guān)注最至關(guān)重要的業(yè)務(wù)實體。這里的關(guān)鍵是數(shù)據(jù)對組織高效運作和決策制定至關(guān)重要。

注意這里的提到的整合和面向主題和數(shù)據(jù)倉庫中有所不同。

在DAMA中關(guān)于企業(yè)數(shù)據(jù)模型是分層次的，核心是主題域，其下是概念視圖和邏輯視圖，并且企業(yè)數(shù)據(jù)模型是自上而下構(gòu)建的。

主題域模型是一系列主要主題域的列表，共同表達(dá)企業(yè)最關(guān)鍵領(lǐng)域。企業(yè)數(shù)據(jù)模型通過主題域來組織其余的模型層次；主題域是數(shù)據(jù)管理制度和數(shù)據(jù)治理的重要工具，定義了基于主題域的數(shù)據(jù)管理制度團隊的責(zé)任范圍。

主題（Subject）是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)進行綜合、歸類和分析利用的一個抽象概念，每一個主題基本對應(yīng)一個宏觀的分析領(lǐng)域。在邏輯意義上，它是對應(yīng)企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對象。例如“銷售分析”就是一個分析領(lǐng)域，因此這個數(shù)據(jù)倉庫應(yīng)用的主題就是“銷售分析”。

面向主題的數(shù)據(jù)組織方式，就是在較高層次上對分析對象數(shù)據(jù)的一個完整并且一致的描述，能刻畫各個分析對象所涉及的企業(yè)各項數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系。

（電商主題域）

（電信運營商主題域）

（電網(wǎng)主題域）

上圖均為從網(wǎng)絡(luò)上收集的主題域，可以看出企業(yè)主題的構(gòu)建是個極其復(fù)雜的系統(tǒng)工程，企業(yè)主題是分層，比如國網(wǎng)將企業(yè)主題分為12個主題域，在其下又包含65個二級主題域。

再則，主題域構(gòu)建的來源在哪里呢？首先是企業(yè)內(nèi)部需求驅(qū)動，但如果在短期內(nèi)構(gòu)建呢？企業(yè)內(nèi)部需求顯然是來不及的，這時候要考慮引入國際標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，當(dāng)然財務(wù)的有財務(wù)標(biāo)準(zhǔn)，GIS的有GIS標(biāo)準(zhǔn)，設(shè)備的有設(shè)備的標(biāo)準(zhǔn)，整合起來還是有很大困難的，但至少也比從頭到尾全部構(gòu)建來的快，另外一個捷徑是借鑒其他同類企業(yè)的標(biāo)準(zhǔn)了。

企業(yè)概念數(shù)據(jù)模型，企業(yè)數(shù)據(jù)模型的下一個層級是一系列針對每個主題域的概念數(shù)據(jù)模型圖表。是定義業(yè)務(wù)實體及這些業(yè)務(wù)實體之間的關(guān)系，業(yè)務(wù)實體是主要組成部分，是企業(yè)熟悉并感興趣的那些事物、人員、地點的概念和類別。業(yè)務(wù)實體的一個例子是實例。概念數(shù)據(jù)模型圖一般不描述業(yè)務(wù)實體的數(shù)據(jù)屬性，概念數(shù)據(jù)模型可能會包括實體之間多對多的業(yè)務(wù)關(guān)系，可以促進人們對業(yè)務(wù)的理解，以及有利于語義上的一致性，可以作為框架指導(dǎo)開發(fā)整合的信息系統(tǒng)，既包括交易處理系統(tǒng)，也包括商務(wù)智能分析系統(tǒng)。

（總體概念模型）

（客戶概念模型）

企業(yè)邏輯數(shù)據(jù)模型是在概念模型之下，增加了更多細(xì)節(jié)來反映每個實體的關(guān)鍵數(shù)據(jù)屬性，企業(yè)邏輯模型識別每個業(yè)務(wù)實體實例所需的數(shù)據(jù)，關(guān)鍵數(shù)據(jù)屬性代表了通用的數(shù)據(jù)需求以及那些被廣泛共享的數(shù)據(jù)屬性的標(biāo)準(zhǔn)定義，關(guān)鍵的數(shù)據(jù)屬性是指如果缺失則導(dǎo)致企業(yè)無法正常運作的屬性。

企業(yè)邏輯模型視圖反映企業(yè)視角，是中立的且不依賴于任何特定的需求用途和應(yīng)用背景，企業(yè)邏輯數(shù)據(jù)模型只應(yīng)該包括所有業(yè)務(wù)定義的詞匯表，和其他相關(guān)聯(lián)業(yè)務(wù)實體機器數(shù)據(jù)屬性的元數(shù)據(jù)。

在概念模型基礎(chǔ)上，再進行企業(yè)級邏輯數(shù)據(jù)模型的建設(shè)，但企業(yè)級邏輯數(shù)據(jù)模型一般都包含幾千上萬的個業(yè)務(wù)實體及其復(fù)雜的關(guān)系，這對于從概念模型到邏輯模型的構(gòu)建是個巨大的挑戰(zhàn)。

下一篇再探討一下物理模型，范式模型和維度建模以及數(shù)倉建模的相關(guān)方法。

【END】