與數(shù)據(jù)同行 278篇原創(chuàng)內(nèi)容 公眾號(hào) 這是一篇關(guān)于數(shù)據(jù)標(biāo)準(zhǔn)的綜述,希望通過(guò)讀這篇文章,你會(huì)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)有全新的認(rèn)識(shí)。 注:數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范相關(guān)文檔見(jiàn)文末下載地址,包括《數(shù)據(jù)標(biāo)準(zhǔn)管理實(shí)踐白皮書(shū)》、《數(shù)據(jù)資產(chǎn)管理實(shí)踐白皮書(shū)》、《JRT 0105-2014 銀行數(shù)據(jù)標(biāo)準(zhǔn)定義規(guī)范》、《數(shù)據(jù)資產(chǎn)管理實(shí)踐白皮書(shū)、《證券期貨業(yè)統(tǒng)計(jì)指標(biāo)標(biāo)準(zhǔn)指引(2019 年修訂)》、《GBT 36073-2018 數(shù)據(jù)管理能力成熟度評(píng)估模型》等 一、數(shù)據(jù)標(biāo)準(zhǔn)的定義 1、中國(guó)信通院《數(shù)據(jù)標(biāo)準(zhǔn)管理實(shí)踐白皮書(shū)》[1][2]: 數(shù)據(jù)標(biāo)準(zhǔn)(Data Standards)是指保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準(zhǔn)確性的規(guī)范性約束。在數(shù)字化過(guò)程中,數(shù)據(jù)是業(yè)務(wù)活動(dòng)在信息系統(tǒng)中的真實(shí)反映。由于業(yè)務(wù)對(duì)象再信息系統(tǒng)中以數(shù)據(jù)的形式存在,數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)管理活動(dòng)均需以業(yè)務(wù)為基礎(chǔ),并以標(biāo)準(zhǔn)的形式規(guī)范業(yè)務(wù)對(duì)象再各信息系統(tǒng)中的統(tǒng)一定義和應(yīng)用,以提升企業(yè)在業(yè)務(wù)協(xié)同、監(jiān)管合規(guī)、數(shù)據(jù)共享開(kāi)放、數(shù)據(jù)分析應(yīng)用等各方面的能力。 對(duì)于企業(yè)而言,通俗來(lái)講,數(shù)據(jù)標(biāo)準(zhǔn)就是對(duì)數(shù)據(jù)的命名、數(shù)據(jù)類(lèi)型、長(zhǎng)度、業(yè)務(wù)含義、計(jì)算口徑、歸屬部門(mén)等,定義一套統(tǒng)一的規(guī)范,保證各業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)的統(tǒng)一理解、對(duì)數(shù)據(jù)定義和使用的一致性。 數(shù)據(jù)標(biāo)準(zhǔn)的具體形態(tài)通常是一個(gè)或多個(gè)數(shù)據(jù)元的集合,即數(shù)據(jù)元是數(shù)據(jù)標(biāo)準(zhǔn)的基本單元?!缎畔⒓夹g(shù)數(shù)據(jù)元的規(guī)范與標(biāo)準(zhǔn)化第1部分 數(shù)據(jù)元的規(guī)范與標(biāo)準(zhǔn)化框架》(GB/T 18391.1-2002)將數(shù)據(jù)元定義為用一組屬性描述定義、標(biāo)識(shí)、標(biāo)識(shí)和允許值的數(shù)據(jù)單元,如下圖所示: 2、JR/T0105-2014 銀行數(shù)據(jù)標(biāo)準(zhǔn)定義規(guī)范[3]: 標(biāo)準(zhǔn)是指為了在一定的范圍內(nèi)獲得最佳秩序,經(jīng)協(xié)商一致制定并由公認(rèn)機(jī)構(gòu)批準(zhǔn),共同使用的和重復(fù)使用的一種規(guī)范性文件。 數(shù)據(jù)標(biāo)準(zhǔn)是指對(duì)數(shù)據(jù)的表達(dá)、格式及定義的一致約定,包括數(shù)據(jù)業(yè)務(wù)屬性、技術(shù)屬性和管理屬性的統(tǒng)一定義。業(yè)務(wù)屬性包括中文名稱(chēng)、業(yè)務(wù)定義、業(yè)務(wù)規(guī)則等,技術(shù)屬性包括數(shù)據(jù)類(lèi)型、數(shù)據(jù)格式等,管理屬性包括數(shù)據(jù)定義者、數(shù)據(jù)管理者等。 銀行數(shù)據(jù)標(biāo)準(zhǔn)定義框架如下圖: 下圖是《銀行數(shù)據(jù)標(biāo)準(zhǔn)定義規(guī)范》JR/T 0105-2014中關(guān)于“擔(dān)保種類(lèi)”的數(shù)據(jù)標(biāo)準(zhǔn)定義示例: 3、《數(shù)據(jù)治理系列3:數(shù)據(jù)標(biāo)準(zhǔn)管理》[4]: 提到“標(biāo)準(zhǔn)”二字,我們第一時(shí)間能夠想到的就是一系列的標(biāo)準(zhǔn)化文檔,例如:產(chǎn)品設(shè)計(jì)標(biāo)準(zhǔn)、生產(chǎn)標(biāo)準(zhǔn)、質(zhì)量檢驗(yàn)標(biāo)準(zhǔn)、庫(kù)房管理標(biāo)準(zhǔn)、安全環(huán)保標(biāo)準(zhǔn)、物流配送標(biāo)準(zhǔn)等,這些標(biāo)準(zhǔn)有國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn)等。而我們所說(shuō)的數(shù)據(jù)標(biāo)準(zhǔn)卻不單單是指與數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)文件,數(shù)據(jù)標(biāo)準(zhǔn)是一個(gè)從業(yè)務(wù)、技術(shù)、管理三方面達(dá)成一致的規(guī)范化體系。 數(shù)據(jù)標(biāo)準(zhǔn)化是指研究、制定和推廣應(yīng)用統(tǒng)一的數(shù)據(jù)分類(lèi)分級(jí)、記錄格式及轉(zhuǎn)換、編碼等技術(shù)標(biāo)準(zhǔn)的過(guò)程。——維基百科。 數(shù)據(jù)標(biāo)準(zhǔn)是一套由管理制度、管控流程、技術(shù)工具共同組成的體系,是通過(guò)這套體系的推廣,應(yīng)用統(tǒng)一的數(shù)據(jù)定義、數(shù)據(jù)分類(lèi)、記錄格式和轉(zhuǎn)換、編碼等實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化。 二、數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容 數(shù)據(jù)標(biāo)準(zhǔn)管理的對(duì)象可以分為數(shù)據(jù)模型、主數(shù)據(jù)和參考數(shù)據(jù)、指標(biāo)數(shù)據(jù)三大類(lèi),每一類(lèi)均可采用以數(shù)據(jù)元為數(shù)據(jù)標(biāo)準(zhǔn)制定的基本單元構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)體系。 1、模型數(shù)據(jù)標(biāo)準(zhǔn) 基礎(chǔ)數(shù)據(jù)指業(yè)務(wù)流程中直接產(chǎn)生的,未經(jīng)過(guò)加工和處理的基礎(chǔ)業(yè)務(wù)信息,模型數(shù)據(jù)是指對(duì)基礎(chǔ)類(lèi)數(shù)據(jù)特征的抽象和描述。 模型數(shù)據(jù)標(biāo)準(zhǔn)是為了統(tǒng)一企業(yè)業(yè)務(wù)活動(dòng)相關(guān)數(shù)據(jù)的一致性和準(zhǔn)確性,解決業(yè)務(wù)間數(shù)據(jù)一致性和數(shù)據(jù)整合,按照數(shù)據(jù)標(biāo)準(zhǔn)管理過(guò)程制定的數(shù)據(jù)標(biāo)準(zhǔn),模型數(shù)據(jù)標(biāo)準(zhǔn)也是元數(shù)據(jù)管理的主要內(nèi)容之一。 以下是某銀行[5]為確保數(shù)據(jù)標(biāo)準(zhǔn)使用,形成的一整套模型數(shù)據(jù)標(biāo)準(zhǔn)的信息項(xiàng)屬性架構(gòu): 下圖是某運(yùn)營(yíng)商數(shù)據(jù)倉(cāng)庫(kù)DWD模型層常用數(shù)據(jù)元的標(biāo)準(zhǔn)定義示例: 下圖是某運(yùn)營(yíng)商數(shù)據(jù)倉(cāng)庫(kù)DWD層數(shù)據(jù)元后綴規(guī)范示例:
主數(shù)據(jù)是用來(lái)描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù),比如客戶(hù)、供應(yīng)商、員工、產(chǎn)品、物料等;它是具有高業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部門(mén)被重復(fù)使用的數(shù)據(jù),被譽(yù)為企業(yè)的“黃金數(shù)據(jù)”。 參考數(shù)據(jù)是用于將其他數(shù)據(jù)進(jìn)行分類(lèi)或目錄整編的數(shù)據(jù),是規(guī)定數(shù)據(jù)元的域值范圍。參照數(shù)據(jù)一般是有國(guó)標(biāo)可以參照的,固定不變的,或者是用于企業(yè)內(nèi)部數(shù)據(jù)分類(lèi)的,基本固定不變的數(shù)據(jù)。主數(shù)據(jù)與參照數(shù)據(jù)的標(biāo)準(zhǔn)化是企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化的核心。 3、指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn) 指標(biāo)類(lèi)數(shù)據(jù)是指具備統(tǒng)計(jì)意義的基礎(chǔ)類(lèi)數(shù)據(jù),通常由一個(gè)或以上的基礎(chǔ)數(shù)據(jù)根據(jù)一定的統(tǒng)計(jì)規(guī)則計(jì)算而得到。 指標(biāo)類(lèi)數(shù)據(jù)標(biāo)準(zhǔn)一般分為基礎(chǔ)指標(biāo)標(biāo)準(zhǔn)和計(jì)算指標(biāo)(又稱(chēng)組合指標(biāo))標(biāo)準(zhǔn)?;A(chǔ)指標(biāo)具有特定業(yè)務(wù)和經(jīng)濟(jì)含義,且僅能通過(guò)基礎(chǔ)類(lèi)數(shù)據(jù)加工獲得,計(jì)算指標(biāo)通常由兩個(gè)以上基礎(chǔ)指標(biāo)計(jì)算得出。 以下是某銀行[6]為確保指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)定義的完整與嚴(yán)謹(jǐn),形成的一整套指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)的信息項(xiàng)屬性架構(gòu): 以“撥備覆蓋率”指標(biāo)為例,從數(shù)據(jù)標(biāo)準(zhǔn)化的角度來(lái)看,首先需要定義其業(yè)務(wù)含義,以明確其定位和用途,統(tǒng)一業(yè)務(wù)解釋?zhuān)煌瑫r(shí)通過(guò)技術(shù)屬性明確其指標(biāo)技術(shù)口徑和取數(shù)規(guī)則等,確保指標(biāo)數(shù)據(jù)計(jì)算結(jié)果的一致性。這樣,在整個(gè)銀行層面,統(tǒng)一了“撥備覆蓋率”的業(yè)務(wù)口徑和技術(shù)口徑,最終確立了其使用規(guī)范。 指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)可以從維度、規(guī)則和基礎(chǔ)指標(biāo)三個(gè)方面進(jìn)行定義: 并非所有模型數(shù)據(jù)、主數(shù)據(jù)和參考數(shù)據(jù)、指標(biāo)數(shù)據(jù)都應(yīng)納入數(shù)據(jù)標(biāo)準(zhǔn)的管轄范圍。數(shù)據(jù)標(biāo)準(zhǔn)管轄的數(shù)據(jù),通常只需要在各業(yè)務(wù)條線、各信息系統(tǒng)之間實(shí)現(xiàn)共享和交換的數(shù)據(jù),以及為滿(mǎn)足監(jiān)控機(jī)構(gòu)、上級(jí)主管部門(mén)、各級(jí)政府部門(mén)的數(shù)據(jù)報(bào)送要求而需要的數(shù)據(jù)。 《數(shù)據(jù)標(biāo)準(zhǔn)管理實(shí)踐白皮書(shū)》將數(shù)據(jù)分為基礎(chǔ)類(lèi)數(shù)據(jù)和指標(biāo)類(lèi)數(shù)據(jù),數(shù)據(jù)標(biāo)準(zhǔn)也可以分為基礎(chǔ)類(lèi)數(shù)據(jù)標(biāo)準(zhǔn)或指標(biāo)類(lèi)數(shù)據(jù)標(biāo)準(zhǔn),這種劃分方法中的基礎(chǔ)類(lèi)數(shù)據(jù)其實(shí)等于模型數(shù)據(jù)+主數(shù)據(jù)+參考數(shù)據(jù),因此不存在本質(zhì)的區(qū)別。 三、數(shù)據(jù)標(biāo)準(zhǔn)的組織保障 《數(shù)據(jù)標(biāo)準(zhǔn)管理實(shí)踐白皮書(shū)》[1]給出了數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)建議,即將數(shù)據(jù)標(biāo)準(zhǔn)管理組織劃分為數(shù)據(jù)標(biāo)準(zhǔn)決策層、數(shù)據(jù)標(biāo)準(zhǔn)管理部門(mén)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行層。 數(shù)據(jù)標(biāo)準(zhǔn)決策層是企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理的最該決策組織,主要職責(zé)是組織制定和批準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)劃、審核和批準(zhǔn)擬正式發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)、協(xié)調(diào)業(yè)務(wù)和IT資源,解決在數(shù)據(jù)分類(lèi)規(guī)劃、體系建設(shè)、評(píng)審發(fā)布、執(zhí)行落地中的全局性、方向性問(wèn)題,推進(jìn)企業(yè)整體開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)化工作。 數(shù)據(jù)標(biāo)準(zhǔn)管理層是企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理的組織協(xié)調(diào)部門(mén),主要職責(zé)是根據(jù)業(yè)務(wù)需求,組織業(yè)務(wù)和IT部門(mén),開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)落地工作組織業(yè)務(wù)部門(mén)和IT部門(mén)參與數(shù)據(jù)標(biāo)準(zhǔn)管理相關(guān)工作,并推進(jìn)數(shù)據(jù)管理工作的進(jìn)程,同時(shí)及時(shí)將數(shù)據(jù)標(biāo)準(zhǔn)管理過(guò)程中的成果或問(wèn)題報(bào)決策層審批。 數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行層是指具體開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)編制和體系建設(shè)的數(shù)據(jù)標(biāo)準(zhǔn)管理部門(mén),通常由數(shù)據(jù)標(biāo)準(zhǔn)管理專(zhuān)家、相關(guān)業(yè)務(wù)和IT專(zhuān)家組成,主要職責(zé)是解決編制數(shù)據(jù)標(biāo)準(zhǔn)、推進(jìn)數(shù)據(jù)標(biāo)準(zhǔn)落地工作中的各類(lèi)具體業(yè)務(wù)問(wèn)題和技術(shù)問(wèn)題。 以下是銀行業(yè)的一種數(shù)據(jù)標(biāo)準(zhǔn)組織示例(引自2019年數(shù)據(jù)資產(chǎn)管理大會(huì))。 四、數(shù)據(jù)標(biāo)準(zhǔn)管理制度體系 數(shù)據(jù)標(biāo)準(zhǔn)管理制度體系是指企業(yè)為開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)管理工作而制定的一系列規(guī)章制度。數(shù)據(jù)標(biāo)準(zhǔn)管理制度主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理辦法文件、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范文件、數(shù)據(jù)標(biāo)準(zhǔn)管理操作。 1、數(shù)據(jù)標(biāo)準(zhǔn)管理辦法 一般包括企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理目標(biāo)、數(shù)據(jù)標(biāo)準(zhǔn)管理組織中各部門(mén)的職責(zé)、數(shù)據(jù)標(biāo)準(zhǔn)管理各項(xiàng)工作的主要過(guò)程,以及開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)管理工作的相關(guān)機(jī)制,如溝通匯報(bào)機(jī)制、審核機(jī)制、考核機(jī)制等內(nèi)容,下面示例了銀行的數(shù)據(jù)標(biāo)準(zhǔn)管理辦法框架。 下面是某銀行的數(shù)據(jù)標(biāo)準(zhǔn)管理辦法具體示例[8],包括總則、組織與職責(zé)、數(shù)據(jù)標(biāo)準(zhǔn)的制定、數(shù)據(jù)標(biāo)準(zhǔn)的評(píng)審與發(fā)布、數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)的變更、數(shù)據(jù)標(biāo)準(zhǔn)的復(fù)審及監(jiān)督管理等等: 2、數(shù)據(jù)標(biāo)準(zhǔn)專(zhuān)項(xiàng)辦法 數(shù)據(jù)標(biāo)準(zhǔn)工作涵蓋內(nèi)容廣泛,涉及專(zhuān)業(yè)領(lǐng)域眾多。需在數(shù)據(jù)標(biāo)準(zhǔn)管理政策的指引下,依托數(shù)據(jù)標(biāo)準(zhǔn)原則與組織架構(gòu)職責(zé),根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)各專(zhuān)項(xiàng)領(lǐng)域的工作特點(diǎn),制定各專(zhuān)項(xiàng)管理辦法,用來(lái)指導(dǎo)各項(xiàng)工作在全行的有序開(kāi)展,如客戶(hù)數(shù)據(jù)標(biāo)準(zhǔn)、產(chǎn)品和服務(wù)數(shù)據(jù)標(biāo)準(zhǔn)、統(tǒng)計(jì)指標(biāo)標(biāo)準(zhǔn)等文件。 下面是證券期貨業(yè)統(tǒng)計(jì)指標(biāo)標(biāo)準(zhǔn)文件示例[9]: 3、數(shù)據(jù)標(biāo)準(zhǔn)管理操作文件 以各專(zhuān)項(xiàng)數(shù)據(jù)標(biāo)準(zhǔn)管理辦法為基礎(chǔ),在本部門(mén)或本業(yè)務(wù)領(lǐng)域內(nèi)開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)化工作的具體實(shí)施文件,進(jìn)一步細(xì)化至各項(xiàng)工作的操作流程。通過(guò)各項(xiàng)流程細(xì)則的制定,將頂層設(shè)計(jì)貫穿至數(shù)據(jù)標(biāo)準(zhǔn)的日常工作之中,打通了數(shù)據(jù)標(biāo)準(zhǔn)在執(zhí)行操作層面的“最后一公里”,指導(dǎo)一線工作人員按照規(guī)范化流程開(kāi)展數(shù)據(jù)標(biāo)準(zhǔn)工作。 下面是銀行的《數(shù)據(jù)標(biāo)準(zhǔn)管理細(xì)則》落地方案示例: 這讓我想起以前推為了進(jìn)業(yè)務(wù)系統(tǒng)元數(shù)據(jù)管理的落地而制定的流程,如下圖所示: 五、數(shù)據(jù)標(biāo)準(zhǔn)與元數(shù)據(jù)的關(guān)系 數(shù)據(jù)標(biāo)準(zhǔn)本質(zhì)上是一種數(shù)據(jù)的規(guī)范化描述,因此可以這么認(rèn)為,元數(shù)據(jù)是數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ),企業(yè)在制定數(shù)據(jù)標(biāo)準(zhǔn)的時(shí)候最先需要明確的就是數(shù)據(jù)業(yè)務(wù)屬性、技術(shù)屬性和管理屬性,而這三類(lèi)屬性就是我們所說(shuō)的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù),但元數(shù)據(jù)不等于數(shù)據(jù)標(biāo)準(zhǔn),因?yàn)樵獢?shù)據(jù)如果不進(jìn)行規(guī)范化約束,就無(wú)法成為數(shù)據(jù)標(biāo)準(zhǔn)。 基于元數(shù)據(jù)的數(shù)據(jù)標(biāo)準(zhǔn)管理,為業(yè)務(wù)實(shí)體的定義、關(guān)系和業(yè)務(wù)規(guī)則到IT實(shí)現(xiàn)之間提供清晰、標(biāo)準(zhǔn)的語(yǔ)義轉(zhuǎn)換,提高業(yè)務(wù)和IT之間的一致性,保障IT系統(tǒng)能夠真實(shí)反映業(yè)務(wù)事實(shí)。并為數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)與其他業(yè)務(wù)系統(tǒng)的集成,提供有關(guān)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)映射關(guān)系和數(shù)據(jù)規(guī)則的描述,為業(yè)務(wù)系統(tǒng)的集成提供支撐。 數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范相關(guān)文檔PDF下載地址: 第一步,關(guān)注公眾號(hào),將本文章分享到你的朋友圈 |
|
來(lái)自: awoziji > 《待分類(lèi)》