前言 隨著信息革命和信息化的飛速發(fā)展,計算機(jī)數(shù)據(jù)量的急劇增長,數(shù)據(jù)利用和管理的重要性與日俱增,數(shù)據(jù)逐漸在信息化這個大舞臺上扮演著越來越重要的角色。數(shù)據(jù)治理是企業(yè)大數(shù)據(jù)基礎(chǔ),企業(yè)級數(shù)據(jù)平臺助力企業(yè)數(shù)字化轉(zhuǎn)型。 在目前數(shù)字化轉(zhuǎn)型大趨勢的推動下,企業(yè)數(shù)據(jù)治理的需求迫在眉睫。為了促進(jìn)企業(yè)有序開展數(shù)據(jù)治理工作,進(jìn)一步厘清企業(yè)轉(zhuǎn)型升級的主要痛點(diǎn)和關(guān)鍵需求。本篇文章根據(jù)《數(shù)據(jù)治理:工業(yè)企業(yè)數(shù)字化轉(zhuǎn)型之道》核心內(nèi)容整理,希望在數(shù)據(jù)治理方面的理論介紹及實踐經(jīng)驗,能為眾多企業(yè)在數(shù)據(jù)治理的研究和實踐中提供參考和借鑒價值,以期達(dá)到少走彎路,減少探索,打好基礎(chǔ),快速取勝的效果。 數(shù)據(jù)治理背景和挑戰(zhàn) 數(shù)據(jù)治理知識體系涉及管理、技術(shù)等多個學(xué)科領(lǐng)域,是一個非常復(fù)雜的系統(tǒng)工程,如何全面而系統(tǒng)地構(gòu)建較為完整的數(shù)據(jù)治理體系,是企業(yè)實施數(shù)據(jù)治理的關(guān)鍵課題。 從宏觀角度,數(shù)據(jù)治理是指全球治理,即在大數(shù)據(jù)時代,以國家、國際組織、多利益攸關(guān)方等為主體,對數(shù)據(jù)權(quán)利、流通、管理等方面的治理。 從中觀角度,數(shù)據(jù)治理是指公共治理,即區(qū)域和國家對其主權(quán)范圍內(nèi)的數(shù)據(jù)質(zhì)量、權(quán)屬、流動機(jī)制等方面的宏觀管理。 從微觀角度,數(shù)據(jù)治理是指對數(shù)據(jù)資產(chǎn)行使權(quán)力控制的活動集合。 不同的行業(yè)信息化發(fā)展水平不一樣,其對數(shù)據(jù)的依賴程度不一樣,數(shù)據(jù)治理水平也不一樣。 1、各國的大數(shù)據(jù)狀況 根據(jù)國際數(shù)據(jù)公司(IDC)2018年年末的測算,2025年,中國將成為全球五個分區(qū)中,最大的數(shù)據(jù)資源擁有地區(qū)(占比為28%,數(shù)據(jù)總量為49ZB),其數(shù)據(jù)總量將是美國(排名第四,占比18%的1.56倍。這五個分區(qū)是:1)中國;2)歐洲、中東、非洲地區(qū)(EMEA);3)亞太國家,指除中國之外的、包括日本在內(nèi)的亞太地區(qū)所有國家(APJxC);4)美國;5)世界其他地區(qū)。 實際上,2019年,中國的數(shù)據(jù)總量已經(jīng)超過了美國。但是,中國工業(yè)企業(yè)的數(shù)據(jù)資源存量普遍不大,寶貴的數(shù)據(jù)資源由于缺乏科學(xué)的數(shù)據(jù)管理而隨意流失;工業(yè)企業(yè)數(shù)據(jù)總量低下,與企業(yè)規(guī)模極不相稱;半數(shù)以上的工業(yè)企業(yè)仍在使用紙質(zhì)或更原始的方式進(jìn)行數(shù)據(jù)的存儲和管理;數(shù)據(jù)孤島幾乎是所有工業(yè)企業(yè)都面臨的困境。此外,無論是數(shù)據(jù)管理還是數(shù)據(jù)治理,中國工業(yè)企業(yè)的狀況也不容樂觀。調(diào)查顯示,僅有37.84%的大型工業(yè)企業(yè)、46.67%的中型工業(yè)企業(yè)、13.64%的小型工業(yè)企業(yè)開展了數(shù)據(jù)管理工作;大多數(shù)工業(yè)企業(yè)缺乏專門的數(shù)據(jù)管理部門,投入數(shù)據(jù)管理的人、財資源也非常有限,更談不上頂層規(guī)劃和戰(zhàn)略管理。 2、工業(yè)企業(yè)數(shù)據(jù)治理面臨的挑戰(zhàn) 工業(yè)領(lǐng)域信息化起步相對較晚,工業(yè)數(shù)據(jù)也更為復(fù)雜,涉及研發(fā)、生產(chǎn)、管理、運(yùn)維、服務(wù)等多個環(huán)節(jié),因而數(shù)據(jù)管理工作的推進(jìn)也相對滯后。 (1)數(shù)據(jù)基礎(chǔ)薄弱。我國工業(yè)企業(yè)的數(shù)據(jù)資源存量普遍不大,調(diào)查顯示,66%的企業(yè)數(shù)據(jù)總量都在20TB以下;管理手段比較落后,51%的企業(yè)仍在使用紙質(zhì)或更原始的方式進(jìn)行數(shù)據(jù)的管理。數(shù)據(jù)孤島幾乎是所有企業(yè)都面臨的困境。 (2)數(shù)據(jù)治理滯后。數(shù)據(jù)管理缺失,技術(shù)手段落后,導(dǎo)致企業(yè)數(shù)據(jù)質(zhì)量難以得到保障,數(shù)據(jù)共享困難,數(shù)據(jù)的價值不能得到充分的挖掘和變現(xiàn)。 (3)數(shù)據(jù)價值難以量化評估。數(shù)據(jù)治理投入大,短期內(nèi)很難看到成效,而數(shù)據(jù)價值的評估又很難量化。因此,很多企業(yè)投入數(shù)據(jù)治理的意愿不大,這反過來又影響了企業(yè)數(shù)據(jù)的使用。 3、數(shù)據(jù)治理是工業(yè)大數(shù)據(jù)的基礎(chǔ) 工業(yè)大數(shù)據(jù)區(qū)別于其它行業(yè)大數(shù)據(jù)是由智能化時代需要人機(jī)協(xié)同的特點(diǎn)所決定的。它不僅有企業(yè)經(jīng)營數(shù)據(jù)、人的行為數(shù)據(jù),更重要的是來自于傳感器采集的設(shè)備海量數(shù)據(jù)。其主要特點(diǎn)如下: 數(shù)據(jù)來源的多樣性,既有經(jīng)營管理的數(shù)據(jù),也有客戶行為畫像的數(shù)據(jù),更有多種設(shè)備狀態(tài)、控制數(shù)據(jù)。數(shù)據(jù)的實時性,生產(chǎn)現(xiàn)場的數(shù)據(jù)具有連續(xù)性、實時性、數(shù)據(jù)海量的特點(diǎn)。這就要求數(shù)據(jù)的采集、清洗、存儲和處理的技術(shù)不一樣,尤其是需要實時分析。 工業(yè)機(jī)理的復(fù)雜性對知識圖譜的構(gòu)建提出了很高的要求,相應(yīng)地數(shù)據(jù)之間的相關(guān)性分析非常重要。要圍繞產(chǎn)品全生命周期、企業(yè)全價值鏈甚至產(chǎn)業(yè)鏈去構(gòu)建。 4、國家層面對數(shù)據(jù)治理越來越重視 中共中央、國務(wù)院《關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》首次將“數(shù)據(jù)”作為新型生產(chǎn)要素,與土地、勞動力、資本、技術(shù)等傳統(tǒng)要素并列為要素之一,提出要加快培育數(shù)據(jù)要素市場,對企業(yè)數(shù)字化轉(zhuǎn)型有著極其重要的意義。國資委《關(guān)于加快推進(jìn)國有企業(yè)數(shù)字化轉(zhuǎn)型工作的通知》,明確提出構(gòu)建數(shù)據(jù)治理體系,加快集團(tuán)數(shù)據(jù)治理體系建設(shè),明確數(shù)據(jù)治理歸口管理部門,加強(qiáng)數(shù)據(jù)標(biāo)準(zhǔn)化、元數(shù)據(jù)和主數(shù)據(jù)管理工作,定期評估數(shù)據(jù)治理能力成熟度,為國有企業(yè)數(shù)字化轉(zhuǎn)型指明發(fā)展方向,描繪數(shù)字藍(lán)圖,規(guī)劃轉(zhuǎn)型路徑,提出具體要求。然而隨著信息技術(shù)的發(fā)展,目前在數(shù)據(jù)治理方面存在數(shù)據(jù)定義不規(guī)范、數(shù)據(jù)血緣關(guān)系不清晰、數(shù)據(jù)沖突、數(shù)據(jù)質(zhì)量不高等問題和不足,亟需加快解決和完善。 二、數(shù)據(jù)治理的框架和核心內(nèi)容 不同層級的人對數(shù)據(jù)治理的關(guān)注點(diǎn)不一樣,因此各自的視圖也不一樣,下面分別從管理者視圖、技術(shù)者視圖、數(shù)據(jù)資產(chǎn)管理者視圖逐一介紹。 數(shù)據(jù)治理的的管理者視圖可以概括為“五域模型”,分為“管控域”、“過程域”、“治理域”、“技術(shù)域”、“價值域” 圖1、管理者視角-數(shù)據(jù)治理五域模型 管控域:在數(shù)據(jù)治理戰(zhàn)略指導(dǎo)下制訂企業(yè)數(shù)據(jù)治理組織,明確組織的責(zé)、權(quán)、利,崗位編制及技能要求。 治理域:是數(shù)據(jù)治理的主體,明確數(shù)據(jù)治理的對象和目標(biāo)。 技術(shù)域:數(shù)據(jù)治理的支撐手段,指的工具平臺。 過程域:是數(shù)據(jù)治理的方法論。 價值域:數(shù)據(jù)治理的目標(biāo)就是通過對數(shù)據(jù)資產(chǎn)的管控挖掘數(shù)據(jù)資產(chǎn)的價值,并通過數(shù)據(jù)的流動、共享、交易變現(xiàn)數(shù)據(jù)資產(chǎn)。 圖2、技術(shù)視角:企業(yè)大數(shù)據(jù)治理實踐指南框架 工業(yè)數(shù)據(jù)治理體系,包括數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理管控體系(數(shù)據(jù)治理組織、制度、流程、管控機(jī)制、績效體系及標(biāo)準(zhǔn)體系)、數(shù)據(jù)架構(gòu)、主數(shù)據(jù)、元數(shù)據(jù)、指標(biāo)數(shù)據(jù)、時序數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)集成與交換、數(shù)據(jù)開放和共享、數(shù)據(jù)資產(chǎn)管理能力成熟度評估以及數(shù)據(jù)價值、數(shù)據(jù)共享、數(shù)據(jù)變現(xiàn)等許多方面。 圖3、工業(yè)企業(yè)數(shù)據(jù)治理車輪圖 本文重點(diǎn)從數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)管控(組織管理、制度體系、流程管理及績效)、三個核心體系(數(shù)據(jù)標(biāo)準(zhǔn)體系、數(shù)據(jù)質(zhì)量體系、數(shù)據(jù)安全體系)和工具等重點(diǎn)介紹。 圖4、工業(yè)企業(yè)數(shù)據(jù)管控和三個核心體系 1、數(shù)據(jù)戰(zhàn)略 數(shù)據(jù)戰(zhàn)略是整個數(shù)據(jù)治理體系的首要任務(wù),是企業(yè)開展數(shù)據(jù)治理工作首先應(yīng)該考慮的事。數(shù)據(jù)戰(zhàn)略應(yīng)由數(shù)據(jù)治理組織中的決策層制定,需要指明數(shù)據(jù)治理的方向,包括數(shù)據(jù)治理的方針、政策等。 數(shù)據(jù)戰(zhàn)略能力域關(guān)注整個組織數(shù)據(jù)戰(zhàn)略的規(guī)劃,愿景和落地實施,為組織數(shù)據(jù)管理、應(yīng)用工作的開展提供戰(zhàn)略保障,組織的數(shù)據(jù)戰(zhàn)略需要和業(yè)務(wù)戰(zhàn)略保持一致,并且要在利益相關(guān)者之間達(dá)成一致。 數(shù)據(jù)戰(zhàn)略已成為企業(yè)精細(xì)化數(shù)據(jù)管理不可或缺的基礎(chǔ),只有切實落實好數(shù)據(jù)戰(zhàn)略工作,才能提升企業(yè)數(shù)據(jù)質(zhì)量、實現(xiàn)企業(yè)數(shù)據(jù)價值升華,為企業(yè)數(shù)字化轉(zhuǎn)型奠定基礎(chǔ)。 數(shù)據(jù)資產(chǎn)頂層設(shè)計不僅僅是一個報告、一份文件,更是企業(yè)系統(tǒng)性設(shè)計未來的大膽假設(shè)、小心求證、集體溝通、達(dá)成共識、形成機(jī)制、頒發(fā)軍令狀的過程。 圖5、數(shù)據(jù)資產(chǎn)頂層規(guī)劃設(shè)計方法論 正確的頂層設(shè)計是企業(yè)家對未來形勢的正確判斷,對機(jī)會和戰(zhàn)略,治理與架構(gòu),資本和模式,供應(yīng)鏈和數(shù)字化,品牌和營銷,產(chǎn)品和客戶等整體一盤棋的布局。如果說商戰(zhàn)就是沒有硝煙的戰(zhàn)爭,那么頂層設(shè)計則是整體戰(zhàn)的部署 2、組織管理 建立合適的數(shù)據(jù)治理組織是企業(yè)數(shù)據(jù)治理的關(guān)鍵。數(shù)據(jù)治理的組織建設(shè)一般包括組織架構(gòu)設(shè)計、部門職責(zé)、人員編制、崗位職責(zé)及能力要求、績效管理等內(nèi)容。數(shù)據(jù)治理是一項需要企業(yè)通力協(xié)作的工作,而有效的組織架構(gòu)是企業(yè)數(shù)據(jù)治理能夠成功的有力保障。為達(dá)到數(shù)據(jù)戰(zhàn)略目標(biāo),非常有必要建立體系化的組織架構(gòu),明確職責(zé)分工。 圖6、某集團(tuán)數(shù)據(jù)治理組織架構(gòu)設(shè)置范例 圖7、某央企數(shù)據(jù)治理組織架構(gòu)設(shè)置范例 3、制度體系 企業(yè)的數(shù)據(jù)治理必須要有相關(guān)制度,否則無法可依,再好的技術(shù)工具也沒有用。因此,建立完善的數(shù)據(jù)治理制度很重要。 保障組織架構(gòu)正常運(yùn)轉(zhuǎn)和數(shù)據(jù)治理各項工作的有序?qū)嵤?,需要建立一套涵蓋不同管理粒度、不同適用對象,異覆蓋數(shù)據(jù)治理過程的管理制度體系,從“法理”層面保障數(shù)據(jù)治理工作有據(jù)、可行、可控。數(shù)據(jù)治理制度框架分為政策、制度、細(xì)則、手冊4個梯次。 圖8、數(shù)據(jù)治理制度框架 企業(yè)的數(shù)據(jù)治理制度通常根據(jù)企業(yè)的IT制度的總體框架和指導(dǎo)原則制定,往往包含數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)安全管理、數(shù)據(jù)績效管理等制度,以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、交易數(shù)據(jù)管理、數(shù)據(jù)指標(biāo)管理等辦法及若干指導(dǎo)手冊。 圖9、數(shù)據(jù)治理制度框架體系 圖10、數(shù)據(jù)資產(chǎn)管理規(guī)定目錄 4、流程管理 制定數(shù)據(jù)治理的流程框架也是數(shù)據(jù)治理的重要工作。 數(shù)據(jù)治理流程主要包括從數(shù)據(jù)的生產(chǎn)、存儲、處理、使用、共享、銷毀全生命周期過程中所遵循的活動步驟,以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)指標(biāo)管理等流程。 圖11、數(shù)據(jù)治理流程框架體系 5、績效管理 數(shù)據(jù)治理考核是保障數(shù)據(jù)治理制度落實的根本,是一種正式的員工評估制度,通過系統(tǒng)的方法、原理來評定和測量企業(yè)員工在一段時間內(nèi)數(shù)據(jù)治理相關(guān)的工作行為和工作效果,進(jìn)一步激發(fā)員工的積極性和創(chuàng)造性,提供員工的數(shù)據(jù)治理責(zé)任心和基本素質(zhì)。 圖12、數(shù)據(jù)治理績效體系 要使數(shù)據(jù)治理的體系運(yùn)轉(zhuǎn)好,必須要有好的激勵體系。數(shù)據(jù)績效管理包括數(shù)據(jù)管理指標(biāo)、數(shù)據(jù)認(rèn)責(zé)機(jī)制、數(shù)據(jù)考核標(biāo)準(zhǔn)、數(shù)據(jù)管理的獎懲機(jī)制,以及績效管理過程的一系列活動集合。 6、標(biāo)準(zhǔn)體系 數(shù)據(jù)標(biāo)準(zhǔn)是實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化的前提,是保證數(shù)據(jù)質(zhì)量的必要條件。 數(shù)據(jù)標(biāo)準(zhǔn)一般分為元數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)標(biāo)準(zhǔn)、交易數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)指標(biāo)標(biāo)準(zhǔn)、數(shù)據(jù)分類標(biāo)準(zhǔn)、數(shù)據(jù)編碼標(biāo)準(zhǔn)、數(shù)據(jù)集成標(biāo)準(zhǔn)等內(nèi)容。數(shù)據(jù)標(biāo)準(zhǔn)管理是規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容、程序和方法的活動,分為標(biāo)準(zhǔn)制定、標(biāo)準(zhǔn)實施和控制、標(biāo)準(zhǔn)修訂等。 圖13、數(shù)據(jù)標(biāo)準(zhǔn)化體系 7、質(zhì)量體系 數(shù)據(jù)質(zhì)量是指數(shù)據(jù)的適用性,描述數(shù)據(jù)對業(yè)務(wù)和管理的滿意度。數(shù)據(jù)質(zhì)量主要指數(shù)據(jù)的準(zhǔn)確性、及時性、完整性、唯一性、一致性,有效性六個方面。 數(shù)據(jù)質(zhì)量管理是對數(shù)據(jù)的分析、監(jiān)控、評估和改進(jìn)的過程。包括規(guī)劃和實施質(zhì)量管理技術(shù),以測量、評估和提高數(shù)據(jù)在組織內(nèi)的適用性,提高數(shù)據(jù)對業(yè)務(wù)和管理的滿足度。重點(diǎn)關(guān)注數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量分析和數(shù)據(jù)質(zhì)量提升的實現(xiàn)能力。 圖14、數(shù)據(jù)質(zhì)量框架體系 數(shù)據(jù)質(zhì)量管理貫穿數(shù)據(jù)生命周期的全過程,除了明確數(shù)據(jù)質(zhì)量管理的策略,還要善于使用數(shù)據(jù)質(zhì)量管理的手段及工具,覆蓋數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)探查、數(shù)據(jù)診斷、質(zhì)量評估、數(shù)據(jù)監(jiān)控、數(shù)據(jù)清洗、質(zhì)量提升等方面。 8、安全體系 數(shù)據(jù)安全管理是為了確保數(shù)據(jù)隱私和機(jī)密性得到維護(hù),數(shù)據(jù)不被破壞,數(shù)據(jù)被適當(dāng)訪問。通過采用各種技術(shù)和管理措施,保證數(shù)據(jù)的機(jī)密性、完整性和可用性。 數(shù)據(jù)安全體系框架通過3個維度構(gòu)建而成,包括政策法規(guī)、技術(shù)層面和安全組織人員。數(shù)據(jù)安全治理體系框架在符合政策法規(guī)及標(biāo)準(zhǔn)規(guī)范的同時,需要在技術(shù)上實現(xiàn)對數(shù)據(jù)的實時監(jiān)管,并配合經(jīng)過規(guī)范培訓(xùn)的安全組織人員,構(gòu)成了數(shù)據(jù)安全治理整體架構(gòu)的建設(shè)。 圖15、數(shù)據(jù)安全治理體系 數(shù)據(jù)安全治理能力建設(shè)并非單一產(chǎn)品或平臺的構(gòu)建,而是建設(shè)一個覆蓋數(shù)據(jù)全部生命周期和使用場景的數(shù)據(jù)安全體系,需要從決策到技術(shù),從制度到工具,從組織架構(gòu)到安全技術(shù)通盤考慮。 圖16、數(shù)據(jù)數(shù)據(jù)全部生命周期 9、平臺工具 搭建云數(shù)智一體化數(shù)據(jù)平臺,滿足前臺應(yīng)用準(zhǔn)確性、快速性和多樣性的數(shù)據(jù)需求,縮短研發(fā)周期、降低技術(shù)成本,將數(shù)據(jù)中心逐步由成本中心向資產(chǎn)中心轉(zhuǎn)變,提升數(shù)據(jù)價值,實現(xiàn)五個打通: (1)橫向打通:破除部門壁壘,打通專業(yè)。橫向跨專業(yè)間的分析挖掘融通; (2)縱向打通:內(nèi)部多層級數(shù)據(jù)打通,形成統(tǒng)一資源目錄。上下級數(shù)據(jù)共享交換; (3)內(nèi)外打通:消除內(nèi)外數(shù)據(jù)的鴻溝,實現(xiàn)內(nèi)外部數(shù)據(jù)的關(guān)聯(lián)分析; (4)管理打通:建立企業(yè)標(biāo)準(zhǔn),實現(xiàn)統(tǒng)一管理統(tǒng)計口徑; (5)服務(wù)打通:數(shù)據(jù)中臺統(tǒng)一對外提供數(shù)據(jù)服務(wù)和應(yīng)用構(gòu)建,與業(yè)務(wù)系統(tǒng)和數(shù)據(jù)應(yīng)用充分協(xié)同。 圖17、兩體系兩平臺一服務(wù)的數(shù)據(jù)平臺總體框架 面向數(shù)據(jù)全生命周期,提供的一站式數(shù)據(jù)規(guī)劃、集成、開發(fā)、治理、服務(wù)、應(yīng)用等產(chǎn)品。數(shù)據(jù)平臺能力框架:5個維度(采、聚、理、用、保),7個功能層次。 圖18、數(shù)據(jù)平臺能力框架 從數(shù)據(jù)接入整合能力、數(shù)據(jù)共享應(yīng)用能力、數(shù)據(jù)綜合管理能力、基礎(chǔ)組件支撐能力四方面,全面建設(shè)數(shù)據(jù)能力,培育能力體系,實現(xiàn)數(shù)據(jù)接入、存儲計算、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)、數(shù)據(jù)資產(chǎn)管理、運(yùn)營管理等功能,以多類型大數(shù)據(jù)量的匯聚為基礎(chǔ),以統(tǒng)一模型為標(biāo)準(zhǔn),為前端應(yīng)用提供靈活的統(tǒng)一數(shù)據(jù)服務(wù)。 圖19、數(shù)據(jù)平臺四大支撐能力 數(shù)據(jù)平臺是通過企業(yè)內(nèi)外部多源異構(gòu)的數(shù)據(jù)采集、治理、建模、分析,應(yīng)用,使數(shù)據(jù)對內(nèi)優(yōu)化管理賦能業(yè)務(wù),對外可以數(shù)據(jù)合作價值釋放,成為企業(yè)數(shù)據(jù)資產(chǎn)管理和服務(wù)中樞。 大數(shù)據(jù)治理需要多種數(shù)據(jù)治理工具軟件的支撐,包括以主數(shù)據(jù)為核心的套裝軟件、以數(shù)據(jù)資產(chǎn)目錄為核心的數(shù)據(jù)資源管理工具、以元數(shù)據(jù)和數(shù)據(jù)模型為核心的數(shù)據(jù)中臺,此外還有時序數(shù)據(jù)、數(shù)據(jù)交換等。這些工具互有側(cè)重,需要根據(jù)實際需求予以剪裁。 數(shù)據(jù)治理管理工具包括數(shù)據(jù)架構(gòu)工具、元數(shù)據(jù)管理工具、數(shù)據(jù)指標(biāo)管理工具、主數(shù)據(jù)管理工具、時序數(shù)據(jù)管理工具、數(shù)據(jù)交換與服務(wù)工具、質(zhì)量管理工具和安全管理工具等。 圖20、數(shù)據(jù)治理工具集 圖21、以元數(shù)據(jù)治理為核心的數(shù)據(jù)治理工具 主數(shù)據(jù)服務(wù)業(yè)務(wù)視圖包括8個業(yè)務(wù)域、32個業(yè)務(wù)子域及相關(guān)業(yè)務(wù)活動,主數(shù)據(jù)管理工具是主數(shù)據(jù)全生命周期管理的平臺,也是主數(shù)據(jù)標(biāo)準(zhǔn)、運(yùn)維體系落地的重要保障。本章從主數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)代碼管理、主數(shù)據(jù)清洗校驗、主數(shù)據(jù)生命周期管理、主數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)應(yīng)用評價、主數(shù)據(jù)全景圖,主數(shù)據(jù)應(yīng)用需求管理、業(yè)務(wù)需求等。 圖22、以主數(shù)據(jù)治理為核心的數(shù)據(jù)治理工具 主數(shù)據(jù)治理平臺是企業(yè)數(shù)據(jù)規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)落地的載體,實現(xiàn)數(shù)據(jù)治理統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一規(guī)則的支撐 主數(shù)據(jù)治理平臺是有效實施主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)指標(biāo)管理,提供規(guī)范統(tǒng)一的主數(shù)據(jù)服務(wù)的平臺 主數(shù)據(jù)治理平臺是實現(xiàn)數(shù)據(jù)從產(chǎn)生到應(yīng)用,分層協(xié)同、全面治理的核心 圖23、主數(shù)據(jù)管理工具-邏輯架構(gòu) 四、人工智能是大數(shù)據(jù)治理核心方向 “無治理、不分析”,沒有高質(zhì)量的數(shù)據(jù),就不會有可信的AI。數(shù)據(jù)治理是人工智能基礎(chǔ),能夠為人工智能提供高質(zhì)量的數(shù)據(jù)輸入。而人工智能是一種技術(shù),它不僅僅是在數(shù)據(jù)應(yīng)用端產(chǎn)生作用,在數(shù)據(jù)的管理端同樣需要人工智能。有了人工智能加持,數(shù)據(jù)治理將變得更加高效和智能。相信未來,人工智能和數(shù)據(jù)治理將會擦出越來越多的火花。 人工智能技術(shù)在數(shù)據(jù)采集、數(shù)據(jù)建模、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量及數(shù)據(jù)安全等領(lǐng)域有著深入的應(yīng)用。 圖24、人工智能技術(shù)在數(shù)據(jù)治理中的應(yīng)用 結(jié)束語 數(shù)據(jù)治理的發(fā)展是伴隨著不同行業(yè)對數(shù)據(jù)資源資產(chǎn)化、數(shù)據(jù)確權(quán)與合規(guī)、數(shù)據(jù)價值創(chuàng)造與共享、隱私保護(hù)的認(rèn)識、研究和實踐的一個演進(jìn)過程,目前,隨著數(shù)據(jù)治理理論體系的逐步完善,技術(shù)方法和工具的日趨成熟,數(shù)據(jù)治理被越來越多的企業(yè)學(xué)習(xí)了解和實際應(yīng)用。 數(shù)據(jù)治理是一項繁雜、長期的工作,需要工匠精神、鍥而不舍。 |
|