【原】吹響向數(shù)據(jù)開(kāi)戰(zhàn)的號(hào)角！誰(shuí)也逃避不了

數(shù)據(jù)治理精英館 2021-12-24

展開(kāi)全文

無(wú)論是社會(huì)還是企業(yè)，數(shù)據(jù)越來(lái)越多。依照信息的熵增理論，數(shù)據(jù)的無(wú)序是數(shù)據(jù)發(fā)展的必然趨勢(shì)。現(xiàn)在，我們做數(shù)據(jù)治理是目的實(shí)際上是對(duì)已產(chǎn)生數(shù)據(jù)進(jìn)行有序化管理，對(duì)正在產(chǎn)生的數(shù)據(jù)有序化存儲(chǔ)，通過(guò)數(shù)據(jù)治理將數(shù)據(jù)的無(wú)序化進(jìn)行延緩，但終究逃脫不了數(shù)據(jù)無(wú)序的最終結(jié)局。無(wú)序的數(shù)據(jù)就是人類的災(zāi)難，因此，我們必須向數(shù)據(jù)開(kāi)戰(zhàn)！且越早越好！為什么呢？我們走訪了很多企業(yè)，很多企業(yè)的領(lǐng)導(dǎo)一談到數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)盤點(diǎn)、數(shù)據(jù)分類分級(jí)、數(shù)據(jù)如何更優(yōu)的存儲(chǔ)、如何更好的標(biāo)準(zhǔn)化、如何更好的應(yīng)用等等，就會(huì)很頭疼。不知道如何去下手，只能一等再等，數(shù)據(jù)越等越多，越等越亂、越等越不知道怎么辦。所以，我建議數(shù)據(jù)治理這事越早越好，越找專業(yè)公司越好，越深度參與越好！盡早向數(shù)據(jù)開(kāi)戰(zhàn)！

一、目前數(shù)據(jù)治理模式及問(wèn)題

1、甕中捉鱉式數(shù)據(jù)治理

有些企業(yè)采用的數(shù)據(jù)治理就是甕中捉鱉的模式，典型做法就是不管有多少數(shù)據(jù)先存到大數(shù)據(jù)平臺(tái)或數(shù)據(jù)中臺(tái)，再圖對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和應(yīng)用。甕有多大，鱉有多少，甕里放了多少鱉，有哪些類型的鱉，一概不知！

隨著時(shí)間的增長(zhǎng)，貼源區(qū)數(shù)據(jù)越來(lái)越多，非結(jié)構(gòu)化的文件、圖像、聲音、視頻數(shù)量巨大，漸漸地大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)成了垃圾存儲(chǔ)倉(cāng)。這樣的方式長(zhǎng)期以往，必然導(dǎo)致數(shù)據(jù)治理失敗。

2、削足適履式數(shù)據(jù)治理

有些企業(yè)采用的數(shù)據(jù)治理就是削足適履的模式，典型的做法就是先制定數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)進(jìn)倉(cāng)嚴(yán)格按照數(shù)據(jù)標(biāo)準(zhǔn)，這樣就會(huì)導(dǎo)致雖然數(shù)據(jù)倉(cāng)庫(kù)里面的數(shù)據(jù)是規(guī)范的，但是也會(huì)導(dǎo)致很多的數(shù)據(jù)進(jìn)不了數(shù)據(jù)倉(cāng)庫(kù)，導(dǎo)致大量數(shù)據(jù)的丟失。

到底丟失了哪些數(shù)據(jù)，這些數(shù)據(jù)會(huì)產(chǎn)生什么樣的影響，誰(shuí)會(huì)用到這些數(shù)據(jù)，一概不知！且隨著時(shí)間增長(zhǎng)，大量樣本數(shù)據(jù)沒(méi)有，對(duì)于某些需要連續(xù)性統(tǒng)計(jì)分析造成重大障礙！

3、無(wú)知無(wú)畏式數(shù)據(jù)治理

有些企業(yè)采用的數(shù)據(jù)治理可以說(shuō)是無(wú)知無(wú)畏，典型的做法就是聽(tīng)到很多廠商的方案，然后集九陰真經(jīng)和降龍十八掌之大乘，風(fēng)風(fēng)火火自己開(kāi)展起來(lái)。

讓廠商完全按照企業(yè)的意志開(kāi)展數(shù)據(jù)治理工作，后來(lái)才發(fā)現(xiàn)，真正數(shù)據(jù)治理的實(shí)施和數(shù)據(jù)治理理論完全是兩碼事！最終將導(dǎo)致兩敗俱傷，企業(yè)數(shù)據(jù)治理沒(méi)有搞好，廠商名稱也搞臭！

4、完全依賴式數(shù)據(jù)治理

有些企業(yè)采用的數(shù)據(jù)治理模式基本是完全依賴，典型的做法是甩手掌柜，認(rèn)為廠商必須全部承擔(dān)所有數(shù)據(jù)治理過(guò)程中的工作，參與度極低！

有點(diǎn)像自己的孩子也不愿意抱的感覺(jué)，這將導(dǎo)致非常嚴(yán)重的后果，最終項(xiàng)目完結(jié)最不清楚哪些數(shù)據(jù)可見(jiàn)、哪些數(shù)據(jù)可用的卻是企業(yè)自己，真真是大錯(cuò)特錯(cuò)??！

二、大膽向數(shù)據(jù)開(kāi)戰(zhàn)

數(shù)據(jù)治理人最缺的就是工具，就像戰(zhàn)士上戰(zhàn)場(chǎng)一樣，也沒(méi)很好的武器，失敗是必然的！現(xiàn)在很多數(shù)據(jù)治理的猛士就像特種兵，拿著刺刀也跟數(shù)據(jù)拼上一拼，但是特種兵畢竟是少數(shù)！打造數(shù)據(jù)治理利器成為我們數(shù)據(jù)治理人最期盼的事情！那么怎么辦，融合、融合、再融合；創(chuàng)新、創(chuàng)新、再創(chuàng)新！數(shù)據(jù)的發(fā)展已經(jīng)快速顛覆了我們的認(rèn)知，我們已經(jīng)不能站在前輩的肩上的做美夢(mèng)了！怎么辦？

1、AI技術(shù)與數(shù)據(jù)治理平臺(tái)深度融合

經(jīng)過(guò)多年的理論更新、技術(shù)演進(jìn)和應(yīng)用實(shí)踐，數(shù)據(jù)治理從概念到技術(shù)已經(jīng)發(fā)生了很多變化。特別是隨著人工智能的興起，數(shù)據(jù)治理技術(shù)和人工智能技術(shù)有效的融合在一起，使智能化數(shù)據(jù)治理成為可能。數(shù)據(jù)治理工作中，通過(guò)對(duì)大數(shù)據(jù)應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，作數(shù)據(jù)挖掘和分析，從而識(shí)別哪些是用戶隱私性數(shù)據(jù)、哪些數(shù)據(jù)可能有異常，一旦數(shù)據(jù)特征被確認(rèn)，打上標(biāo)簽，未來(lái)再做數(shù)據(jù)管理時(shí)，就可以使用元數(shù)據(jù)管理的方法機(jī)制，對(duì)外提供服務(wù)。比如當(dāng)碰到涉及的某特殊標(biāo)記數(shù)據(jù)，就會(huì)有相應(yīng)的流程啟動(dòng)，或在相關(guān)的數(shù)據(jù)對(duì)外服務(wù)提供過(guò)程中，自動(dòng)識(shí)別數(shù)據(jù)涉及的個(gè)人隱私，避免引起政策方面的風(fēng)險(xiǎn)。通過(guò)AI技術(shù)的應(yīng)用，可以增強(qiáng)數(shù)據(jù)安全管理和元數(shù)據(jù)管理的能力。

在開(kāi)展數(shù)據(jù)質(zhì)量核查過(guò)程中，機(jī)器識(shí)別技術(shù)配合預(yù)置的質(zhì)量核查規(guī)則進(jìn)行核查，僅針對(duì)少量核心核查規(guī)則，從大數(shù)據(jù)中選取訓(xùn)練數(shù)據(jù)樣本，經(jīng)過(guò)預(yù)處理，利用機(jī)器學(xué)習(xí)算法進(jìn)行深度分析，提取公共特征和模型，可以定位數(shù)據(jù)質(zhì)量原因，做數(shù)據(jù)質(zhì)量問(wèn)題的預(yù)測(cè)，并進(jìn)一步形成知識(shí)庫(kù)。這樣就可以更進(jìn)一步增強(qiáng)大數(shù)據(jù)生態(tài)下數(shù)據(jù)質(zhì)量管理的能力。

對(duì)于數(shù)據(jù)模型的管理，機(jī)器學(xué)習(xí)技術(shù)可用來(lái)分析數(shù)據(jù)庫(kù)中數(shù)據(jù)實(shí)體的引用熱度，通過(guò)聚類算法自動(dòng)識(shí)別數(shù)據(jù)模型間的內(nèi)在關(guān)系，還可以用于數(shù)據(jù)模型質(zhì)量的檢測(cè)和評(píng)估。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的管理，像文檔內(nèi)容，圖像，音頻，視頻，可以充分利用人工智能中的自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別、視頻處理等技術(shù)進(jìn)行實(shí)現(xiàn)。

2、強(qiáng)化企業(yè)全員樹(shù)立正確的數(shù)據(jù)觀

正確的數(shù)據(jù)觀主要是建立良好的企業(yè)數(shù)據(jù)文化。數(shù)據(jù)文化就是建立要讓數(shù)據(jù)用起來(lái)文化，但凡數(shù)據(jù)文化豐富的企業(yè)，都有較強(qiáng)的競(jìng)爭(zhēng)力。數(shù)據(jù)文化是企業(yè)在運(yùn)營(yíng)過(guò)程中必須確立的原則，要求所有員工和決策者關(guān)注現(xiàn)有數(shù)據(jù)所傳達(dá)的信息，并根據(jù)這些結(jié)果做出決策和變更，而不是基于特定領(lǐng)域的經(jīng)驗(yàn)領(lǐng)導(dǎo)公司的發(fā)展，形成一切以數(shù)據(jù)說(shuō)話的制度。從工廠到總部，從員工到經(jīng)理，從現(xiàn)場(chǎng)首檢到年報(bào)，在研發(fā)、生產(chǎn)、物供、營(yíng)銷、人事、財(cái)務(wù)等各環(huán)節(jié)進(jìn)行數(shù)據(jù)化管理，各類表單系列化、系統(tǒng)化、規(guī)范化、標(biāo)準(zhǔn)化。實(shí)現(xiàn)無(wú)數(shù)據(jù)不開(kāi)會(huì)，無(wú)數(shù)據(jù)不文章，無(wú)數(shù)據(jù)不開(kāi)機(jī)，無(wú)數(shù)據(jù)不下線，無(wú)數(shù)據(jù)不出廠等機(jī)制。

為了構(gòu)建數(shù)據(jù)文化，部門和組織必須讓數(shù)據(jù)自己說(shuō)話，并且信任統(tǒng)計(jì)的指導(dǎo)。作為一個(gè)數(shù)據(jù)驅(qū)動(dòng)的企業(yè)取得成功需要不斷整理和更新數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行開(kāi)放，以便員工可以隨時(shí)獲得最準(zhǔn)確的信息，有效實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)的民主化。對(duì)他們需要訪問(wèn)的數(shù)據(jù)不僅要細(xì)化，還要全面，幫助他們掌握大局。數(shù)據(jù)文化的打造并不是一朝一夕就可以完成的，企業(yè)的思維取決于經(jīng)營(yíng)者的思維邏輯。只有將數(shù)據(jù)文化當(dāng)作企業(yè)的重要文化建設(shè)，才能夠慢慢的將企業(yè)的組織文化建立在數(shù)據(jù)的基礎(chǔ)上，引導(dǎo)公司遠(yuǎn)離風(fēng)險(xiǎn)。

3、數(shù)據(jù)必須治理才會(huì)有更大價(jià)值

將數(shù)據(jù)用于企業(yè)戰(zhàn)略決策，運(yùn)營(yíng)效率增加，盈利能力增強(qiáng)，正確管理數(shù)據(jù)至關(guān)重要。管理不善的數(shù)據(jù)導(dǎo)致數(shù)據(jù)不被信任，數(shù)據(jù)利用率下降，且可能錯(cuò)失差異化競(jìng)爭(zhēng)關(guān)鍵機(jī)會(huì)。隨著更多數(shù)據(jù)在企業(yè)中產(chǎn)生，數(shù)據(jù)管理變得越來(lái)越繁重。除了數(shù)據(jù)泛濫之外，從創(chuàng)建的角度來(lái)看，數(shù)據(jù)不斷變化，當(dāng)它流經(jīng)數(shù)據(jù)供應(yīng)鏈時(shí)，以無(wú)數(shù)種方式使用并變換，隨著數(shù)據(jù)流向各種系統(tǒng)、不同流程和多種環(huán)境，數(shù)據(jù)質(zhì)量始終處于危險(xiǎn)之中。

要實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的最佳回報(bào)，確保組織從業(yè)務(wù)角度精確了解數(shù)據(jù)并量化其質(zhì)量至關(guān)重要。當(dāng)企業(yè)沒(méi)有易理解、高質(zhì)量、易訪問(wèn)的數(shù)據(jù)時(shí)，就會(huì)阻礙業(yè)務(wù)部門對(duì)數(shù)據(jù)的使用。如果業(yè)務(wù)部門確實(shí)利用了不準(zhǔn)確、不完整或不適當(dāng)?shù)臄?shù)據(jù)，則可能導(dǎo)致決策失誤。通過(guò)將數(shù)據(jù)治理納入組織的管理戰(zhàn)略，才能確保數(shù)據(jù)資產(chǎn)的持續(xù)準(zhǔn)確和完整，從而發(fā)揮數(shù)據(jù)資產(chǎn)的有效價(jià)值。

三、團(tuán)結(jié)起來(lái)，我們是一家人

數(shù)據(jù)治理是廠商的事，更是企業(yè)的事，尤其是各個(gè)業(yè)務(wù)部門的事！產(chǎn)生數(shù)據(jù)的是業(yè)務(wù)部門、使用數(shù)據(jù)的是業(yè)務(wù)部門、數(shù)據(jù)有問(wèn)題影響的也是業(yè)務(wù)部門，因此業(yè)務(wù)部門一定要深度參與數(shù)據(jù)治理項(xiàng)目！只有企業(yè)和廠商緊密團(tuán)結(jié)在一起，發(fā)揮各自的優(yōu)勢(shì)長(zhǎng)處，才能真正的把數(shù)據(jù)治理這件事情做好！

團(tuán)結(jié)，團(tuán)結(jié)，再團(tuán)結(jié)，也只有團(tuán)結(jié)才能真正的打敗數(shù)據(jù)這個(gè)難以馴服的敵人，才能發(fā)揮它作為生產(chǎn)要素、生產(chǎn)資料、數(shù)據(jù)資產(chǎn)的價(jià)值！加油，團(tuán)結(jié)起來(lái)，讓我們走向新的勝利！