中臺建設(shè)過程三大挑戰(zhàn)、數(shù)據(jù)治理中七大要素及兩個案例

weiwarm 2020-03-09

展開全文

隨著企業(yè)信息化程度越來越高，企業(yè)掌握的數(shù)據(jù)量從原來的TB級發(fā)展到PB級，再到EB級甚至往ZB級別發(fā)展。數(shù)據(jù)形式也在從原來的結(jié)構(gòu)化數(shù)據(jù)為主轉(zhuǎn)變?yōu)橐匀罩?、視頻、圖片、語音等非結(jié)構(gòu)化數(shù)據(jù)為主。

然而，數(shù)據(jù)存儲和計算、數(shù)據(jù)組織的運行都是有成本的。當(dāng)數(shù)據(jù)消耗成本較小時，企業(yè)通過設(shè)立獨立預(yù)算的大數(shù)據(jù)項目即可應(yīng)對。但是隨著越來越多的數(shù)據(jù)產(chǎn)生且被應(yīng)用，數(shù)據(jù)成本急劇增加，發(fā)展數(shù)據(jù)業(yè)務(wù)就必須被提升到企業(yè)數(shù)字化轉(zhuǎn)型的高度，之前的應(yīng)對策略便不足以應(yīng)對。毋庸置疑，接下來，數(shù)據(jù)部門將作為一個業(yè)務(wù)部門長期存在，這就需要數(shù)據(jù)部門需要有盡量清晰的業(yè)務(wù)邊界，有可控的投入產(chǎn)出。

同樣的轉(zhuǎn)型歷程，奇點云創(chuàng)始團隊在阿里巴巴時也是親身經(jīng)歷。2013年，當(dāng)數(shù)據(jù)應(yīng)用不再以BI（看數(shù)據(jù)）為主，而是為核心業(yè)務(wù)（數(shù)據(jù)支撐廣告投放更精準(zhǔn)）服務(wù)時，存儲優(yōu)化和計算優(yōu)化，以及整體有序的大數(shù)據(jù)業(yè)務(wù)規(guī)劃便成為了當(dāng)務(wù)之急。

過去三年，在幫助企業(yè)構(gòu)建數(shù)據(jù)中臺的實踐中，我們提煉了企業(yè)數(shù)字化轉(zhuǎn)型最主要的三大挑戰(zhàn)（業(yè)務(wù)挑戰(zhàn)、技術(shù)挑戰(zhàn)、組織挑戰(zhàn)），或者說企業(yè)必然會面臨的三大困境，看看數(shù)據(jù)中臺如何為企業(yè)發(fā)揮價值。

一

數(shù)據(jù)中臺建設(shè)過程三大挑戰(zhàn)

1）業(yè)務(wù)挑戰(zhàn)：如何以大數(shù)據(jù)賦能，反哺業(yè)務(wù)精耕？

越是成功的企業(yè)，業(yè)務(wù)發(fā)展的痛點越難以單點解決，需要整體思考、科學(xué)決策、集體行動，在業(yè)務(wù)的創(chuàng)新中解決這些痛點。

比如，如何做好會員精細化運營？如何為門店挑選合適的商品且控制好庫存？如何動態(tài)打折以至不損傷毛利等等，是擺在企業(yè)前面的一個個難題，直接影響到企業(yè)的規(guī)模擴展或者利潤提升，也是企業(yè)迫切需要解決的問題。

這就需要構(gòu)建數(shù)據(jù)中臺，通過大數(shù)據(jù)賦能業(yè)務(wù)。

相比傳統(tǒng)數(shù)據(jù)業(yè)務(wù)，大數(shù)據(jù)業(yè)務(wù)的優(yōu)勢在于，通過整體規(guī)劃智能化的數(shù)據(jù)應(yīng)用，來推動業(yè)務(wù)創(chuàng)新。這就是企業(yè)數(shù)字化轉(zhuǎn)型的業(yè)務(wù)內(nèi)涵。這些數(shù)據(jù)智能應(yīng)用需要將業(yè)務(wù)經(jīng)驗和解決方法論、全域的數(shù)據(jù)模型，與算法模型相結(jié)合，我們稱之為“業(yè)務(wù)智能模型”，它的價值在于“降本增效”。

在奇點云過去三年的數(shù)據(jù)中臺實踐中，我們發(fā)現(xiàn)這些業(yè)務(wù)智能模型遍布在整個零售產(chǎn)業(yè)上下游。比如通過全方位的數(shù)據(jù)反饋并指導(dǎo)買手做好選品；又如通過商品的聚類，發(fā)現(xiàn)某類特征的商品，可以優(yōu)化打折速度和幅度，以此提高整體的折扣率從而增加毛利等。再比如，通過門店和商品數(shù)據(jù)，通過最優(yōu)算法，解決“什么樣的店鋪類型應(yīng)該鋪什么商品”，以提升門店的顧客進店轉(zhuǎn)化率，從而提升效益。

業(yè)務(wù)智能模型需要數(shù)據(jù)和業(yè)務(wù)系統(tǒng)深度結(jié)合，在運營工作中直接產(chǎn)生效果，讓業(yè)務(wù)能夠自動化、高效地運轉(zhuǎn)起來。

2）技術(shù)挑戰(zhàn)：如何高效的數(shù)據(jù)治理，遠離數(shù)據(jù)“黑洞“？
要做好有價值的業(yè)務(wù)智能模型，離不開高質(zhì)量、高可用的、全域的數(shù)據(jù)中臺，數(shù)據(jù)治理就顯得非常重要?！皵?shù)據(jù)治理”是企業(yè)數(shù)字化轉(zhuǎn)型中典型的大數(shù)據(jù)技術(shù)問題。

數(shù)據(jù)治理，解決的是“業(yè)務(wù)越來越復(fù)雜而數(shù)據(jù)現(xiàn)狀的臟亂差”帶來的挑戰(zhàn)。如何合理規(guī)劃數(shù)據(jù)結(jié)構(gòu)？如何規(guī)范定義數(shù)據(jù)？如何有效管理數(shù)據(jù)資產(chǎn)？如何安全分發(fā)使用數(shù)據(jù)？這都需要一套完善的數(shù)據(jù)治理體系，驅(qū)動企業(yè)數(shù)據(jù)化運營轉(zhuǎn)型。

數(shù)據(jù)治理是基礎(chǔ)，也制約了企業(yè)的數(shù)據(jù)智能化方向的發(fā)展，難以做到數(shù)據(jù)創(chuàng)新。從理念上來看，“治”不應(yīng)只在事后，更應(yīng)在事前，“理”考驗的是業(yè)務(wù)與技術(shù)能力的結(jié)合。從實際內(nèi)容上來看，數(shù)據(jù)治理是一套方法體系+工具集，旨在幫助企業(yè)合理的架構(gòu)數(shù)據(jù)、規(guī)范的定義與加工數(shù)據(jù)、清晰的管理數(shù)據(jù)、安全的應(yīng)用數(shù)據(jù)，促使數(shù)據(jù)從成本中心變成價值中心，驅(qū)動企業(yè)數(shù)字化轉(zhuǎn)型。

3）組織挑戰(zhàn)：如何深挖數(shù)據(jù)紅利，成為業(yè)務(wù)創(chuàng)新“能手“？

從解決業(yè)務(wù)挑戰(zhàn)和技術(shù)挑戰(zhàn)出發(fā)，企業(yè)必須把數(shù)字化轉(zhuǎn)型定義為戰(zhàn)略問題，從而推動“數(shù)據(jù)中臺”的落地，這也給企業(yè)帶來了組織上的挑戰(zhàn)。

一般來講，傳統(tǒng)的數(shù)倉解決方式有兩大問題：一方面從業(yè)務(wù)系統(tǒng)直接計算數(shù)據(jù)，非解耦架構(gòu)對業(yè)務(wù)系統(tǒng)影響極大。一方面基于DB構(gòu)建的數(shù)據(jù)倉庫，計算及查詢效率難以滿足業(yè)務(wù)數(shù)據(jù)膨脹的大趨勢要求。解決這些問題，已經(jīng)不是藏在“IT部門”的數(shù)據(jù)小分隊這一組織形式所能夠解決的。
2018年7月，阿里云總結(jié)了過去的成功經(jīng)驗，在業(yè)界大力推出“數(shù)據(jù)中臺”解決方案，很好地解決了這些問題。奇點云提出的數(shù)據(jù)中臺架構(gòu)與設(shè)計，其出發(fā)點是支撐復(fù)雜的、多系統(tǒng)的、數(shù)量巨大的、多應(yīng)用場景的業(yè)務(wù)形態(tài)。在組織層面理順以下部門或團隊關(guān)系，來解決企業(yè)在組織落地戰(zhàn)略上的困惑：

①與傳統(tǒng)IT業(yè)務(wù)之間的關(guān)系：業(yè)務(wù)和計算分離，業(yè)務(wù)和數(shù)據(jù)分離

大數(shù)據(jù)業(yè)務(wù)應(yīng)與業(yè)務(wù)系統(tǒng)解耦，采用T+1離線計算方法產(chǎn)出結(jié)果數(shù)據(jù)，不直接在業(yè)務(wù)系統(tǒng)上進行數(shù)據(jù)計算，實現(xiàn)了業(yè)務(wù)和計算的分離、業(yè)務(wù)和數(shù)據(jù)的分離。
大數(shù)據(jù)部門的工作起點是滿足多種計算場景的需求。支持大數(shù)據(jù)計算，結(jié)合了多種計算引擎，針對不同的場景使用不同的計算引擎，如離線計算引擎、實時計算引擎、多維分析引擎、即席查詢引擎、實時搜索引擎。

②與業(yè)務(wù)部門的關(guān)系：站在企業(yè)視角打通數(shù)據(jù)，支撐業(yè)務(wù)部門用數(shù)據(jù)

支持各種異構(gòu)數(shù)據(jù)源打通，提供了一套基于reader和writer的抽象化數(shù)據(jù)抽取插件，除了提供系統(tǒng)自帶的插件外，還支持自定義實現(xiàn)reader和writer插件，通過公共的管道，實現(xiàn)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的互相傳輸，統(tǒng)一技術(shù)框架。
支持業(yè)務(wù)部門的高并發(fā)多場景的實時查詢，數(shù)據(jù)中臺集成了基于分布式的KV查詢框架，可以支持海量級別的查詢請求，并且響應(yīng)時間可以控制在毫秒級別。
支持多場景的數(shù)據(jù)服務(wù)，靈活快速支撐業(yè)務(wù)需求，向?qū)Ш妥远x雙模式快速生成API，實時監(jiān)控API調(diào)用情況。
面向業(yè)務(wù)部門，為業(yè)務(wù)部門的數(shù)據(jù)分析、開發(fā)提供培訓(xùn)和技術(shù)支持。

③與合作伙伴的關(guān)系：找到數(shù)據(jù)部門的核心能力

應(yīng)該深入業(yè)務(wù)，影響業(yè)務(wù)效率。數(shù)據(jù)模型融合離散的業(yè)務(wù)數(shù)據(jù)，可借助數(shù)據(jù)中臺快速構(gòu)建數(shù)據(jù)模型，建立全方位的數(shù)據(jù)視角，消滅信息孤島和數(shù)據(jù)差異，靈活支撐業(yè)務(wù)的變動。
不應(yīng)該在大數(shù)據(jù)平臺建設(shè)、在很難培養(yǎng)的團隊能力上下功夫（比如算法能力），盡量借用外腦。

二

數(shù)據(jù)治理的七大要素

奇點云總結(jié)了“數(shù)據(jù)治理的七個要素”如下：

1）數(shù)據(jù)的標(biāo)準(zhǔn)定義：數(shù)據(jù)維度及指標(biāo)需要清晰的、統(tǒng)一的、標(biāo)準(zhǔn)的定義，如“最近一天門店在線上渠道的下單金額”。

2）數(shù)據(jù)模型的標(biāo)準(zhǔn)設(shè)計：按業(yè)務(wù)領(lǐng)域拆解業(yè)務(wù)過程，根據(jù)業(yè)務(wù)過程設(shè)計數(shù)據(jù)模型，好的模型標(biāo)準(zhǔn)是高內(nèi)聚低耦合，能支撐未來擴展。

3）數(shù)據(jù)的規(guī)范開發(fā)與測試：在一定的編碼規(guī)則下開發(fā)，確保代碼質(zhì)量的穩(wěn)定性。

4）元數(shù)據(jù)的合理管理：數(shù)據(jù)的存儲是需要成本的，需要合理的生命周期管理。

5）數(shù)據(jù)質(zhì)量的保障：數(shù)據(jù)的可用性、可信度，均需數(shù)據(jù)質(zhì)量保障，數(shù)據(jù)質(zhì)量從上游采集、中間的數(shù)據(jù)加工，下游的數(shù)據(jù)服務(wù)都需要一套質(zhì)量檢測工具來保障準(zhǔn)確性、完整性。

6）數(shù)據(jù)的安全管控：數(shù)據(jù)是企業(yè)的核心資產(chǎn)，數(shù)據(jù)安全上升為企業(yè)安全。數(shù)據(jù)安全包含數(shù)據(jù)的分級、敏感數(shù)據(jù)脫敏、分行列控制、高危訪問實時告警、事后的安全審計等。

7）數(shù)據(jù)的合規(guī)使用：企業(yè)成立數(shù)據(jù)安全委員會，為數(shù)據(jù)的合規(guī)使用制定規(guī)范，必須在合規(guī)范圍內(nèi)安全使用數(shù)據(jù)。

三

數(shù)據(jù)治理兩大案例

1）某服飾K案例：

客戶背景：想要通過數(shù)據(jù)智能化應(yīng)用，提升管理效率，從集團CEO到各部門經(jīng)理到一線店長，經(jīng)營效率需提升，運營過程需要數(shù)據(jù)支撐，一方面是數(shù)據(jù)產(chǎn)出速度，一方面是緩沖的精準(zhǔn)度。以及優(yōu)化當(dāng)前的人員排班，避免客流不大時過于飽和人效較低，高峰期時人員不夠?qū)е掠唵螕p失。

數(shù)據(jù)中臺解決方案：構(gòu)建集團/銷售總經(jīng)理/門店店長三層駕駛艙，拉通數(shù)據(jù)中臺的建設(shè)，順勢統(tǒng)一指標(biāo)標(biāo)準(zhǔn)、數(shù)據(jù)采集標(biāo)準(zhǔn)、建數(shù)據(jù)模型標(biāo)準(zhǔn)，驅(qū)動企業(yè)的數(shù)據(jù)上一個臺階，為后續(xù)的創(chuàng)新打下基礎(chǔ)。

統(tǒng)一管理：企業(yè)管理行為落地KPI體系，KPI數(shù)據(jù)反映管理與經(jīng)營的效率；

統(tǒng)一視角：一站式數(shù)據(jù)服務(wù)，從集團總裁，到分公司總經(jīng)理，甚至到門店店長，都在一個系統(tǒng)中透視KPI、逐層從上到下穿透，直至發(fā)現(xiàn)問題。

統(tǒng)一口徑：所有指標(biāo)及維度必須標(biāo)準(zhǔn)化，包括命名規(guī)范、口徑統(tǒng)一、數(shù)據(jù)模型統(tǒng)一，從而為指標(biāo)解讀有據(jù)可依。

智能排班：通過計算每人的績效，結(jié)合到門店計算人效，聚類區(qū)分幾類人效人群，得出中等人效即可服務(wù)號一般門店。同時預(yù)測門店未來的訂單量，擬合中等人效水平，計算未來一周內(nèi)門店各時間段需要的人力情況。結(jié)合門店和人員的區(qū)域化情況，從而實現(xiàn)了智能排班系統(tǒng)。

實施效果：上線后第一個月開始，集團高管月會，開始使用管理駕駛艙梳理盤點診斷業(yè)務(wù)；數(shù)據(jù)中臺支撐的倉庫單據(jù)從原來的10分鐘降低到5秒，緩沖補貨時間從30分鐘降低到5分鐘以下；上線3個月，離線的Excel模版報表，從500個降低到250以下；基于數(shù)據(jù)中臺創(chuàng)新了智能排班系統(tǒng)、店鋪前臺商品推薦系統(tǒng)；技術(shù)人員從傳統(tǒng)的Oracle存儲過程過度到大數(shù)據(jù)平臺，成長了數(shù)據(jù)模型研發(fā)與算法能力。智能排班上線，整體人員下降了10%（自然淘汰人效最低的人員），從而為公司每年帶來大幾千萬的利潤。

2）某母嬰M案例：

客戶背景：在企業(yè)運營效率低下，無標(biāo)準(zhǔn)數(shù)據(jù)體系及系統(tǒng)支持的情況下，企業(yè)所運營的APP千人一面，所有運營活動需要手工調(diào)整，幾乎沒有數(shù)據(jù)化運營。基本靠經(jīng)驗，影響用戶體驗，老客戶復(fù)購率低。

數(shù)據(jù)中臺解決方案：該項目分兩期實施，一期規(guī)范采集，打通日志、交易、售后等數(shù)據(jù)，構(gòu)建統(tǒng)一數(shù)據(jù)中臺，建立標(biāo)準(zhǔn)指標(biāo)體系，構(gòu)建業(yè)務(wù)分析BI系統(tǒng)及一系列運營報表，支撐運營日常數(shù)據(jù)工作效率提升，快速洞察業(yè)務(wù)，驅(qū)動高效運營決策；二期構(gòu)建會員、商品、店鋪標(biāo)簽體系，增加實時日志采集，在購物主鏈路四個環(huán)節(jié)（首頁-搜索-購物車-支付）做千人千面推薦引擎，提升用戶發(fā)現(xiàn)感興趣和可能需要的商品，提升新客戶的轉(zhuǎn)化率與老會員的復(fù)購率。

實施效果：上線了平臺運營中心，支撐了所有運營日常數(shù)據(jù)工作；購物主鏈路個性化推薦，提升了新客戶50%的轉(zhuǎn)化率，提升了老客戶80%的復(fù)購率；

總結(jié)：

我們認為，在AI驅(qū)動下的數(shù)據(jù)中臺大有可為。所有的數(shù)據(jù)一定是基于數(shù)據(jù)中臺形成一個業(yè)務(wù)閉環(huán)，把數(shù)據(jù)賦能給新零售前端的應(yīng)用，可以幫企業(yè)真真正正實現(xiàn)自身的數(shù)字化轉(zhuǎn)型。