背景摘要：

趁著大數(shù)據(jù)的風(fēng)潮，2018年年初，AA集團(tuán)決定上馬大數(shù)據(jù)平臺(tái)，希望基于平臺(tái)充分挖掘大數(shù)據(jù)的價(jià)值，使數(shù)據(jù)賦能企業(yè)業(yè)務(wù)發(fā)展。然而，錢沒少花、人沒少出，平臺(tái)上線后，運(yùn)行效能卻令人大失所望?；ù罅庾龀鰜?lái)的數(shù)據(jù)分析報(bào)告屢屢被證明價(jià)值匱乏，而好不容易挖掘出來(lái)的數(shù)據(jù)也難以融合到具體業(yè)務(wù)中去，數(shù)據(jù)價(jià)值難以變現(xiàn)，不到半年時(shí)間，當(dāng)初被寄予厚望的數(shù)據(jù)平臺(tái)就遺憾地淪為了數(shù)據(jù)廢墟。

在大數(shù)據(jù)應(yīng)用領(lǐng)域，與AA集團(tuán)的相似的情況比比皆是。2017年，Gartner就估算接近85%的大數(shù)據(jù)項(xiàng)目都會(huì)失敗。這一結(jié)論至今未變。事實(shí)上，近年來(lái)，隨著大數(shù)據(jù)的概念甚囂塵上，大數(shù)據(jù)應(yīng)用建設(shè)項(xiàng)目如雨后春筍般涌現(xiàn)。然而，與應(yīng)用前的各種期望與希冀相比，企業(yè)在實(shí)際應(yīng)用大數(shù)據(jù)后卻往往對(duì)其充滿質(zhì)疑和抱怨。數(shù)據(jù)轉(zhuǎn)型、數(shù)據(jù)驅(qū)動(dòng)、數(shù)據(jù)賦能，概念一飛沖天，落地寥寥無(wú)幾。

大數(shù)據(jù)為何落地難？我們又該怎樣加強(qiáng)大數(shù)據(jù)的賦用性？

大數(shù)據(jù)為何落地難

大數(shù)據(jù)難落地的原因很多很復(fù)雜，而本文中，我們希望從根源上展開分析。

首先，我們需要明確什么是大數(shù)據(jù)，以及企業(yè)有用數(shù)據(jù)的邊界。

普遍觀點(diǎn)認(rèn)為：大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。對(duì)企業(yè)而言，大數(shù)據(jù)主要涵蓋與企業(yè)所處行業(yè)相關(guān)的競(jìng)爭(zhēng)環(huán)境、盈利模式、業(yè)務(wù)模式、客戶消費(fèi)模式等一系列內(nèi)外部經(jīng)營(yíng)相關(guān)的信息流，是來(lái)自于企業(yè)外部的社會(huì)數(shù)據(jù)。

身處萬(wàn)物互聯(lián)時(shí)代，大數(shù)據(jù)的演進(jìn)已經(jīng)成為不可逆的浪潮。我們看到，整個(gè)企業(yè)運(yùn)行過(guò)程，企業(yè)圍墻壁壘變得越來(lái)越小，甚至有可能被瞬間被打破。獲取資源的過(guò)程和內(nèi)部交易的過(guò)程，都會(huì)依賴大數(shù)據(jù)來(lái)定義客戶，完成交易。整個(gè)企業(yè)不再單單是產(chǎn)品的制造者，而要整合外部平臺(tái)。這必將令大數(shù)據(jù)的價(jià)值日益凸顯，也是近年來(lái)企業(yè)大數(shù)據(jù)應(yīng)用風(fēng)潮日盛的根本原因。

然而，不是所有數(shù)據(jù)都是大數(shù)據(jù)，而對(duì)企業(yè)而言，經(jīng)營(yíng)、管理和決策中所用到的數(shù)據(jù)亦遠(yuǎn)非僅有大數(shù)據(jù)。

企業(yè)在經(jīng)營(yíng)活動(dòng)中還會(huì)產(chǎn)生大量?jī)?nèi)部數(shù)據(jù)，包括以收入、成本、利潤(rùn)、資產(chǎn)、負(fù)債等為代表的財(cái)務(wù)數(shù)據(jù)和與產(chǎn)品、客戶、渠道、生產(chǎn)、研發(fā)等相關(guān)的業(yè)務(wù)數(shù)據(jù)。這些數(shù)據(jù)不屬于大數(shù)據(jù)，但是是直接反映企業(yè)經(jīng)營(yíng)情況和財(cái)務(wù)狀況的直接數(shù)據(jù)，也是企業(yè)在經(jīng)營(yíng)和管理決策中長(zhǎng)期應(yīng)用、必不可少的重要依據(jù)。以預(yù)算管理為例。在從目標(biāo)到計(jì)劃到預(yù)算到資源到行動(dòng)的整個(gè)過(guò)程中，其首先用到的數(shù)據(jù)就是生產(chǎn)計(jì)劃、銷售計(jì)劃等業(yè)務(wù)數(shù)據(jù)和收入、費(fèi)用等財(cái)務(wù)數(shù)據(jù)。

如果將外部大數(shù)據(jù)比作數(shù)據(jù)界的新貴，那么，內(nèi)部業(yè)財(cái)數(shù)據(jù)就是數(shù)據(jù)界的傳統(tǒng)豪門。新貴來(lái)勢(shì)洶洶，也不能撼動(dòng)傳統(tǒng)豪門的地位。在企業(yè)中，對(duì)業(yè)財(cái)數(shù)據(jù)的深入挖掘和應(yīng)用應(yīng)是一以貫之的十分重要，而對(duì)大數(shù)據(jù)的應(yīng)用亦要不斷深化落地。只有將兩者相結(jié)合，才能觸發(fā)真正令人滿意的數(shù)據(jù)應(yīng)用效果。

然而，我們可以看到，很多企業(yè)在大數(shù)據(jù)應(yīng)用中，過(guò)于放大了大數(shù)據(jù)的價(jià)值和重要性，卻因此忽略了對(duì)內(nèi)部業(yè)財(cái)數(shù)據(jù)的應(yīng)用。由于大數(shù)據(jù)平臺(tái)定位為是對(duì)大數(shù)據(jù)價(jià)值的挖掘和應(yīng)用，且平臺(tái)獨(dú)立開發(fā)、建設(shè)和運(yùn)營(yíng)，這就將大數(shù)據(jù)與內(nèi)部數(shù)據(jù)割裂開來(lái)，這樣的應(yīng)用從根本上就難以獲得好的結(jié)果。

真正可落地的數(shù)據(jù)應(yīng)用應(yīng)是將內(nèi)部業(yè)財(cái)數(shù)據(jù)與外部大數(shù)據(jù)匯集在一起，三類數(shù)據(jù)相結(jié)合的數(shù)據(jù)應(yīng)用。無(wú)論是房地產(chǎn)企業(yè)在投前測(cè)算中綜合采用運(yùn)營(yíng)計(jì)劃、項(xiàng)目成本、銷售進(jìn)度等內(nèi)部數(shù)據(jù)以及地塊基本情況、競(jìng)爭(zhēng)對(duì)手拿地情況等外部數(shù)據(jù)；還是快消企業(yè)在供應(yīng)鏈決策中綜合協(xié)同銷售、生產(chǎn)、采購(gòu)、財(cái)務(wù)等部門內(nèi)部數(shù)據(jù)以及競(jìng)爭(zhēng)對(duì)手狀況、區(qū)域天氣、市場(chǎng)環(huán)境等外部數(shù)據(jù)；在這些數(shù)據(jù)應(yīng)用的具體場(chǎng)景中，成功的大數(shù)據(jù)應(yīng)用從來(lái)都不是孤立的應(yīng)用。

重構(gòu)企業(yè)信息化架構(gòu)是大數(shù)據(jù)應(yīng)用的前提

那么，怎樣實(shí)現(xiàn)內(nèi)部業(yè)財(cái)數(shù)據(jù)與外部大數(shù)據(jù)的結(jié)合呢？

有人可能會(huì)說(shuō)，這很簡(jiǎn)單。企業(yè)只需要構(gòu)建一個(gè)數(shù)據(jù)平臺(tái)，將內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)納入到一起，基于海量數(shù)據(jù)開展數(shù)字化應(yīng)用。

當(dāng)然，從理論上來(lái)說(shuō)，這的確是一條直接有效的路徑。然而，遺憾的是，在現(xiàn)行的傳統(tǒng)信息化架構(gòu)下，這一路徑很難實(shí)現(xiàn)。

眾所周知，大數(shù)據(jù)應(yīng)用的意義不在于掌握了龐大的數(shù)據(jù)信息，而在于對(duì)數(shù)據(jù)的專業(yè)化處理。從數(shù)據(jù)應(yīng)用的過(guò)程來(lái)說(shuō)，其主要涉及到三個(gè)層次：數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算。我們需要先經(jīng)由不同渠道將數(shù)據(jù)采集進(jìn)來(lái)，基于存儲(chǔ)技術(shù)將這些數(shù)據(jù)快速、安全、分類、有序地存儲(chǔ)起來(lái)，再基于計(jì)算技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行加工、處理，將數(shù)據(jù)轉(zhuǎn)化為有用信息。數(shù)據(jù)采集是大數(shù)據(jù)應(yīng)用的基礎(chǔ)，而數(shù)據(jù)計(jì)算則是大數(shù)據(jù)應(yīng)用的關(guān)鍵。然而，傳統(tǒng)信息化架構(gòu)存在的弊端，導(dǎo)致數(shù)據(jù)應(yīng)用在這三個(gè)層次上均無(wú)法有效落地。

1、傳統(tǒng)信息化架構(gòu)形成了大量信息孤島，使數(shù)據(jù)采集和數(shù)據(jù)轉(zhuǎn)換成為難題。

在傳統(tǒng)的信息化架構(gòu)下，企業(yè)的IT體系由一系列套裝軟件系統(tǒng)構(gòu)成，比如ERP系統(tǒng)、CRM系統(tǒng)、SRM系統(tǒng)、HR系統(tǒng)等等，這些系統(tǒng)在應(yīng)用中呈現(xiàn)煙囪式的架構(gòu)。每一個(gè)系統(tǒng)都有一整套完整的結(jié)構(gòu)，包括用戶管理、權(quán)限管理、表單管理、流程管理、報(bào)表管理等等，這些系統(tǒng)彼此獨(dú)立，形成了大量數(shù)據(jù)孤島。即使企業(yè)想盡辦法，采取設(shè)置接口、搭建服務(wù)總線等方式來(lái)解決數(shù)據(jù)互通問(wèn)題，但無(wú)論怎樣努力，也無(wú)法改變煙囪式架構(gòu)的根本。大量財(cái)務(wù)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)重復(fù)、凌亂地散落于企業(yè)的各類信息系統(tǒng)平臺(tái)中，企業(yè)很難將它們?nèi)娴貐R聚起來(lái)加以有效的挖掘應(yīng)用。

2、傳統(tǒng)信息化架構(gòu)難以滿足對(duì)海量數(shù)據(jù)的存儲(chǔ)、處理和分析需求。

按存儲(chǔ)形式分類，企業(yè)內(nèi)外部數(shù)據(jù)可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是由二維表結(jié)構(gòu)來(lái)邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，為數(shù)據(jù)庫(kù)；非結(jié)構(gòu)化數(shù)據(jù)為不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)，包括所有格式的辦公文檔、各類報(bào)表、圖片和咅頻、視頻信息等。根據(jù)Gartner的預(yù)計(jì)，企業(yè)中高達(dá)80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)。這類對(duì)計(jì)算機(jī)的數(shù)據(jù)處理能力和讀寫速度要求更高，且數(shù)據(jù)量每年都呈指數(shù)級(jí)增長(zhǎng)。這就對(duì)系統(tǒng)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理能力提出了更高的性能要求。

然而，在傳統(tǒng)的煙囪式的信息化架構(gòu)下，由于每個(gè)系統(tǒng)都是獨(dú)立、完整的存在，擁有完整結(jié)構(gòu)，這就造成了大量重復(fù)建設(shè)，也為數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理帶來(lái)了很大麻煩。多年來(lái)積累的數(shù)據(jù)缺乏標(biāo)準(zhǔn)的體系梳理，缺乏有效的數(shù)據(jù)管理機(jī)制，數(shù)據(jù)結(jié)構(gòu)混亂，數(shù)據(jù)質(zhì)量低下，數(shù)據(jù)基礎(chǔ)不完備，缺乏完善的數(shù)據(jù)管控機(jī)制，使得數(shù)據(jù)平臺(tái)屢屢淪為廢墟無(wú)人問(wèn)津。

企業(yè)必須打破傳統(tǒng)的信息化架構(gòu)，遵從連接、共享的互聯(lián)網(wǎng)時(shí)代要義，重構(gòu)新一代企業(yè)信息化架構(gòu)，才有可能將內(nèi)外部數(shù)據(jù)結(jié)合起來(lái)，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行有效整合，開展真正可落地的大數(shù)據(jù)應(yīng)用。

中臺(tái)思維與數(shù)據(jù)中臺(tái)

新一代企業(yè)信息化架構(gòu)的核心是什么？我們認(rèn)為是中臺(tái)思維。

中臺(tái)概念來(lái)源于阿里，其產(chǎn)生的核心思想是“共享”和“復(fù)用”。中臺(tái)概念與前臺(tái)和后臺(tái)相對(duì)應(yīng)。前臺(tái)即面向客戶的市場(chǎng)、銷售和服務(wù)部門或系統(tǒng)，后臺(tái)是技術(shù)支持、研發(fā)、財(cái)務(wù)、人力資源、內(nèi)部審計(jì)等二線支撐部門或系統(tǒng)。而中臺(tái)則是指介于前臺(tái)和后臺(tái)之間的一個(gè)綜合能力平臺(tái)，可以有效地連接前后臺(tái)，具備了對(duì)于前臺(tái)業(yè)務(wù)變化及創(chuàng)新的快速響應(yīng)能力。中臺(tái)打破了煙囪式的企業(yè)傳統(tǒng)IT架構(gòu)，在前后臺(tái)之間增加了一層系統(tǒng)，使新一代企業(yè)IT架構(gòu)從一系列套裝軟件系統(tǒng)的方式變?yōu)楦鞣N服務(wù)支撐下的一系列前端應(yīng)用系統(tǒng)。中臺(tái)的提出和落地，將企業(yè)信息化架構(gòu)由不同平臺(tái)下分散的煙囪式系統(tǒng)集群變革為部署在同一平臺(tái)下基于服務(wù)的應(yīng)用系統(tǒng)集群。

數(shù)據(jù)中臺(tái)是中臺(tái)的核心平臺(tái)之一，簡(jiǎn)單來(lái)說(shuō)就是數(shù)據(jù)倉(cāng)庫(kù)，是將傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)擴(kuò)展到企業(yè)級(jí)所有數(shù)據(jù)的更大領(lǐng)域，對(duì)這些數(shù)據(jù)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)服務(wù)，并提供給前端開展不同維度的數(shù)據(jù)應(yīng)用。

”數(shù)據(jù)中臺(tái)“重構(gòu)了企業(yè)數(shù)據(jù)系統(tǒng)的架構(gòu)，將其分為三個(gè)層級(jí)：

底層

底層是數(shù)據(jù)收集層，就是數(shù)據(jù)湖，來(lái)自ERP、SRM等各個(gè)信息化系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、大數(shù)據(jù)，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)直接匯入這層數(shù)據(jù)湖中，實(shí)現(xiàn)統(tǒng)一、集中的數(shù)據(jù)收集。

核心層

中間的核心層是數(shù)據(jù)存儲(chǔ)與計(jì)算層，核心是通過(guò)數(shù)據(jù)建模，形成服務(wù)化的數(shù)據(jù)應(yīng)用。數(shù)據(jù)模型可以分為基礎(chǔ)模型、融合模型和挖掘模型。基礎(chǔ)模型一般是關(guān)系建模，主要實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化；融合模型一般是維度建模，主要實(shí)現(xiàn)跨越數(shù)據(jù)的整合，整合的形式可以是匯總、關(guān)聯(lián)、解析；挖掘模型是偏應(yīng)用的模型，作為企業(yè)的知識(shí)沉淀在中臺(tái)內(nèi)，可在數(shù)據(jù)應(yīng)用端調(diào)取進(jìn)行復(fù)用。

上層

上層是業(yè)務(wù)應(yīng)用層，聚焦于對(duì)數(shù)據(jù)的應(yīng)用和展現(xiàn)，核心層的數(shù)據(jù)模型可以共享到這個(gè)層級(jí)中并實(shí)現(xiàn)復(fù)用，賦能企業(yè)業(yè)務(wù)發(fā)展。數(shù)據(jù)應(yīng)用通過(guò)將數(shù)據(jù)融入企業(yè)具體的業(yè)務(wù)經(jīng)營(yíng)場(chǎng)景中，基于豐富的數(shù)據(jù)模型開展場(chǎng)景化應(yīng)用，用數(shù)據(jù)解決具體的業(yè)務(wù)問(wèn)題，具體應(yīng)用包括產(chǎn)銷協(xié)同分析、投資分析、產(chǎn)品定價(jià)、商品推薦、客戶畫像等，數(shù)據(jù)展現(xiàn)聚焦于以多樣化的形式展現(xiàn)數(shù)據(jù)分析應(yīng)用的結(jié)果，這些形式包括管理駕駛艙、即席分析、自助報(bào)告、數(shù)據(jù)大屏、移動(dòng)APP等，系統(tǒng)可以根據(jù)不同用戶在不同場(chǎng)景下的需求調(diào)整合適的展現(xiàn)方式。

數(shù)據(jù)中臺(tái)架構(gòu)下的大數(shù)據(jù)應(yīng)用

有了數(shù)據(jù)中臺(tái)，數(shù)據(jù)在信息化體系中不再是分散、凌亂、重復(fù)的存在，系統(tǒng)可以對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的分類、整理、加工，使其成為清晰有序、有條理、有脈絡(luò)的有用信息。這些數(shù)據(jù)可以進(jìn)一步分享給業(yè)務(wù)應(yīng)用系統(tǒng)以開展數(shù)據(jù)應(yīng)用和實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)，結(jié)果將通過(guò)前端展現(xiàn)系統(tǒng)以多樣化、可視化的形式展現(xiàn)出來(lái)。

1、數(shù)據(jù)中臺(tái)徹底消除企業(yè)的信息孤島問(wèn)題

將企業(yè)的內(nèi)部和外部數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)地匯集到一起，這就從源頭上解決了大數(shù)據(jù)應(yīng)用中的數(shù)據(jù)捕獲難題。為大數(shù)據(jù)應(yīng)用的開展奠定了充分的數(shù)據(jù)基礎(chǔ)。

2、數(shù)據(jù)中臺(tái)將推動(dòng)數(shù)據(jù)的深入挖掘和應(yīng)用

數(shù)據(jù)中臺(tái)為支持前臺(tái)和客戶需求而生。為了能夠快速為前臺(tái)提供更多更快的“炮彈”，數(shù)據(jù)中臺(tái)必然需要更敏捷、更靈活、更智能。數(shù)據(jù)中臺(tái)上部署了一系列趨勢(shì)性的新技術(shù)，如內(nèi)存多維數(shù)據(jù)庫(kù)、分布式計(jì)算、數(shù)據(jù)可視化、智能數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等。內(nèi)存多維數(shù)據(jù)庫(kù)實(shí)現(xiàn)了數(shù)據(jù)時(shí)效性的革命性突破，分布式計(jì)算大大提升了數(shù)據(jù)計(jì)算的速度，數(shù)據(jù)可視化大大降低了決策的難度，智能數(shù)據(jù)分析讓數(shù)據(jù)的價(jià)值獲得更充分的挖掘，機(jī)器學(xué)習(xí)令系統(tǒng)具備了自助分析的能力?？傊?，依托中臺(tái)中所部署的新技術(shù)，企業(yè)將實(shí)現(xiàn)實(shí)時(shí)、多維、智能、自動(dòng)的數(shù)據(jù)應(yīng)用，這將賦予企業(yè)數(shù)據(jù)應(yīng)用前所未有的用戶體驗(yàn)。

3、依托數(shù)據(jù)中臺(tái)，數(shù)據(jù)應(yīng)用邁向輕量級(jí)應(yīng)用

在數(shù)據(jù)中臺(tái)上，經(jīng)加工整理后的有用數(shù)據(jù)將直接輸出到具體業(yè)務(wù)場(chǎng)景的應(yīng)用端，如輸出用于電商企業(yè)的在線商品推薦，銀行的實(shí)時(shí)信貸審批，金融服務(wù)公司的盤中對(duì)沖基金交易分析，制造企業(yè)的實(shí)時(shí)資產(chǎn)利用研究等等應(yīng)用中，形成以分析-決策-行動(dòng)為閉環(huán)的應(yīng)用鏈條。數(shù)據(jù)將真正與業(yè)務(wù)場(chǎng)景融為一體，一個(gè)個(gè)輕量級(jí)的應(yīng)用將直接幫助企業(yè)解決業(yè)務(wù)問(wèn)題。

在數(shù)字化轉(zhuǎn)型的大潮中，大數(shù)據(jù)將隨著數(shù)據(jù)中臺(tái)的落地而迎來(lái)真正的發(fā)展機(jī)遇?；谥信_(tái)架構(gòu)，大數(shù)據(jù)將與業(yè)務(wù)數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)結(jié)合在一起，循著輕量級(jí)、場(chǎng)景化、實(shí)時(shí)性、自動(dòng)化、智能化的方向，共同賦能企業(yè)業(yè)務(wù)發(fā)展。