昀哥 20191109

我們做大數(shù)據(jù)很早，2011年、2012年就開(kāi)始了，到現(xiàn)在基本形成了一整套完整的數(shù)據(jù)中臺(tái)體系。大數(shù)據(jù)基本為這三件事服務(wù)：

1.決策依據(jù)和經(jīng)營(yíng)分析

2.運(yùn)營(yíng)調(diào)度

3.外部機(jī)構(gòu)盡職調(diào)查和穿刺

各個(gè)公司各條業(yè)務(wù)線對(duì)數(shù)據(jù)高度敏感，尤其是打仗（有仗打仗，沒(méi)仗造仗）的時(shí)候基本上是實(shí)時(shí)調(diào)度，加之公司多，數(shù)據(jù)來(lái)源多，機(jī)房多，交易量大（每日1000+萬(wàn)），實(shí)時(shí)性要求高，所以需要一套行之有效的數(shù)據(jù)中臺(tái)來(lái)支撐。

首先，我們把大數(shù)據(jù)技術(shù)領(lǐng)域劃分為六塊，如下圖所示。

1. 元數(shù)據(jù)管理：分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)描述數(shù)據(jù)倉(cāng)庫(kù)技術(shù)細(xì)節(jié)。業(yè)務(wù)元數(shù)據(jù)從商業(yè)和業(yè)務(wù)的角度描述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，使業(yè)務(wù)人員更好地、全面地理解數(shù)據(jù)倉(cāng)庫(kù)中分析出來(lái)的數(shù)據(jù)。其中最經(jīng)典的場(chǎng)景就是血緣（動(dòng)態(tài)）分析。

2. 協(xié)作調(diào)度：不管是離線計(jì)算，還是實(shí)時(shí)計(jì)算，都需要一套調(diào)度和管理系統(tǒng)來(lái)幫助數(shù)據(jù)倉(cāng)庫(kù)工程師平滑地完成測(cè)試環(huán)境、生產(chǎn)環(huán)境的計(jì)算任務(wù)的打包、提交、測(cè)試、核驗(yàn)數(shù)據(jù)和發(fā)布。

3. 自助分析：也可以叫即席查詢。具有一定經(jīng)驗(yàn)的運(yùn)營(yíng)人員或數(shù)據(jù)分析師可以利用自助BI系統(tǒng)完成數(shù)據(jù)提取、數(shù)據(jù)分析和展示，所見(jiàn)即所得。

4. 數(shù)據(jù)可視化：指的是預(yù)先通過(guò)可視化系統(tǒng)配置好的各種監(jiān)控大屏和經(jīng)營(yíng)分析報(bào)表。

5. 運(yùn)維監(jiān)控告警：對(duì)集群組件安裝和升級(jí)，對(duì)數(shù)據(jù)遷移，對(duì)集群運(yùn)轉(zhuǎn)情況，需要有一個(gè)能讓運(yùn)維人員和數(shù)據(jù)倉(cāng)庫(kù)工程師解脫出來(lái)的解決方案。

6. 數(shù)據(jù)資產(chǎn)管理（含數(shù)據(jù)質(zhì)量）：在元數(shù)據(jù)管理基礎(chǔ)之上，第一層需要數(shù)據(jù)質(zhì)量保障，即有一套明確的保障機(jī)制，對(duì)生產(chǎn)出來(lái)的數(shù)據(jù)做校驗(yàn)，確保數(shù)據(jù)無(wú)誤，否則就要找到數(shù)據(jù)失真的原因并告警。第二層是梳理盤(pán)點(diǎn)數(shù)據(jù)資產(chǎn)，準(zhǔn)確計(jì)量數(shù)據(jù)資產(chǎn)，準(zhǔn)確掌握數(shù)據(jù)資產(chǎn)的開(kāi)放情況，形成治理閉環(huán)。

其次，我們的數(shù)據(jù)中臺(tái)在最近兩年發(fā)展得更有體系了，這與公司裂變、業(yè)務(wù)規(guī)模激增引發(fā)的，當(dāng)然也跟我們高屋建瓴、高舉高打分不開(kāi)。

如果分層來(lái)劃分的話，可以把工作成果分為業(yè)務(wù)交付和過(guò)程管控兩啪，如下圖所示。

簡(jiǎn)單做一個(gè)系統(tǒng)概述和技術(shù)棧說(shuō)明：

業(yè)務(wù)交付：

-自助報(bào)表：自窩窩以來(lái)我們就有一套向?qū)降膱?bào)表自助配置系統(tǒng)，絕大多數(shù)經(jīng)營(yíng)分析報(bào)表（一般是T+1數(shù)據(jù)匯總和明細(xì)）都是這么配置出來(lái)的，有匯總有明細(xì)有圖有表有篩選有排序有導(dǎo)出。

-數(shù)屏：一種高逼格數(shù)據(jù)應(yīng)用，它的目標(biāo)是通過(guò)圖形化界面快速搭建可視化監(jiān)控大屏，數(shù)屏可以提供豐富的可視化數(shù)據(jù)組件，滿足業(yè)務(wù)監(jiān)控、會(huì)議展覽、投資咨詢等多種業(yè)務(wù)的展示需求，尤其要滿足PC瀏覽器或者手機(jī)瀏覽器訪問(wèn)下的自適應(yīng)布局。

-數(shù)據(jù)開(kāi)放實(shí)驗(yàn)室：一種即席查詢和自助分析系統(tǒng)，它的目標(biāo)是將我們收集到的各種數(shù)據(jù)，授權(quán)下游企業(yè)使用，通過(guò)即席查詢定義API，通過(guò)API獲取數(shù)據(jù)，并進(jìn)一步做可視化分析，制作報(bào)表。它的用戶既有企業(yè)內(nèi)部用戶，也有企業(yè)外部用戶。

-天演：不懂SQL或是數(shù)據(jù)庫(kù)結(jié)構(gòu)的非技術(shù)人員，讓他們能自由地上傳臨時(shí)數(shù)據(jù)、關(guān)聯(lián)授權(quán)數(shù)據(jù)、探索數(shù)據(jù)，回答自己的問(wèn)題，建立自己的個(gè)人數(shù)據(jù)工作臺(tái)，有圖有表能下鉆，從宏觀到微觀。也因此數(shù)據(jù)查詢交互速度要足夠快，選Druid，杠杠的。

過(guò)程管控：

-魔盒：既然業(yè)務(wù)開(kāi)發(fā)有研發(fā)協(xié)作平臺(tái)、數(shù)據(jù)庫(kù)自動(dòng)化運(yùn)維平臺(tái)和運(yùn)維自動(dòng)化平臺(tái)，那么大數(shù)據(jù)開(kāi)發(fā)也肯定需要有一個(gè)協(xié)作平臺(tái)。所謂協(xié)作平臺(tái)，指的是圍繞著四個(gè)核心概念（資源，數(shù)據(jù)，流程，操作）構(gòu)建一個(gè)體系（資源能看見(jiàn)，流程能流轉(zhuǎn)，數(shù)據(jù)能共享，操作有記錄），流程驅(qū)動(dòng)數(shù)據(jù)和資源，操作可視化和可追蹤，形成閉環(huán)。底層實(shí)際是Azkaban。

-移山：異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)遷移自動(dòng)化平臺(tái)，它旨在解決第三方數(shù)據(jù)接入、實(shí)時(shí)數(shù)據(jù)（單向/雙向）同步、大數(shù)據(jù)集群間的數(shù)據(jù)遷移等問(wèn)題。本質(zhì)上是Canal和Kafka。

-磐石：基于Ambari的運(yùn)維監(jiān)控告警系統(tǒng)。

-能量塊：元數(shù)據(jù)管理系統(tǒng)。

數(shù)據(jù)中臺(tái)在整個(gè)大中臺(tái)的位置如下圖所示。

上面這套大中臺(tái)體系，我們已經(jīng)運(yùn)轉(zhuǎn)自如，大勢(shì)已成。