面對(duì)紛繁復(fù)雜的大數(shù)據(jù)生態(tài)，人們常常用亂花漸欲迷人眼的字樣來描述。因所處背景和位置差異，每個(gè)人對(duì)大數(shù)據(jù)的反應(yīng)也各有不同，或疑惑、或欣喜、或鄙視、或無奈。大數(shù)據(jù)很通俗，每個(gè)人都可以聊聊。大數(shù)據(jù)也很神秘，很多觀點(diǎn)其實(shí)并不清楚在表達(dá)什么。

本文嘗試從生態(tài)視角聊一下大數(shù)據(jù)的現(xiàn)狀，并以反欺詐模型為例簡(jiǎn)述一下大數(shù)據(jù)挖掘的未來發(fā)展。希望聊大數(shù)據(jù)的時(shí)候能處于同一平面，浮于表面的觀點(diǎn)或雞同鴨講的交流都屬于浪費(fèi)時(shí)間。

金融科技“四大俗”

大數(shù)據(jù)的火爆，以及大數(shù)據(jù)給人造成的反感，一個(gè)很大原因在于其內(nèi)在偏虛。我們不能光說價(jià)值，總得拿出點(diǎn)看得見摸得著的東西。大數(shù)據(jù)不是獨(dú)立存在，還要關(guān)注幾個(gè)相關(guān)的領(lǐng)域。從邏輯上看，大數(shù)據(jù)的下面可以是云計(jì)算和區(qū)塊鏈，上面是人工智能，這就是之前在朋友圈隨口說的的金融科技“四大俗”。俗的一個(gè)原因是由媒體爆炒引發(fā)了連鎖反應(yīng)，鄙視不負(fù)責(zé)任的忽悠和開的比瓢都大的腦洞。為人處事需要好好學(xué)學(xué)基本道理，“兩學(xué)一做”其實(shí)不錯(cuò)。

四個(gè)熱門領(lǐng)域都是我關(guān)注的，實(shí)際上這四個(gè)處于不同的發(fā)展階段。目前云計(jì)算已經(jīng)比較實(shí)在了，企業(yè)可能已經(jīng)關(guān)注盈利了。大數(shù)據(jù)整體還在穩(wěn)步發(fā)展，關(guān)注的是多行業(yè)、多領(lǐng)域的應(yīng)用。人工智能離科幻電影里面的AI還很遙遠(yuǎn)，目前火爆的是特定領(lǐng)域的應(yīng)用。至于區(qū)塊鏈，還是以概念、模式為主，killerapplication還沒有，理論和實(shí)踐都需要持續(xù)完善。

關(guān)于四者的結(jié)構(gòu)關(guān)系，畫了兩個(gè)圖。左邊的是層次分割，從基礎(chǔ)到應(yīng)用。右邊的是以大數(shù)據(jù)為核心，硬的環(huán)繞軟的，將大數(shù)據(jù)作為原油或血液的比喻了；其實(shí)還可以加上物聯(lián)網(wǎng)，不過在金融科技里面談的還不是太多。

當(dāng)我們開始討論大數(shù)據(jù)的時(shí)候

相比云計(jì)算的踏實(shí)，人工智能和區(qū)塊鏈的高冷，只有大數(shù)據(jù)是真的“俗”。似乎所有的人都可以聊聊，有人專心聊思維，有人聊商業(yè)模式，有人做數(shù)據(jù)治理，有的人聊數(shù)據(jù)資產(chǎn)。當(dāng)然，更多的人集中在技術(shù)和應(yīng)用上面。總體而言，大數(shù)據(jù)應(yīng)用是核心驅(qū)動(dòng)力，基于新思維、新技術(shù)開采數(shù)據(jù)資源，并構(gòu)建相應(yīng)的商業(yè)模式；過程中數(shù)據(jù)治理貫穿始終，確保各層協(xié)同一致，保障數(shù)據(jù)價(jià)值創(chuàng)造。

至于整體生態(tài)則表現(xiàn)的過于繁雜，大數(shù)據(jù)生態(tài)圈、hadoop生態(tài)圈，甚至有人一聽到生態(tài)就頭大，因?yàn)檫€會(huì)加上業(yè)務(wù)生態(tài)。實(shí)際上也想不到更好的描述，生態(tài)說明了這個(gè)系統(tǒng)的復(fù)雜性。在生態(tài)里面的玩家很多，形形色色，各講各話。我建議還是少關(guān)心些模式、戰(zhàn)略，多研究些問題和技術(shù)。三年前還比較好混，比如光靠說別人聽不明白的話就可以混混；但現(xiàn)在不行了，理論和實(shí)踐綜合起來才可以繼續(xù)愉快的刷“存在感”。

窮理的過程中，大數(shù)據(jù)領(lǐng)域有一個(gè)容易陷入的誤區(qū)就是以偏概全，從一個(gè)點(diǎn)出發(fā)就對(duì)全局下一個(gè)判斷，諸如大數(shù)據(jù)是萬能的，或者大數(shù)據(jù)是無能的，這樣的結(jié)論看的多了自然就會(huì)厭倦。當(dāng)然，還是那句話，形形色色，存在即合理，尊重每個(gè)人的觀點(diǎn)。

紛繁復(fù)雜的大數(shù)據(jù)生態(tài)

Matt Turck發(fā)布了最新的2017年大數(shù)據(jù)版圖，原圖很大就不浪費(fèi)流量了。大數(shù)據(jù)生態(tài)圖譜中包括889家公司/產(chǎn)品，具體分布如下。首先要了解整體布局，然后有時(shí)間可以逐個(gè)走一遍，挑感興趣再查查資料，這樣就能了解整體生態(tài)的基本情況了。如同學(xué)科交叉的發(fā)展，今年大數(shù)據(jù)生態(tài)里面包含了更多AI的內(nèi)容；數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、人工智能，是大數(shù)據(jù)發(fā)揮價(jià)值的關(guān)鍵。

ps1: 高清版下載地址——http:///wp-content/uploads/2017/04/Big-Data-Landscape-2017-Matt-Turck-FirstMark.png

ps2: 圖片上具體產(chǎn)品的說明需要到明細(xì)網(wǎng)址查看，并非所有的內(nèi)容都畫到了圖上。

基礎(chǔ)設(shè)施領(lǐng)域主要是多了一個(gè)Data Governance，領(lǐng)頭羊是Informatica和IBM。

難道大家建了一堆數(shù)據(jù)湖之后開始關(guān)心治理了，不得而知。另外最近的熱點(diǎn)是Spanner及其開源版本CockRoach，集成sql和nosql的優(yōu)勢(shì)，很神奇。還有就是銀行常用來與TD edw配套的GreenPlum，歸屬于Cloud EDW；查了查資料，大概是MPP已經(jīng)不足以反映GP的技術(shù)優(yōu)勢(shì)，還加入了云、敏捷開發(fā)等新技術(shù)。

分析這部分與2016年的版本大體一致，多了點(diǎn)中國元素，face++和Mobvoi。

應(yīng)用部分更加細(xì)化，金融部分居然包括三個(gè)單元，不愧為大數(shù)據(jù)的頭號(hào)炒作行業(yè)。

開源部分也進(jìn)一步細(xì)化了，尤其是增加了AI/DL單元。

大數(shù)據(jù)挖掘的昨天、今天和明天

數(shù)據(jù)挖掘是大數(shù)據(jù)發(fā)揮價(jià)值的關(guān)鍵，如果企業(yè)沒有成功的數(shù)據(jù)挖掘，那無論如何是不該說已經(jīng)具備大數(shù)據(jù)能力的。以反欺詐挖掘建模為例，聊聊大數(shù)據(jù)挖掘的發(fā)展，也就是過去、現(xiàn)在和未來。

傳統(tǒng)反欺詐管理中主要依賴專家經(jīng)驗(yàn)，通過人工方式制定檢測(cè)規(guī)則，當(dāng)申請(qǐng)或交易信息與反欺詐規(guī)則匹配后即執(zhí)行相應(yīng)的業(yè)務(wù)策略。這種管理模式得出的反欺詐規(guī)則存在一定的局限性，不能枚舉所有業(yè)務(wù)場(chǎng)景，無法對(duì)各類欺詐行為進(jìn)行全面覆蓋。當(dāng)專家規(guī)則積累達(dá)到一定數(shù)量后誤報(bào)率通常會(huì)比較高，能夠影響到實(shí)際風(fēng)險(xiǎn)決策制定和實(shí)際業(yè)務(wù)開展。

目前的主流做法是應(yīng)用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行欺詐風(fēng)險(xiǎn)管理，機(jī)器學(xué)習(xí)是一種研究機(jī)器獲取新知識(shí)和新技能并識(shí)別現(xiàn)有知識(shí)的方法。可以結(jié)合大數(shù)據(jù)理念從整體視角對(duì)欺詐風(fēng)險(xiǎn)進(jìn)行評(píng)估，實(shí)現(xiàn)風(fēng)險(xiǎn)的精準(zhǔn)預(yù)測(cè)并以此作為應(yīng)對(duì)欺詐風(fēng)險(xiǎn)的強(qiáng)力手段；同時(shí)可根據(jù)模型結(jié)果進(jìn)一步提煉異常規(guī)則，發(fā)現(xiàn)未知欺詐模式。

未來伴隨大數(shù)據(jù)與人工智能的持續(xù)發(fā)展，可以期待能夠識(shí)別各類欺詐模式的“真正”人工智能模型。魔高一尺，道高一丈，模型具備自主學(xué)習(xí)和進(jìn)化能力，實(shí)現(xiàn)欺詐風(fēng)險(xiǎn)的提前預(yù)判（想到了少數(shù)派報(bào)告）。在這個(gè)狀態(tài)下，單純的大數(shù)據(jù)已經(jīng)沒有意義，替代的是一個(gè)個(gè)智能解決方案，大數(shù)據(jù)和人工智能會(huì)融入同一個(gè)生態(tài)圖譜。

大數(shù)據(jù)之路漫漫

相比之下，國內(nèi)大數(shù)據(jù)行業(yè)的整體規(guī)模還不算大，說的多，做的少，掏錢的更少，整體還是起步階段。換句話說，就是killer application還比較少。插一句負(fù)責(zé)任的話，現(xiàn)在看到的文章和案例水分都很大；當(dāng)然，不深入進(jìn)去可能不太容易識(shí)別出來。

現(xiàn)在無論大數(shù)據(jù)治理還是大數(shù)據(jù)應(yīng)用，無論咨詢公司還是實(shí)施公司，干貨真的不多，以至于交流的時(shí)候會(huì)忍不住吐槽幾句。大數(shù)據(jù)進(jìn)入銀行視野超過五年了，所以交流的時(shí)候需要干貨，這等同于誠意的表現(xiàn)。踏踏實(shí)實(shí)的做點(diǎn)事還真不太容易，因?yàn)轫?xiàng)目里不確定因素太多，只能確保自己盡量靠譜一點(diǎn)。

當(dāng)然，在大數(shù)據(jù)領(lǐng)域，無論如何都要保持足夠的謙卑，學(xué)會(huì)選擇。在踐行過程中懂了一些，就會(huì)發(fā)現(xiàn)不懂的更多。從2012年開始，每年的想法都會(huì)變，所幸螺旋式的上升也會(huì)逐步到達(dá)融會(huì)貫通的境界。

寫在最后

原稿寫于去年7月，當(dāng)時(shí)的題目叫《Too Damn Big》。最近重讀一下，動(dòng)手進(jìn)行了補(bǔ)充和完善。整體上觀點(diǎn)變化不大，大數(shù)據(jù)實(shí)踐之路還很漫長(zhǎng)。

我的日常工作以大數(shù)據(jù)為核心，同時(shí)關(guān)注金融科技的其他領(lǐng)域。這里陸陸續(xù)續(xù)寫些關(guān)于大數(shù)據(jù)的東西，不會(huì)細(xì)說模式和概念，更不會(huì)談Hadoop、Spark的技術(shù)細(xì)節(jié)，更多還是聊一些感想吧。從實(shí)際工作出發(fā)，對(duì)于大數(shù)據(jù)的認(rèn)知和實(shí)踐是持續(xù)性的，寫東西與此保持同步，并且樂此不疲。

盤點(diǎn)一下做過的模型，三種創(chuàng)新模式都有了。信用卡評(píng)分對(duì)應(yīng)老問題新方法，外包風(fēng)險(xiǎn)預(yù)測(cè)則是新問題老方法，還有渠道無監(jiān)督和智能反欺詐對(duì)應(yīng)為新問題新方法。大數(shù)據(jù)挖掘的未來很有潛力，企業(yè)需要持續(xù)的投入和支持，才能發(fā)揮實(shí)踐成果的真實(shí)價(jià)值。如果做的東西很好，但就是不能做大做實(shí)，那損失的其實(shí)是企業(yè)。