2020年12月4日，由零點(diǎn)有數(shù)主辦的以“面對難題，高舉數(shù)據(jù)智能解法的大旗！”為主題的中國數(shù)據(jù)智能應(yīng)用峰會暨2020第十屆數(shù)據(jù)智能應(yīng)用典范金鈴獎(jiǎng)?lì)C獎(jiǎng)盛典順利召開，全國觀眾超250萬人次通過多媒體平臺同步觀禮。

大會特別邀請了上海超級計(jì)算中心主任周曦民，以《大數(shù)據(jù)智能處理中相關(guān)技術(shù)的分析》為主題作精彩分享。

下文整理自周曦民先生的演講實(shí)錄：

數(shù)據(jù)智能時(shí)代一般稱作大數(shù)據(jù)時(shí)代或是人工智能時(shí)代，其核心是數(shù)據(jù)智能。AI自1956年達(dá)特茅斯會議提出以后，經(jīng)過了70年的發(fā)展，包括1973年的萊特希爾報(bào)告。人工智能軟件以及知識圖譜的出現(xiàn)，使得聯(lián)邦學(xué)習(xí)在2015年興起。同時(shí)，大數(shù)據(jù)技術(shù)伴隨著人工智能的發(fā)展，在1960年出現(xiàn)了數(shù)據(jù)庫管理系統(tǒng)，1970年出現(xiàn)了關(guān)系數(shù)據(jù)庫管理系統(tǒng)，在2006年出現(xiàn)了大家耳熟能詳?shù)?/span>Hadoop 。在整個(gè)過程中，大數(shù)的技術(shù)和人工智能技術(shù)是同時(shí)發(fā)展的。

經(jīng)過多年，新技術(shù)在不斷地涌現(xiàn)，與此同時(shí)，近十年的數(shù)據(jù)正在以指數(shù)方式增長，數(shù)據(jù)爆炸時(shí)代已經(jīng)到來。政府、企業(yè)、社會的信息化與智慧城市建設(shè)使數(shù)據(jù)不斷增長，尤其體現(xiàn)在互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)。眾所周知，每一個(gè)手機(jī)上都有十幾個(gè)傳感器在無時(shí)無刻地產(chǎn)生數(shù)據(jù)。2020年，全球互聯(lián)的設(shè)備數(shù)預(yù)計(jì)為204億個(gè)，人均3個(gè)左右。這樣的傳感器也是在每時(shí)每刻地產(chǎn)生數(shù)據(jù)，因此數(shù)據(jù)給這個(gè)時(shí)代帶來了巨大的紅利。

人工智能發(fā)展有三大驅(qū)動(dòng)因素，數(shù)據(jù)是人工智能發(fā)展的基礎(chǔ)。全球數(shù)據(jù)流量仍在快速增長，為深度學(xué)習(xí)所需要的海量數(shù)據(jù)提供良好基礎(chǔ)。商業(yè)化的數(shù)據(jù)產(chǎn)業(yè)能為企業(yè)提供十萬張圖片、數(shù)千小時(shí)語音以上的資源和相關(guān)服務(wù)。算力作為人工智能技術(shù)實(shí)現(xiàn)的保障，硬件技術(shù)的變革使硬件成本指數(shù)下降，運(yùn)算時(shí)間縮短，正在助力人工智能迅速崛起。同時(shí)，算法定義世界，而人工智能技術(shù)發(fā)展是一個(gè)重要的引擎，深度學(xué)習(xí)通過算法使得機(jī)器能從樣本、數(shù)據(jù)和經(jīng)驗(yàn)中學(xué)習(xí)規(guī)律。

數(shù)據(jù)智能發(fā)展有三個(gè)不同的階段，現(xiàn)在所處的階段是實(shí)現(xiàn)了“能存會算”，即機(jī)器擁有超強(qiáng)的記憶力和超快的計(jì)算能力，依賴計(jì)算機(jī)強(qiáng)大的儲存和運(yùn)算資源在某些任務(wù)上對人的行為進(jìn)行模擬。第二個(gè)階段是“能聽會說，能看會認(rèn)”，這個(gè)階段已取得了很大進(jìn)步，包括語音識別、圖像識別，以及基于計(jì)算視覺的自動(dòng)駕駛等技術(shù)已經(jīng)出現(xiàn)。第三階段就是“能理解會思考”，即能對知識進(jìn)行組織、整理、靈活運(yùn)用、聯(lián)想推理等，不僅有邏輯思維，還有形象思維、創(chuàng)造性思維。有人認(rèn)為，將來機(jī)器還會產(chǎn)生情感，但是這和人的情感是不相同的?？梢哉f機(jī)器有價(jià)值觀，因?yàn)樗粩鄬W(xué)習(xí)后會產(chǎn)生自主性，也會產(chǎn)生價(jià)值觀。

接下來講講數(shù)據(jù)智能的幾項(xiàng)主流技術(shù)。第一個(gè)主流新技術(shù)是“多模型異構(gòu)的大數(shù)據(jù)技術(shù)”，隨著大數(shù)據(jù)技術(shù)的使用日益廣泛，數(shù)據(jù)量、數(shù)據(jù)種類爆發(fā)式增長，數(shù)據(jù)處理的場景日趨復(fù)雜，單一種類的數(shù)據(jù)架構(gòu)模式已經(jīng)難以滿足企業(yè)需求，使用混合架構(gòu)平臺方案又會造成數(shù)據(jù)多次導(dǎo)入導(dǎo)出、數(shù)據(jù)一致性難確保及運(yùn)維困難等問題。以前是以結(jié)構(gòu)化數(shù)據(jù)處理為主，非結(jié)構(gòu)化數(shù)據(jù)較難處理，現(xiàn)通過構(gòu)建多模型異構(gòu)的大數(shù)據(jù)平臺，可支持多種數(shù)據(jù)模型并使用統(tǒng)一的查詢、計(jì)算、存儲、資源管理層，實(shí)現(xiàn)方便的統(tǒng)一運(yùn)維管理。

第二項(xiàng)主流技術(shù)是“容器化的大數(shù)據(jù)技術(shù)”，它最早的應(yīng)用是在物理機(jī)上，一個(gè)應(yīng)用就需要一個(gè)機(jī)器。隨著時(shí)代發(fā)展，虛擬技術(shù)已經(jīng)非常普遍，但它有很多缺點(diǎn)，比如每一個(gè)虛擬機(jī)上都需要安裝操作系統(tǒng)，會大量消耗服務(wù)器資源，約占30%，遷移服務(wù)程序需遷移整個(gè)虛擬機(jī)，且遷移過程復(fù)雜等等。但隨著技術(shù)發(fā)展，容器化技術(shù)應(yīng)用相對于虛擬化技術(shù)有很大的進(jìn)步，比如它無需安裝操作系統(tǒng)，對硬件資源的損耗非常小，約損耗硬件的1%~2%，同時(shí)開機(jī)直接毫秒級打開服務(wù)，非?？?。此外還有很多的優(yōu)點(diǎn)，例如云原生的特性是支持微服務(wù)、DevOps，支持應(yīng)用快速上架、迭代、遷移部署，尤其計(jì)算資源彈性伸縮、擴(kuò)展，可預(yù)留資源為后續(xù)應(yīng)用建設(shè)做準(zhǔn)備。擁有這個(gè)容器以后，物理機(jī)本身的性能依賴就可以減弱一部分的硬件，如果出現(xiàn)問題，因?yàn)槿萜骷夹g(shù)有容錯(cuò)功能，它可以彈性無縫地進(jìn)行資源調(diào)配，所以應(yīng)用不會中斷，因此有很多方面的優(yōu)勢支撐它成為主流技術(shù)。

第三個(gè)主流技術(shù)是“一站式智能分析技術(shù)”，主要包含自動(dòng)建模、推薦建模等技術(shù)，降低業(yè)務(wù)分析人員的開發(fā)門檻，提升效率，實(shí)現(xiàn)人工智能項(xiàng)目的快速落地。程序員不需要從頭到尾從最基本的語句開始編寫編碼，而是可以用低代碼的技術(shù)來開發(fā)軟件。同樣也可以通過一站式智能分析技術(shù)來實(shí)現(xiàn)建模的低門檻，提升效率，實(shí)現(xiàn)人工智能的快速落地。其中，推薦建模技術(shù)是在建模過程中，機(jī)器會自動(dòng)推送后續(xù)建模的步驟給你選擇，建模操作者可以一步步寫下去，快速地建立起一個(gè)模型。自動(dòng)建模技術(shù)主要基于自動(dòng)數(shù)據(jù)探索、自動(dòng)預(yù)處理、自動(dòng)特征工程的自動(dòng)化特征的選擇組合和轉(zhuǎn)化，最終實(shí)現(xiàn)自動(dòng)建模，進(jìn)行模型自動(dòng)選擇、參數(shù)自動(dòng)調(diào)優(yōu)、額外超參自動(dòng)調(diào)節(jié)。

第四個(gè)主流技術(shù)是“知識圖譜”，是將數(shù)據(jù)形成以點(diǎn)邊為關(guān)聯(lián)的形態(tài)，以挖掘數(shù)據(jù)間潛在的多層關(guān)系及巨大價(jià)值。如果用人眼直接去判斷數(shù)據(jù)的價(jià)值，那么對它數(shù)據(jù)價(jià)值的挖掘只有0.01%，如果通過檢索信息的方式，只可以挖掘40%的數(shù)據(jù)價(jià)值，通過建立模型可以挖掘60%的數(shù)據(jù)價(jià)值，運(yùn)用圖計(jì)算可以挖掘近80%左右的數(shù)據(jù)價(jià)值，運(yùn)用圖神經(jīng)網(wǎng)絡(luò)可以挖掘超過90%以上的價(jià)值。從數(shù)據(jù)統(tǒng)計(jì)的信息或能夠統(tǒng)計(jì)的信息數(shù)進(jìn)行下去，可以找到規(guī)律，這個(gè)規(guī)律可以把數(shù)據(jù)變成知識，從而進(jìn)行知識的沉淀與固化，最終應(yīng)用到業(yè)務(wù)中。

最后講的是“實(shí)施方案”，第一個(gè)是多模型異構(gòu)的大數(shù)據(jù)技術(shù)方案，主要是使用統(tǒng)一的多模型異構(gòu)大數(shù)據(jù)平臺，實(shí)現(xiàn)數(shù)倉、數(shù)集、實(shí)時(shí)計(jì)算、數(shù)據(jù)探索等高復(fù)雜應(yīng)用場景，同時(shí)支持傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)、新興的非結(jié)構(gòu)化數(shù)據(jù)?；谕粋€(gè)平臺，方便運(yùn)維管理。它有很多的功能，例如一致性管理、分布式事務(wù)、塊存儲管理、元數(shù)據(jù)管理等等，以及備份、高可用的技術(shù)支撐，形成了統(tǒng)一的分布式計(jì)算框架和計(jì)算引擎進(jìn)行風(fēng)險(xiǎn)處理，可以形成實(shí)時(shí)計(jì)算、在線交易、在線的風(fēng)險(xiǎn)數(shù)據(jù)倉庫以及數(shù)據(jù)功能的模塊。

第二個(gè)是“容器化的大數(shù)據(jù)技術(shù)方案”，容器的操作系統(tǒng)包含了AI計(jì)算引擎、分布式機(jī)器學(xué)習(xí)算法庫、多數(shù)據(jù)源管理以及多文件的系統(tǒng)管理等等，形成了圖形化機(jī)器學(xué)習(xí)平臺、編程式機(jī)器學(xué)習(xí)平臺和高性能模型服務(wù)?；谶@個(gè)技術(shù)，平臺可實(shí)現(xiàn)將數(shù)據(jù)庫、數(shù)據(jù)分析作為服務(wù)對外開放。相較于虛擬化技術(shù)，容器的技術(shù)資源損耗特別小，且應(yīng)用和服務(wù)的上架、迭代、遷移更快速便捷。

第三個(gè)方案是“動(dòng)態(tài)知識圖譜”，輿情分析和知識推理需要強(qiáng)大的知識庫支撐，知識圖譜隨輿情信息的變化而變化，形成動(dòng)態(tài)的知識圖譜。列舉一個(gè)基于NLP事件驅(qū)動(dòng)引擎的金融投研的知識圖譜，它把二級市場的數(shù)據(jù)——包括股票市場的數(shù)據(jù)、行情、商品市場、外匯市場、衍生品市場等等——輸入到引擎當(dāng)中。知識圖譜有兩種，分為靜態(tài)和動(dòng)態(tài)，動(dòng)態(tài)主要是把流數(shù)據(jù)的處理引擎加起來，同時(shí)靜態(tài)的上市公司知識圖譜、市場知識圖譜和私募基金知識圖譜會輸入到引擎，把預(yù)定的事件，包括公司新股的發(fā)行、投資的熱力財(cái)報(bào)的公告以及重要的央行決議、突發(fā)的熱點(diǎn)事件都輸入到引擎中，進(jìn)行一個(gè)事件驅(qū)動(dòng)的引擎分析，就可以形成事件的驅(qū)動(dòng)量化體系，量化體系可以支撐資源、業(yè)務(wù)和投行的自營業(yè)務(wù)。與此同時(shí)，投行的智能客服實(shí)現(xiàn)智能的資訊推薦，可直接為客戶服務(wù)。還有一個(gè)方案是風(fēng)險(xiǎn)事件的圖譜傳導(dǎo)，它可以為投行的合規(guī)業(yè)務(wù)作支撐，其中的綜合壓力測試為風(fēng)控業(yè)務(wù)服務(wù)，產(chǎn)業(yè)鏈的價(jià)值鏈風(fēng)向變化可以為投資研究業(yè)務(wù)方面的服務(wù)進(jìn)行支撐。因此，知識圖譜的應(yīng)用可以大大地提升投行的能力，以及多種功能的實(shí)現(xiàn)。