為鼓勵(lì)大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新與應(yīng)用創(chuàng)新,國(guó)務(wù)院于2015年印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,鼓勵(lì)加快經(jīng)濟(jì)社會(huì)各領(lǐng)域的大數(shù)據(jù)開發(fā)與利用,催生出更多的新產(chǎn)業(yè)、新業(yè)態(tài)、新模式,推動(dòng)國(guó)家、行業(yè)、企業(yè)在數(shù)據(jù)的應(yīng)用需求和發(fā)展水平方面進(jìn)入新的階段。在內(nèi)部技術(shù)條件成熟、外部政策因素推動(dòng)的激勵(lì)下,中國(guó)涌現(xiàn)出一批從傳統(tǒng)業(yè)務(wù)擴(kuò)展并轉(zhuǎn)型到大數(shù)據(jù)業(yè)務(wù)的企業(yè),通過對(duì)企業(yè)內(nèi)部生產(chǎn)數(shù)據(jù)、客戶、用戶數(shù)據(jù)的分析,幫助企業(yè)實(shí)現(xiàn)智能決策,提高運(yùn)行效率和風(fēng)險(xiǎn)管理能力。新應(yīng)用新模式層出不窮,大數(shù)據(jù)產(chǎn)業(yè)呈現(xiàn)出蓬勃發(fā)展的態(tài)勢(shì)。毋庸置疑,大數(shù)據(jù)已成為當(dāng)代科技前沿?zé)狳c(diǎn),是重要的基礎(chǔ)性戰(zhàn)略資源,其發(fā)展為科學(xué)研究范式帶來了深刻改變,為人類世界創(chuàng)造了更多可能。以此為契機(jī),《科技導(dǎo)報(bào)》策劃出版“大數(shù)據(jù)戰(zhàn)略:從數(shù)據(jù)大國(guó)到數(shù)據(jù)強(qiáng)國(guó)”專題,圍繞以清華大學(xué)大數(shù)據(jù)研究中心為代表的大數(shù)據(jù)創(chuàng)新研究平臺(tái),總結(jié)在大數(shù)據(jù)基礎(chǔ)理論、核心技術(shù)與系統(tǒng)、關(guān)鍵領(lǐng)域應(yīng)用層面取得的研究成果和最新趨勢(shì),探討大數(shù)據(jù)技術(shù)與各行業(yè)領(lǐng)域的結(jié)合方式,指出存在問題和發(fā)展建議。
本專題是對(duì)大數(shù)據(jù)技術(shù)研究與發(fā)展不同主題的介紹,包括:
(1)從理論基礎(chǔ)的角度,提出了一個(gè)大數(shù)據(jù)系統(tǒng)的代數(shù)模型和自頂向下的分析方法,是對(duì)大數(shù)據(jù)系統(tǒng)復(fù)雜性和行為的高度抽象和全新認(rèn)知視角;
(2)提出了一組大數(shù)據(jù)系統(tǒng)數(shù)學(xué)性質(zhì)的定義,探討了大數(shù)據(jù)的認(rèn)知基礎(chǔ)及其分類模型,給出了科學(xué)、工程和社交領(lǐng)域的大數(shù)據(jù)表示模式;
(3)概述了大數(shù)據(jù)產(chǎn)品的發(fā)展脈絡(luò),討論大數(shù)據(jù)產(chǎn)品研發(fā)的機(jī)遇和挑戰(zhàn);
(4)分析了大數(shù)據(jù)安全的內(nèi)涵、關(guān)鍵技術(shù)及保障機(jī)制,指出了大數(shù)據(jù)產(chǎn)業(yè)面臨的安全挑戰(zhàn)與風(fēng)險(xiǎn);
(5)分析了數(shù)據(jù)可視化的通用需求和關(guān)鍵研究問題,給出了一個(gè)交互式數(shù)據(jù)可視化工具的設(shè)計(jì)方案;
(6)介紹了Aache開源社區(qū)中,大數(shù)據(jù)管理系統(tǒng)的關(guān)鍵技術(shù)和系統(tǒng)優(yōu)缺點(diǎn)。
數(shù)據(jù)作為計(jì)算的處理對(duì)象,與軟件密不可分。數(shù)據(jù)的獲取與清洗、集成與分析、呈現(xiàn)與應(yīng)用等環(huán)節(jié)都離不開軟件的支持。在大數(shù)據(jù)時(shí)代,系統(tǒng)與軟件工程面臨2個(gè)主要挑戰(zhàn):系統(tǒng)與軟件工程要針對(duì)大數(shù)據(jù)處理與分析需求,開發(fā)支持大數(shù)據(jù)處理各個(gè)環(huán)節(jié)的軟件技術(shù)與系統(tǒng);
系統(tǒng)與軟件工程實(shí)施過程中,會(huì)涉及大量具有大數(shù)據(jù)特征的系統(tǒng)運(yùn)行過程數(shù)據(jù),要對(duì)這些多維數(shù)據(jù)進(jìn)行充分關(guān)聯(lián)挖掘和機(jī)器學(xué)習(xí),發(fā)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的軟件開發(fā)和運(yùn)行規(guī)律,形成基于大數(shù)據(jù)的軟件方法學(xué)。
大數(shù)據(jù)應(yīng)用系統(tǒng)覆蓋數(shù)據(jù)的獲取、清洗、集成、分析與可視化等大數(shù)據(jù)全生命周期的多個(gè)處理環(huán)節(jié),而每個(gè)環(huán)節(jié)都存在著多款軟件工具,它們以開源軟件構(gòu)件形式在大數(shù)據(jù)生態(tài)系統(tǒng)中“野蠻生長(zhǎng)”,給面向領(lǐng)域的大數(shù)據(jù)應(yīng)用系統(tǒng)構(gòu)建、運(yùn)行與優(yōu)化帶來了挑戰(zhàn)。全文詳見《大數(shù)據(jù)戰(zhàn)略:從數(shù)據(jù)大國(guó)到數(shù)據(jù)強(qiáng)國(guó)》,論文發(fā)表在《科技導(dǎo)報(bào)》2020年第3期。王建民,清華大學(xué)軟件學(xué)院,大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室,工業(yè)大數(shù)據(jù)系統(tǒng)與應(yīng)用北京市重點(diǎn)實(shí)驗(yàn)室。