Google的首席經(jīng)濟(jì)學(xué)家Hal Varian在2010年指出“在接下來的歲月里,最時(shí)髦的工作將是統(tǒng)計(jì)學(xué)家……領(lǐng)悟數(shù)據(jù)的能力——理解數(shù)據(jù)、處理數(shù)據(jù)、提煉價(jià)值、可視化數(shù)據(jù)、溝通數(shù)據(jù)——必將成為一種極其重要的技能”。大數(shù)據(jù)、數(shù)據(jù)可視化都已成了當(dāng)下商業(yè)分析中的重要基礎(chǔ)概念。 近年來IT行業(yè)飛速發(fā)展,數(shù)據(jù)作為一種基本的概念已經(jīng)深入到社會(huì)生活的每一個(gè)角落!個(gè)體的經(jīng)濟(jì)活動(dòng)和社會(huì)活動(dòng)都已經(jīng)數(shù)據(jù)化了,消耗在各種數(shù)據(jù)接入設(shè)備的關(guān)注時(shí)間,成了互聯(lián)網(wǎng)企業(yè)爭(zhēng)相競(jìng)逐的最重要的資源。 數(shù)據(jù)的存在本身就是數(shù)據(jù)的唯一價(jià)值!人類通常會(huì)將自身遇到的一切與基礎(chǔ)符號(hào)或符號(hào)系統(tǒng)進(jìn)行關(guān)聯(lián),從而賦予這些數(shù)據(jù)以含義,從而成功地將數(shù)據(jù)變成了有意義的信息(INFORMATION),信息是人類適應(yīng)/控制外部世界過程中交換的內(nèi)容,反映事物的形成、關(guān)系和差異。 信息集合之間明確的相互作用一旦被人類所感受和體驗(yàn),逐漸就成了確定性的知識(shí)(KNOWLEDGE),基于既往所發(fā)生的各種事實(shí),利用內(nèi)插法和概率進(jìn)行認(rèn)知性和分析性的總結(jié)歸納,就形成了人的理解(UNDERSTANDING)過程。 數(shù)據(jù)、信息和知識(shí)舉例如下: 數(shù)據(jù):珠峰的高度8844.43米,坐標(biāo):27°59′17″ N 和86°55′31″ E 都是數(shù)據(jù)。 信息:描述珠峰地理特征的書籍,包括氣候等各種各樣數(shù)據(jù)的描述。 知識(shí): 探討具體如何最好地登上珠峰的報(bào)告。比如攀登珠穆朗瑪峰必須遵守著名的“兩點(diǎn)鐘規(guī)則”:即攻頂一定要在下午2點(diǎn)前完成,不然就必須回頭。美國(guó)登山好手費(fèi)雪(Scott Fischer),曾經(jīng)四次成功登上珠峰,但在第五次時(shí)過晚登頂,結(jié)果在下山時(shí)遇大風(fēng)雪喪命。 智慧:使用知識(shí),經(jīng)驗(yàn),理解、常識(shí)、洞察(對(duì)特定上下文中的明確因果關(guān)系的理解)進(jìn)行思考和行動(dòng)的能力。將智慧加諸于特定實(shí)體就是實(shí)體的智能——邏輯、理解、自知、學(xué)習(xí)、情緒表達(dá)、知識(shí)、計(jì)劃、創(chuàng)新和問題解決的能力。 本質(zhì)上智能就是對(duì)非確定性,非概率性的外延,它是基于知識(shí)之上的已經(jīng)評(píng)估過的理解,能夠用于處理尚未發(fā)生的不確定的情景,知道對(duì)于尚未發(fā)生的未來什么是最好的選擇! 泰倫提烏斯說過:真正的智慧不僅在于能明察眼前,而且還能預(yù)見未來! 商業(yè)智能(Business Intelligence)概念本身在1958年就已經(jīng)被IBM的Hans Peter 提出,但商業(yè)智能作為一種復(fù)合的技術(shù)和應(yīng)用,直到1989年才被來自Garner 的Howard Dresner通俗化才廣為人知:即一類由數(shù)據(jù)倉(cāng)庫(kù),查詢報(bào)表,數(shù)據(jù)分析,數(shù)據(jù)挖掘,備份/恢復(fù)等部分組成、幫助企業(yè)決策為目的的技術(shù)和應(yīng)用。總體上就是三大殺器:數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse),聯(lián)機(jī)分析處理(OLAP)和數(shù)據(jù)挖掘(DATA MINING)! 90年代,數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)從探索階段走向了實(shí)用階段。W.H Inmon 在《Building the Data Warehouse》一書中對(duì)數(shù)據(jù)倉(cāng)庫(kù)作出了明確定義:“數(shù)據(jù)倉(cāng)庫(kù)是支持管理決策過程,面向主題,不斷變化的持久化數(shù)據(jù)集合”。 2004年開始到2007年,也許是商業(yè)智能行業(yè)史上最為激動(dòng)人心的歲月。根據(jù)07年美國(guó)高盛公司的調(diào)查,70%的企業(yè)在IT采購(gòu)中對(duì)商業(yè)智能工具或者應(yīng)用具有采購(gòu)計(jì)劃;人們認(rèn)識(shí)到企業(yè)對(duì)商業(yè)智能的呼喚不僅僅是少數(shù)公司的行為,而是已經(jīng)從企業(yè)的“想要”逐漸變成了企業(yè)的“需要”。 商業(yè)智能行業(yè)一開始只是一個(gè)規(guī)模有限而且專業(yè)性很強(qiáng)的細(xì)分市場(chǎng),以至于一開始SAP,ORACLE,IBM和Microsoft 這些巨頭都忙于自己的專業(yè)領(lǐng)域,未曾暇顧。目前的行業(yè)格局基本上奠定于2007年左右的大規(guī)模商業(yè)并購(gòu)。 對(duì)比Gartner 2007年和2008年的商業(yè)智能平臺(tái)魔力象限,你會(huì)發(fā)現(xiàn)在商業(yè)智能領(lǐng)導(dǎo)廠商第一梯隊(duì)中,唯有SAS 始終如一,在這個(gè)領(lǐng)域猶如標(biāo)桿般的存在,而其他4家都已經(jīng)城頭變幻大王旗:Oracle(Hyperion Solutions), SAP(Business Objects),IBM(Cognos)和 Microsoft(ProClarity),而第二梯隊(duì)則只剩下Information Builders,MicroStrategy 和QlikTech 三家公司。 截至到2013年,商業(yè)智能的那些傳統(tǒng)功能,比如參數(shù)化報(bào)表,聯(lián)機(jī)分析處理(OLAP)和即席查詢(Ad-Hoc Query)并沒有被廣大管理者和分析師所完全擁抱,主要是大部分人認(rèn)為他們對(duì)許多分析用例而言太過難用。因此,商業(yè)智能和分析平臺(tái)市場(chǎng)從主要用于測(cè)量和報(bào)表BI系統(tǒng),加速轉(zhuǎn)型到那些支持分析,預(yù)報(bào),預(yù)測(cè)和優(yōu)化的BI系統(tǒng)。 作為世界最為著名的IT調(diào)研機(jī)構(gòu),Gartner 每年都會(huì)根據(jù)IT領(lǐng)域的市場(chǎng)變化提供魔力象限和技術(shù)成熟度報(bào)告,從而影響企業(yè)的戰(zhàn)略投資。在2013年Gartner 的報(bào)告中,商業(yè)智能BI系統(tǒng)被定義為提供17個(gè)能力的軟件平臺(tái),覆蓋分析,信息交付和集成三個(gè)方面。 2014年,確保對(duì)不同數(shù)據(jù)提供治理,規(guī)模和性能仍然主導(dǎo)BI市場(chǎng)的需求。越來越多的數(shù)據(jù)源(比如數(shù)據(jù)來自云端,實(shí)時(shí)事件和傳感器,多結(jié)構(gòu)數(shù)據(jù)等)和新的分析類型(比如網(wǎng)絡(luò)分析,情感分析,機(jī)器學(xué)習(xí)新算法)引入使得分析變得額外復(fù)雜,然而這使得創(chuàng)造新的商業(yè)價(jià)值成為可能,行業(yè)競(jìng)爭(zhēng)更加活躍。也有越來越多的企業(yè)自行開發(fā)貼合自身業(yè)務(wù)的分析功能,因此,2014年度Gartner的魔力象限顯得特別活躍,上榜者也居然達(dá)到27家之多,SAS依舊赫然在列,在數(shù)據(jù)分析方面始終如一。 2016年Gartner的BI和分析平臺(tái)報(bào)告發(fā)生了顯著的變化,因?yàn)樗J(rèn)為易于試用、購(gòu)買和使用在BI和分析工具的評(píng)估中變得越來越重要,現(xiàn)代的BI和分析平臺(tái)應(yīng)該能夠讓非技術(shù)用戶,也能自主地執(zhí)行全自動(dòng)的分析工作流程,包括數(shù)據(jù)準(zhǔn)備、交互式分析、并能夠?qū)Ψ治鲂纬傻亩床爝M(jìn)行協(xié)作共享。它主要根據(jù)對(duì)五個(gè)主要用例方面的支持來對(duì)市場(chǎng)進(jìn)行評(píng)估:受控的數(shù)據(jù)發(fā)現(xiàn),去中心化分析,嵌入式BI,敏捷而集中的BI調(diào)配以及支持IT的工作流、BI和分析內(nèi)容的外網(wǎng)部署。 然而Gartner 2016年的BI和分析平臺(tái)報(bào)告并沒有反映商業(yè)智能和分析平臺(tái)市場(chǎng)的整體情況,而是側(cè)重于幾個(gè)純BI的新玩家和描述性/診斷性分析用例(即發(fā)生什么/為什么發(fā)生?),也許,報(bào)告名稱叫“自助服務(wù)商業(yè)智能工具魔力象限” 可能更加準(zhǔn)確。那些具有更高商業(yè)價(jià)值的預(yù)測(cè)性分析(將會(huì)發(fā)生什么?)和規(guī)范性分析(我該怎辦?)在該報(bào)告中并沒有得到足夠的體現(xiàn),Gartner 將這些分析歸入了另外一份高級(jí)分析特定的報(bào)告(如下圖所示)。 IBM、KNIME和RapidMiner是這個(gè)高級(jí)分析領(lǐng)域的領(lǐng)導(dǎo)者。其中SAS表現(xiàn)尤為出色,在2016這一年中SAS被Gartner譽(yù)為2016年?duì)I銷資源管理領(lǐng)導(dǎo)者;被Gartner評(píng)為數(shù)字營(yíng)銷分析領(lǐng)域領(lǐng)導(dǎo)者;并且連續(xù)六年獲得Gartner魔力象限數(shù)據(jù)整合工具領(lǐng)導(dǎo)者殊榮。 據(jù)Gartner的預(yù)測(cè),到2018年全球一半以上的大型機(jī)構(gòu)將使用高級(jí)分析和專有算法進(jìn)行企業(yè)強(qiáng)力競(jìng)爭(zhēng);2020年高級(jí)分析將吸納企業(yè)40% 在商業(yè)智能和分析領(lǐng)域的新投資。 高級(jí)分析采用復(fù)雜的定量方法,包括統(tǒng)計(jì)、描述性和預(yù)測(cè)性數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模擬和優(yōu)化等對(duì)數(shù)據(jù)進(jìn)行分析,形成傳統(tǒng)BI查詢和報(bào)告所無法發(fā)現(xiàn)的洞察。當(dāng)然,執(zhí)行分析將不只是針對(duì)專業(yè)的數(shù)據(jù)科學(xué)家和高級(jí)分析師,可視化的工作環(huán)境讓平民數(shù)據(jù)科學(xué)家也能參與到數(shù)據(jù)分析中來。借助工作流復(fù)用,分析自動(dòng)化、引導(dǎo)式分析能幫助分析人員極大地提高效率。 此外,高級(jí)分析平臺(tái)還要求為開發(fā)分析模型,提供部署到端到端環(huán)境之能力。包括開發(fā)和構(gòu)建分析模型的能力、模型部署(集成到業(yè)務(wù)流程應(yīng)用程序中的能力),對(duì)基于平臺(tái)的項(xiàng)目和模型的操縱、驗(yàn)證和跟蹤能力,以及對(duì)海量數(shù)據(jù)/流式數(shù)據(jù)在速度和準(zhǔn)確性上,具有高性能和高伸縮性提出要求。 分析領(lǐng)域的翹楚SAS于2016年推出的高性能和可視化架構(gòu)SAS Viya,是一個(gè)全新的云就緒開放式綜合高級(jí)分析平臺(tái),它代表了SAS新一代的分析架構(gòu)。SAS Viya能幫助縮減從早期分析探索到后期業(yè)務(wù)價(jià)值實(shí)現(xiàn)所需要的時(shí)間,是商業(yè)智能的基礎(chǔ)。 商業(yè)智能和分析行業(yè)冷靜的觀察者可能會(huì)得出一個(gè)結(jié)論:大數(shù)據(jù)時(shí)代的到來并沒有引爆商業(yè)分析行業(yè),反倒是一些BI領(lǐng)域的小公司借助相關(guān)概念和產(chǎn)品易用性,結(jié)合前端技術(shù)的進(jìn)步吸引了部分客戶。不過這些小公司雖然增長(zhǎng)很快,但市場(chǎng)基數(shù)實(shí)在太?。?-4%),部署也以面向桌面應(yīng)用為主,因此對(duì)整個(gè)市場(chǎng)不足于構(gòu)成挑戰(zhàn)和威脅! 商業(yè)智能行業(yè)的淘金山谷依然牧歌祥和,正在穩(wěn)步走向云時(shí)代——不僅僅是數(shù)據(jù)本身,而且包括應(yīng)用——都在走向云端!當(dāng)然,大數(shù)據(jù)時(shí)代有個(gè)關(guān)鍵的特征是:數(shù)據(jù)分析人員只有通過數(shù)據(jù)可視化和交互式分析,才能真正理解數(shù)據(jù),溝通數(shù)據(jù),從而提煉數(shù)據(jù)的商業(yè)價(jià)值。哪家公司能夠率提供將可視化數(shù)據(jù)探索、分析和價(jià)值發(fā)現(xiàn)流程融為一體的現(xiàn)代化產(chǎn)品線,幫助企業(yè)建立一個(gè)具有可持續(xù)發(fā)展的數(shù)據(jù)分析平臺(tái),才算真正把握了大數(shù)據(jù)時(shí)代分析的先機(jī)! 本文作者:巫銀良,分析行業(yè)資深專家,大數(shù)據(jù)可視化分析負(fù)責(zé)人, SAS 北京研發(fā)中心商業(yè)智能和可視化分析產(chǎn)品部技術(shù)總監(jiān),資深商業(yè)智能技術(shù)專家。 |
|