摘要: 2016年新春伊始,五名業(yè)內(nèi)人士將與您分享他們對于2016年數(shù)據(jù)和分析領(lǐng)域的預(yù)測。 隨著社交媒體、移動化和云計算的發(fā)展,數(shù)據(jù)分析及相關(guān)的技術(shù)已經(jīng)作為一款具有顛覆性的技術(shù)在這個數(shù)字時代占有了一席之地了。在過去的2015年中,我們已經(jīng)看到對大數(shù)據(jù)的分析利用正被一股強大的利用新的數(shù)據(jù)技術(shù)以加強商務(wù)智能的推動力推動著由測試步入到了生產(chǎn)階段。 Hadoop發(fā)行商Hortonworks公司的CTO Scott Gnau預(yù)測以下趨勢將在2016年主導數(shù)據(jù)和分析市場領(lǐng)域: 獲取一切可提供洞察分析價值的數(shù)據(jù) 在2016年,企業(yè)將著眼于從所有數(shù)據(jù)中獲得洞察價值,Gnau表示說。 “這不只是關(guān)于物聯(lián)網(wǎng),而是要通過互聯(lián)網(wǎng)連接起凡是能夠提供洞察分析價值的一切設(shè)備?!彼f。 “我們要超越傳感器等相關(guān)設(shè)備,著眼于一切可以從中獲取洞察價值數(shù)據(jù)信息的設(shè)備,這包括來自企業(yè)生產(chǎn)過程中的服務(wù)器日志、地理位置和來自互聯(lián)網(wǎng)的所有數(shù)據(jù)?!?/p> 重視邊緣數(shù)據(jù) Gnau表示說,企業(yè)必須超越他們的數(shù)據(jù)中心并開始重視利用邊緣的數(shù)據(jù)。他指出,數(shù)據(jù)流現(xiàn)在收集了來自許多傳感器和服務(wù)器之外的設(shè)備上的數(shù)據(jù),例如,來自海上的石油鉆塔或太空中的衛(wèi)星。這使得管理安全邊界及提供跨系統(tǒng)的完整數(shù)據(jù)源有一個巨大的機會。 Gnau表示說IoAT創(chuàng)建了一個新的模式,需要新的思維和新的數(shù)據(jù)管理系統(tǒng),而這些解決方案將在2016年變得更加成熟,并進一步滲透到企業(yè)運用中去。 運動平臺的數(shù)據(jù) 在2016年,業(yè)界將看到運動平臺的數(shù)據(jù)運用的發(fā)展?!捌髽I(yè)用戶有對于更高級別的平臺來處理許多設(shè)備協(xié)議,并把所有的數(shù)據(jù)流匯集到Hadoop的需要。”Gnau表示說。 “該平臺需要方便多協(xié)議語言的通信。運動數(shù)據(jù)和靜態(tài)數(shù)據(jù)的整合是2016年中的一個大機會?!?/p> 大數(shù)據(jù)變得容易 有市場對于簡化大數(shù)據(jù)技術(shù)方面有需要,并為此在所有層面都存在的機會:技術(shù)、消費等領(lǐng)域。Gnau表示說,在2016年,數(shù)據(jù)分析技術(shù)將明顯有趨于走向簡單化的趨勢。 “無論你是集群操作員、安全管理員或是數(shù)據(jù)分析員,每個人都希望Hadoop及其相關(guān)的大數(shù)據(jù)技術(shù)是簡單直接的?!彼f。 “其處理過程就像一個單一的集成開發(fā)經(jīng)驗或減少設(shè)置或配置文件的數(shù)量一樣將開始出現(xiàn)一刀切的模式?!?/p> Hadoop用于關(guān)鍵任務(wù)工作負載 在2016年,Hadoop將被用于交付更多的關(guān)鍵任務(wù)工作負載,并超出“網(wǎng)絡(luò)規(guī)?;钡钠髽I(yè),Gnau預(yù)測說?!半m然像雅虎、Spotify和TrueCar這樣的公司都建立了相關(guān)的業(yè)務(wù)部門以便充分利用Hadoop,我們將看到更多的傳統(tǒng)企業(yè)使用Hadoop,以便從其所管理的大量數(shù)據(jù)中提取有價值的見解,并提供新的關(guān)鍵業(yè)務(wù)分析應(yīng)用程序,而這想要簡單地實現(xiàn),沒有Hadoop是不可能的?!彼f。 IT系統(tǒng)管理解決方案提供商Adaptiva公司創(chuàng)始人兼首席技術(shù)官迪帕克·庫馬爾預(yù)測: 今年,數(shù)據(jù)將得到限制 “對于數(shù)據(jù)的使用將變得更加規(guī)范,因為供應(yīng)商將無法跟上數(shù)據(jù)的需求;而企業(yè)也將無法跟上成本的上漲?!睅祚R爾說。 “這樣一來,企業(yè)將開始利用技術(shù)來監(jiān)測這些數(shù)據(jù)?!?/p> 系統(tǒng)管理將因為大數(shù)據(jù)分析而變得智能化 “大數(shù)據(jù)分析解決方案的集成整合將繼續(xù)功虧一簣,留下未連接的孤島的數(shù)據(jù)的業(yè)務(wù)洞察力未被發(fā)現(xiàn)——而系統(tǒng)管理將介入幫助。”他說。 能源分析專家FirstFuel軟件公司首席數(shù)據(jù)科學家巴德里·拉加表示,在2016年,我們將看到: 數(shù)據(jù)的運用更加民主普及化 拉加說,多虧了像亞馬遜的Mechanical Turk這樣的解決方案,使得企業(yè)和個人用戶將能夠更方便地收集來自世界各地的數(shù)據(jù)信息,而在此之前他們是無法實現(xiàn)的。 “不僅能夠更容易的找到數(shù)據(jù),同時更加用戶友好的工具的出現(xiàn)將使人們無需具備大量的數(shù)據(jù)知識就能進行數(shù)據(jù)信息分析,從而確保獲得有意義的價值洞察了?!彼f。 對于數(shù)據(jù)隱私權(quán)問題的關(guān)注將增加 歐洲最近制定了嚴格的數(shù)據(jù)監(jiān)管規(guī)定,這意味著企業(yè)用戶將需要針對如何解決數(shù)據(jù)安全問題制定相應(yīng)的戰(zhàn)略?!逼髽I(yè)已經(jīng)不能僅僅將數(shù)據(jù)隱私問題視為一個事后考慮的事項了,他們需要主動的解釋他們是如何使用數(shù)據(jù)的,確保其符合企業(yè)所在地及全球的相關(guān)監(jiān)管法律法規(guī)?!彼f。 為了從數(shù)據(jù)分析中發(fā)掘數(shù)據(jù)價值見解,新的應(yīng)用程序?qū)⒈婚_發(fā) 拉加說,在2016年,企業(yè)和個人用戶將進一步挖掘數(shù)據(jù)并進行分析,以提供個性化的引人入勝的跨行業(yè)的數(shù)據(jù)體驗,包括能源,體育,社會公益和音樂領(lǐng)域。 “比如,人們將能夠使用數(shù)據(jù)以根據(jù)自己的個人喜好來改變歌曲?!彼f。 商業(yè)智能和分析企業(yè)Tableau軟件公司的產(chǎn)品營銷總監(jiān)丹·高根預(yù)測了2016年大數(shù)據(jù)領(lǐng)域的一系列發(fā)展趨勢,包括: NoSQL獲得發(fā)展 高根說,2016年,NoSQL數(shù)據(jù)庫將成為領(lǐng)先的企業(yè)IT環(huán)境,作為無模式的數(shù)據(jù)庫概念的優(yōu)勢會變得更加明顯。 “沒有比從Gartner的運行數(shù)據(jù)庫管理系統(tǒng)魔力象限能夠看到更加令人震驚的顯示畫面了?!倍@在過去,甲骨文,IBM,微軟和SAP是占主導地位的。“相比之下,在最近的魔力象限中,我們看到了研發(fā)NoSQL的公司,包括MongoDB、DataStax、Redis實驗室、MarkLogic和亞馬遜網(wǎng)絡(luò)服務(wù)(其DynamoDB產(chǎn)品),數(shù)量上超過了Gartner的領(lǐng)導者象限報告的傳統(tǒng)數(shù)據(jù)庫供應(yīng)商。 Apache Spark進一步用于大數(shù)據(jù)分析 Apache Spark已經(jīng)從Hadoop系統(tǒng)的一個組件成為了不少企業(yè)大數(shù)據(jù)平臺的選擇了。“較之Hadoop,Spark為數(shù)據(jù)處理速度帶來了大幅的提升,并且已經(jīng)成為目前規(guī)模最大的大數(shù)據(jù)開源項目了,根據(jù)Spark項目的發(fā)起者和Databricks的聯(lián)合創(chuàng)始人馬泰扎哈里亞介紹?!备吒f。 “我們將看到越來越多的企業(yè)使用案例Spark,例如,在高盛集團, Spark已成為大數(shù)據(jù)分析的’通用語言’?!?/p> 大數(shù)據(jù)進一步成熟 Hadoop被添加到了企業(yè)標準。高根說,企業(yè)利用Hadoop的能力將在2016年變得成熟?!白鳛槠溥M一步成熟的證據(jù),Hadoop的不斷發(fā)展的趨勢將使其成為企業(yè)IT規(guī)劃的核心部分,我們將看到圍繞著諸如安全這樣的企業(yè)系統(tǒng)組件投資的增長?!彼f?!癆pache Sentry項目為實施細粒度提供了一個系統(tǒng),基于角色的授權(quán)將數(shù)據(jù)和元數(shù)據(jù)存儲在Hadoop集群上。這些都是客戶希望從他們的企業(yè)級RDBMS平臺和現(xiàn)在的新興大數(shù)據(jù)技術(shù)能夠獲得的前沿的能力類型,從而進一步消除了企業(yè)采用的一大障礙?!?/p> 大數(shù)據(jù)獲得快速發(fā)展,并進一步促進Hadoop的采用 高根說,2016年,我們將看到Hadoop獲得傳統(tǒng)上一直與數(shù)據(jù)倉庫相關(guān)的性能。 “隨著Hadoop獲得更多對于企業(yè)用戶的吸引力,我們將看到來自最終用戶對于同樣快速的數(shù)據(jù)探索的能力的不斷增長的需求,這與他們對于傳統(tǒng)的數(shù)據(jù)倉庫的期望是一樣的?!彼f。 “為了滿足最終用戶的需求,我們看到越來越多地對于諸如Cloudera Impala、AtScale、Actian Vector和Jethro Data等新技術(shù)的采用——這進一步模糊了”傳統(tǒng)”BI和“大數(shù)據(jù)”之間的概念。 幫助最終用戶發(fā)現(xiàn)所有形式的數(shù)據(jù)增長的選擇數(shù)量進一步增加 自助服務(wù)的數(shù)據(jù)準備工具正在爆炸式的普及。高根說,部分的原因是由于轉(zhuǎn)向企業(yè)-用戶生成的數(shù)據(jù)發(fā)現(xiàn)工具的采用,如Tableau,減少了分析數(shù)據(jù)的時間?!捌髽I(yè)用戶現(xiàn)在希望也能夠減少數(shù)據(jù)分析的準備時間和復雜度,尤其重要的是在處理各種數(shù)據(jù)類型和格式時?!彼f?!蔽覀円呀?jīng)看到了這一領(lǐng)域的創(chuàng)新,包括從專注于最終用戶準備的大數(shù)據(jù)公司如Alteryx、Trifacta、Paxata和Lavastorm,同時還看到有長期的ETL領(lǐng)域的領(lǐng)軍企業(yè)如Informatica公司對于其REV產(chǎn)品進行的大量的投資?!?/p> MPP數(shù)據(jù)倉庫在云中的增長正在升溫 高根說,數(shù)據(jù)倉庫的“死亡”已經(jīng)被炒作了一段時間了,而在這一細分市場的增長已經(jīng)放緩也已經(jīng)不是什么秘密了?!暗覀儸F(xiàn)在將看到這項技術(shù)應(yīng)用程序轉(zhuǎn)移到云計算的一個重大轉(zhuǎn)變,在這一個領(lǐng)域亞馬遜憑借其在Redshift的按需云數(shù)據(jù)倉庫占據(jù)了主導?!彼f?!癛edshift是AWS增長最快的業(yè)務(wù),但其現(xiàn)在需要面臨來自谷歌BigQuery、以及來自提供長期數(shù)據(jù)倉庫的強勢競爭者如微軟產(chǎn)品( Azure SQL 數(shù)據(jù)倉庫)和Teradata的競爭、還有來自諸如2015年Strata + Hadoop World獲勝者初創(chuàng)公司Snowflake的競爭。分析人士認為,那些已經(jīng)采用Hadoop的企業(yè)中,有90%的企業(yè)還會繼續(xù)保持他們的數(shù)據(jù)倉庫,通過這些新的云服務(wù)產(chǎn)品,這些客戶可以相對于存儲在他們的Hadoop數(shù)據(jù)湖的更大量的數(shù)據(jù)信息,能夠動態(tài)地在數(shù)據(jù)倉庫中向上或向下擴展的存儲和計算資源。 融合收斂的流行:物聯(lián)網(wǎng)、云計算和大數(shù)據(jù)結(jié)合到了一起 該技術(shù)仍處于初期階段,但來自物聯(lián)網(wǎng)設(shè)備上的數(shù)據(jù)將成為“殺手級應(yīng)用”,成為推動云和PB級數(shù)據(jù)爆炸式增長的驅(qū)動因素之一,高根說。 “出于這個原因,我們將看到了領(lǐng)先的云服務(wù)和數(shù)據(jù)公司,如谷歌、亞馬遜網(wǎng)絡(luò)服務(wù)和微軟將把物聯(lián)網(wǎng)服務(wù)帶入我們的生活,使得數(shù)據(jù)可以無縫地遷移到他們的基于云的分析引擎?!彼f。 數(shù)據(jù)倉庫和大數(shù)據(jù)分析專家企業(yè)Teradata公司的企業(yè)系統(tǒng)總經(jīng)理丹·格雷厄姆表達了他對于2016年的預(yù)測: 企業(yè)將重新設(shè)置Hadoop 格雷厄姆認為,在2016年,我們將看到企業(yè)汲取他們從以往的部署到重新構(gòu)建他們的方法的相關(guān)經(jīng)驗教訓。 “隨著Hadoop和相關(guān)開源技術(shù)超越了純粹的知識收集,以及炒作的消退,企業(yè)將重新設(shè)置(但不會放棄)自己的Hadoop部署,以解決他們所學到的教訓——特別是圍繞管理,數(shù)據(jù)集成,安全性和可靠性等領(lǐng)域”他說。 關(guān)于數(shù)據(jù)分析算法的探討將進入企業(yè)高層會議 在數(shù)據(jù)采集和數(shù)據(jù)的托管分析的制備過程中,相關(guān)的算法將升溫。”他說。 “這樣一來,企業(yè)的CEO和投資者們將開始探討深層的數(shù)據(jù)分析為核心業(yè)務(wù)的目標。” 數(shù)據(jù)湖泊最終會發(fā)現(xiàn)一些殺手級應(yīng)用程序 受數(shù)據(jù)量和成本因素的影響,數(shù)據(jù)湖泊將成為原始物聯(lián)網(wǎng)數(shù)據(jù)最常見的存儲庫,格雷厄姆說?!蔽锫?lián)網(wǎng)M2M數(shù)據(jù)的規(guī)模大小將將超過幾個數(shù)量級運行內(nèi)存容量,從而推動了低存儲成本的數(shù)據(jù)湖技術(shù)?!彼f。 在數(shù)據(jù)中心捕獲的物聯(lián)網(wǎng)數(shù)據(jù)的價值將迅速被新的交易數(shù)據(jù)的價值所削弱 “缺乏貨幣化的數(shù)據(jù)字段,大多數(shù)傳感器的數(shù)據(jù)將在數(shù)小時,幾天或幾周的時間后變?yōu)榈蛢r值,因為這些數(shù)據(jù)信息將被相同的傳感器的更新的數(shù)據(jù)集合所替換?!备窭锥蚰氛f。 “架構(gòu)和系統(tǒng)將被迫以彌補這一數(shù)據(jù)價值的快速下降,以應(yīng)付數(shù)據(jù)存儲和處理成本?!?/p> |
|