編者按：本文來自微信公眾號(hào)“星河融快”（ID:rongkuai888），作者吳極，星河研究院分析師；36氪經(jīng)授權(quán)發(fā)布。

作為該系列的開篇文章，本期我們將從宏觀的角度帶你觀察大數(shù)據(jù)行業(yè)的整體生態(tài)結(jié)構(gòu)，對(duì)大數(shù)據(jù)采集、數(shù)據(jù)的分布式存儲(chǔ)與處理，以及在此基礎(chǔ)之上的數(shù)據(jù)分析、可視化和在眾多行業(yè)中的應(yīng)用進(jìn)行概述。其后的每篇文章我們都會(huì)挑選大約5個(gè)行業(yè)的數(shù)十家典型公司進(jìn)行詳細(xì)介紹，并會(huì)對(duì)其中一個(gè)重點(diǎn)行業(yè)進(jìn)行邏輯的梳理與詳細(xì)案例的剖析。那么首先我們就來說說大數(shù)據(jù)技術(shù)是如何產(chǎn)生的？

第一 大數(shù)據(jù)的技術(shù)基礎(chǔ)

早在1980年，著名未來學(xué)家托夫勒在其所著的《第三次浪潮》中就熱情地將“大數(shù)據(jù)”稱頌為 “第三次浪潮的華彩樂章”，這標(biāo)志著人們首次對(duì)海量數(shù)據(jù)所能夠產(chǎn)生的價(jià)值有了初步的了解。

但由于連接方式的局限，長(zhǎng)期以來人們對(duì)于數(shù)據(jù)的應(yīng)用大多以企業(yè)內(nèi)部的商業(yè)智能為主，隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的普及，企業(yè)終于能夠直接與用戶產(chǎn)生鏈接并獲得大量的用戶行為與消費(fèi)等數(shù)據(jù)，大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用的輪廓才漸漸清晰。

2000年初Google為了實(shí)現(xiàn)對(duì)大量網(wǎng)頁的信息抓取、存儲(chǔ)，并完成索引的建立及排序功能，同時(shí)又希望降低硬件采購(gòu)成本而逐漸摸索出了利用普通物理機(jī)實(shí)現(xiàn)的分布式存儲(chǔ)、計(jì)算體系。這一技術(shù)以MapReduce及GFS而為人所熟知，借此大數(shù)據(jù)得以分布存儲(chǔ)在多個(gè)數(shù)據(jù)庫(kù)中，并進(jìn)行大規(guī)模并發(fā)處理，解決了以往單一計(jì)算機(jī)存儲(chǔ)能力不夠，計(jì)算時(shí)間過長(zhǎng)而不具備實(shí)用性的問題。

依據(jù)2003年底Google所發(fā)布的論文，前雅虎工程師開發(fā)出了類似的分布式存儲(chǔ)計(jì)算技術(shù)Hadoop，隨后圍繞Hadoop產(chǎn)生了龐大的生態(tài)體系，逐漸使大數(shù)據(jù)基礎(chǔ)架構(gòu)日臻完善。

Hadoop功能包括從數(shù)據(jù)采集、存儲(chǔ)、分析、轉(zhuǎn)運(yùn)、再到頁面展示，完整涵蓋了整個(gè)流程。例如HDFS實(shí)現(xiàn)了數(shù)據(jù)的分布式存儲(chǔ)，HBase負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)庫(kù)的功能，F(xiàn)lume執(zhí)行對(duì)數(shù)據(jù)的收集，Sqoop能夠?qū)?shù)據(jù)進(jìn)行轉(zhuǎn)移、治理， MapReduce可以通過算法實(shí)現(xiàn)分布式計(jì)算，Hive則做數(shù)據(jù)倉(cāng)庫(kù)，Pig做數(shù)據(jù)流處理，Zookeeper實(shí)現(xiàn)了各節(jié)點(diǎn)間的反饋收集與負(fù)載平衡服務(wù)，Ambari能夠讓管理員了解架構(gòu)整體的工作運(yùn)行情況。

Hadoop生態(tài)技術(shù)架構(gòu)

而隨著技術(shù)的發(fā)展，一些適應(yīng)獨(dú)特應(yīng)用場(chǎng)景的數(shù)據(jù)庫(kù)、計(jì)算處理等軟件也越發(fā)豐富，例如非結(jié)構(gòu)化數(shù)據(jù)庫(kù)MongoDB就因?yàn)槠漭^為強(qiáng)大的條件查詢功能以及靈活的數(shù)據(jù)結(jié)構(gòu)獲得了廣泛的應(yīng)用；Spark則將Hadoop中的存儲(chǔ)介質(zhì)替換為閃存，而獲得了百倍處理速度的增長(zhǎng)，Databricks Cloud就是這一架構(gòu)下的產(chǎn)品化服務(wù)。

除此之外大數(shù)據(jù)生態(tài)中還存在著很多的技術(shù)發(fā)展路徑，其中MPP技術(shù)主要還是以關(guān)系型數(shù)據(jù)庫(kù)為主和Hadoop技術(shù)目標(biāo)類似，都為了將數(shù)據(jù)切分、獨(dú)立計(jì)算后再匯總。相對(duì)于SQL on Hadoop，MPP具有數(shù)據(jù)優(yōu)化程度高、計(jì)算速度快，擅長(zhǎng)被用于進(jìn)行交叉分析等優(yōu)點(diǎn)，適合企業(yè)進(jìn)行數(shù)據(jù)分析使用，但其擴(kuò)展性相對(duì)Hadoop來說較弱，一般在10個(gè)節(jié)點(diǎn)以上便喪失了計(jì)算優(yōu)勢(shì)，并且由于非開源架構(gòu)導(dǎo)致其對(duì)特定硬件依賴程度較高。

采用MPP存儲(chǔ)模式的代表性公司有Teradata，能夠通過進(jìn)行企業(yè)數(shù)據(jù)分析幫助員工減輕大數(shù)據(jù)處理的精力消耗與費(fèi)用成本，使企業(yè)能夠更加專注于業(yè)務(wù)運(yùn)營(yíng)。在傳統(tǒng)數(shù)據(jù)庫(kù)公司與意圖進(jìn)入數(shù)據(jù)庫(kù)市場(chǎng)的企業(yè)服務(wù)公司（例如SAP）掀起的收購(gòu)熱潮中，Teradata是目前市場(chǎng)僅存的幾家大型獨(dú)立數(shù)據(jù)分析公司之一。

第二 大數(shù)據(jù)的數(shù)據(jù)來源

2011年麥肯錫發(fā)布了一份題為“Big Data: The Next Frontier for Innovation, Competition and Productivity”的報(bào)告，里面提到美國(guó)擁有1000人以上規(guī)模的公司平均存儲(chǔ)了超過200T的數(shù)據(jù)，如果對(duì)數(shù)據(jù)進(jìn)行價(jià)值挖掘?qū)⒓ぐl(fā)很多行業(yè)及公司的潛力，這一報(bào)告標(biāo)志了商業(yè)領(lǐng)域大數(shù)據(jù)熱潮的開端，也使企業(yè)服務(wù)軟件成為了大數(shù)據(jù)最初的數(shù)據(jù)源。

隨著存儲(chǔ)及計(jì)算能力的加強(qiáng)和國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)的興起，部分從業(yè)者在看到行業(yè)巨大前景的同時(shí)也意識(shí)到了國(guó)內(nèi)數(shù)據(jù)資源的缺乏，由于民生、電信、交通、電力等具有很高價(jià)值的數(shù)據(jù)都掌握在政府及大型國(guó)企中并不開放，如何獲取數(shù)據(jù)源成為了比如何提升數(shù)據(jù)處理方法更大的問題。

目前國(guó)內(nèi)能夠進(jìn)行脫敏并使用的市場(chǎng)數(shù)據(jù)的來源主要還是集中在手機(jī)、PC等單一渠道與場(chǎng)景中，TalkingData、友盟，以及艾瑞、易觀等數(shù)據(jù)分析及咨詢機(jī)構(gòu)很大程度上依賴著這些資源，卻也被這些資源所局限。而由于政府?dāng)?shù)據(jù)的敏感性，僅有少數(shù)機(jī)構(gòu)能夠?qū)诱當(dāng)?shù)據(jù)資源。因此預(yù)計(jì)隨著對(duì)數(shù)據(jù)需求的日益強(qiáng)烈以及數(shù)據(jù)資源價(jià)值被漸漸接受，政府?dāng)?shù)據(jù)資源將會(huì)成為數(shù)據(jù)源的重要組成部分。

而更大范圍的數(shù)據(jù)采集工作將會(huì)依托于物聯(lián)網(wǎng)領(lǐng)域。我們?cè)凇都磳⒈?81億個(gè)傳感器包圍，你卻還沒弄懂物聯(lián)網(wǎng)技術(shù)？》中曾講到，預(yù)計(jì)2020年我們將會(huì)被281億個(gè)傳感器包圍，本月27號(hào)中國(guó)聯(lián)通也宣布截至目前其物聯(lián)網(wǎng)聯(lián)通數(shù)量已超過5000萬個(gè)?？梢灶A(yù)見的是，在消費(fèi)者視角內(nèi)，未來衣食住行等方方面面都將會(huì)配備物聯(lián)網(wǎng)設(shè)備實(shí)時(shí)采集數(shù)據(jù)，而采集來的數(shù)據(jù)將會(huì)讓商家提供更優(yōu)質(zhì)、甚至是定制化的服務(wù)，形成雙贏。而在工業(yè)領(lǐng)域，物聯(lián)網(wǎng)所采集的大數(shù)據(jù)也將發(fā)揮很大的作用，形成良性循環(huán)。

同樣隨著數(shù)據(jù)樣本與采集渠道的豐富，針對(duì)數(shù)據(jù)采集過程、數(shù)據(jù)轉(zhuǎn)換與傳送和數(shù)據(jù)存儲(chǔ)環(huán)節(jié)的服務(wù)也已經(jīng)有了很大的發(fā)展，Informatica及Mulesoft就是多渠道數(shù)據(jù)的集成與數(shù)據(jù)治理行業(yè)中的代表性企業(yè)。

第三 大數(shù)據(jù)的分析及可視化

在有了足夠的存儲(chǔ)與計(jì)算能力，并獲得了大量的數(shù)據(jù)后，數(shù)據(jù)分析產(chǎn)業(yè)的發(fā)展水到渠成。目前通用性的數(shù)據(jù)分析行業(yè)，主要有數(shù)據(jù)分析、數(shù)據(jù)分析可視化、大數(shù)據(jù)檢索，以及延伸出的數(shù)據(jù)服務(wù)平臺(tái)、商業(yè)智能分析及大數(shù)據(jù)預(yù)測(cè)與咨詢這6大類業(yè)務(wù)。

數(shù)據(jù)分析的內(nèi)容將會(huì)在第二及第三篇文章中詳細(xì)介紹，今天僅介紹一下數(shù)據(jù)分析的整體情況，及未來可能的發(fā)展方向。

大數(shù)據(jù)分析的出現(xiàn)，對(duì)企業(yè)而言最大的價(jià)值就是能夠?qū)⒋罅砍恋淼挠脩粜袨閿?shù)據(jù)、消費(fèi)數(shù)據(jù)、企業(yè)服務(wù)軟件中的數(shù)據(jù)進(jìn)行整合，并通過對(duì)這些數(shù)據(jù)的分析來優(yōu)化產(chǎn)品設(shè)計(jì)、價(jià)格的制定和銷售方法的提升，同時(shí)降低企業(yè)內(nèi)部運(yùn)轉(zhuǎn)的成本提高運(yùn)營(yíng)效率，例如Pentho通過抓取企業(yè)服務(wù)軟件（主要為SAP）中的各類數(shù)據(jù)并挖掘及分析，最終能夠幫助企業(yè)節(jié)約大量的報(bào)表制作時(shí)間，并讓管理者能夠?qū)崟r(shí)看到企業(yè)的運(yùn)行情況。

同樣對(duì)于電信、電力以及交通等專業(yè)領(lǐng)域的企業(yè)來說，通過收集用戶數(shù)據(jù)，可以分析并預(yù)測(cè)未來的需求，提前對(duì)價(jià)格進(jìn)行實(shí)時(shí)智能調(diào)節(jié)，并合理分配負(fù)載，從而實(shí)現(xiàn)利潤(rùn)的最大化并保證運(yùn)行的安全。

而對(duì)輿情數(shù)據(jù)的分析能夠幫助企業(yè)及時(shí)了解市場(chǎng)情緒，并快速迭代自己的產(chǎn)品與服務(wù)，對(duì)于金融企業(yè)來說也可以快速獲知最新動(dòng)態(tài)避免因?yàn)樾畔⒉粚?duì)稱而暴露于風(fēng)險(xiǎn)中。例如Datameer提供的數(shù)據(jù)分析引擎就能夠?qū)崟r(shí)監(jiān)測(cè)公共消息，檢測(cè)其語言和傳播方式，使用戶能夠早于媒體報(bào)道獲得最新資訊，并通過可視化的方式使用戶輕松快速上手。

大數(shù)據(jù)可視化，則是建立在大數(shù)據(jù)分析之上的，讓人們能夠更加便捷的理解數(shù)據(jù)分析結(jié)果的手段。大多數(shù)提供數(shù)據(jù)可視化業(yè)務(wù)的公司都將其作為對(duì)數(shù)據(jù)分析的延伸業(yè)務(wù)，例如Bottlenose在進(jìn)行數(shù)據(jù)分析自動(dòng)化業(yè)務(wù)的同時(shí)，提供對(duì)社交媒體分析的“聲納圖”，能夠讓用戶對(duì)復(fù)雜的關(guān)系及邏輯線條一目了然，提升了用戶對(duì)其數(shù)據(jù)分析業(yè)務(wù)的采納程度。

預(yù)計(jì)隨著數(shù)據(jù)分析手段與方法的不斷升級(jí)，數(shù)據(jù)的可視化工作將成為重點(diǎn)方向，將日益復(fù)雜化的數(shù)據(jù)分析結(jié)果與人相連接將會(huì)面臨技術(shù)不斷的挑戰(zhàn)。

第四 大數(shù)據(jù)的行業(yè)應(yīng)用

大數(shù)據(jù)技術(shù)已經(jīng)被視為了未來經(jīng)濟(jì)生活中的基礎(chǔ)設(shè)施，這意味著幾乎全部行業(yè)都能夠在大數(shù)據(jù)分析技術(shù)之上獲得經(jīng)濟(jì)效率的提升。星河研究院此次將大數(shù)據(jù)應(yīng)用的研究范圍覆蓋到了20多個(gè)行業(yè)，包含電子商務(wù)、媒體營(yíng)銷、物流、企業(yè)服務(wù)、教育、汽車、金融科技等諸多產(chǎn)業(yè)，這一部分行業(yè)與公司的介紹將會(huì)放在第四到第七篇文章中。

在銷售行業(yè)中，通過輸入客戶的性格、穿搭習(xí)慣、所處行業(yè)及歷史銷售數(shù)據(jù)等信息，銷售員將會(huì)被大數(shù)據(jù)分析告知，何時(shí)給哪一位客戶打電話獲得訂單的概率最高；在品牌形象建立中，Persado能夠依據(jù)市場(chǎng)情緒的分析，寫出與用戶能夠產(chǎn)生共鳴的文案從而獲取消費(fèi)者好感；法律行業(yè)中Ravel能夠“閱讀”過去數(shù)十萬判決案例，針對(duì)用戶輸入的案件給出判決概率預(yù)測(cè)，幫助律師制定辯護(hù)策略，而長(zhǎng)期來看法律大數(shù)據(jù)企業(yè)很有可能取代大部分初級(jí)律師；同樣在零售、廣告、醫(yī)療等諸多領(lǐng)域，大數(shù)據(jù)技術(shù)都能通過分析數(shù)據(jù)內(nèi)在的關(guān)系而幫助用戶實(shí)現(xiàn)購(gòu)買預(yù)測(cè)、受眾精準(zhǔn)投放以及病情輔助判斷等功能。大數(shù)據(jù)的行業(yè)應(yīng)用精彩紛呈，遠(yuǎn)不止上文所提到的這些，接下來的文章中我們會(huì)逐一展現(xiàn)大數(shù)據(jù)應(yīng)用的神奇。

第五 大數(shù)據(jù)成為AI產(chǎn)業(yè)的燃料

人工智能技術(shù)一直是科學(xué)家與技術(shù)人員的追求，但其發(fā)展并不是一帆風(fēng)順。例如最初的自然語言識(shí)別技術(shù)中，科學(xué)家希望通過語法規(guī)則使計(jì)算機(jī)理解語義從而實(shí)現(xiàn)智能化，但顯示證明這一路徑并不可行，其后依據(jù)大量數(shù)據(jù)樣本的統(tǒng)計(jì)方法才有效的提升了自然語言處理的準(zhǔn)確度并逐漸達(dá)到可用水平。

如今隨著計(jì)算技術(shù)與數(shù)據(jù)量的提升，大數(shù)據(jù)能夠帶給我們的福利已經(jīng)不僅限于資料的查找，識(shí)別語言、視覺的AI技術(shù)提供給我們的，除了經(jīng)?？吹降摹皞€(gè)人助理”和動(dòng)態(tài)美顏等功能外，仿照大腦結(jié)構(gòu)進(jìn)行寫作、自動(dòng)記錄會(huì)議紀(jì)要、情緒識(shí)別與性格分析，甚至是視頻內(nèi)容的搜索等功能都能夠?qū)ι虡I(yè)及產(chǎn)業(yè)起到較大的推動(dòng)作用。

鳴謝：王剛

注：

Hadoop, 由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)

HDFS是Hadoop中的分布式文件系統(tǒng)，適合運(yùn)行在通用硬件設(shè)備上，具備高度容錯(cuò)性，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算，極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。

MPP，Massively Parallel Processing，意為大規(guī)模并行處理系統(tǒng)，這樣的系統(tǒng)是由許多松耦合處理單元組成的，每個(gè)單元內(nèi)的CPU都有自己私有的資源，在每個(gè)單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫(kù)的實(shí)例復(fù)本。

SAP是全球最大的企業(yè)管理和協(xié)同化商務(wù)解決方案供應(yīng)商、全球第三大獨(dú)立軟件供應(yīng)商，總部位于德國(guó)。

GFS是Google開發(fā)的可擴(kuò)展分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用，能夠運(yùn)行于普通硬件上，并提供容錯(cuò)功能。