選自datascience central 作者: Vincent Granville 機(jī)器之心編譯 參與:吳攀 、李亞洲
在這篇文章中,數(shù)據(jù)科學(xué)家與分析師 Vincent Granville 明晰了數(shù)據(jù)科學(xué)家所具有的不同角色,以及數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能、統(tǒng)計(jì)學(xué)、物聯(lián)網(wǎng)、運(yùn)籌學(xué)和應(yīng)用數(shù)學(xué)等相關(guān)領(lǐng)域的比較和重疊。Granville 介紹說,由于數(shù)據(jù)科學(xué)是一個(gè)范圍很廣的學(xué)科,所以他首先介紹了在業(yè)務(wù)環(huán)境中可能會(huì)遇到的數(shù)據(jù)科學(xué)家的類型:你甚至可能會(huì)發(fā)現(xiàn)你自己原來也是某種數(shù)據(jù)科學(xué)家。和其它任何科學(xué)學(xué)科一樣,數(shù)據(jù)科學(xué)也可能會(huì)從其它相關(guān)學(xué)科借用技術(shù);當(dāng)然,我們也已經(jīng)開發(fā)出了自己的技術(shù)庫,尤其是讓我們可以以自動(dòng)化的方式(甚至完全無需人類干預(yù))處理非常大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)集的技術(shù)和算法,進(jìn)而實(shí)時(shí)執(zhí)行交易或進(jìn)行預(yù)測。 1. 數(shù)據(jù)科學(xué)家具有哪些不同類型? 要更詳細(xì)地了解數(shù)據(jù)科學(xué)家的類型,可參閱文章:http:///28rlX1 和 http:///3NNUpd。更多有用的信息可參閱:
而在最近,數(shù)據(jù)科學(xué)家 Ajit Jaokar 則又討論了 A 型數(shù)據(jù)科學(xué)家(分析師)和 B 型數(shù)據(jù)科學(xué)家(建造者)之間的區(qū)別: A 型數(shù)據(jù)科學(xué)家能夠很好地編寫操作數(shù)據(jù)的代碼,但并不一定是一個(gè)專家。A 型數(shù)據(jù)科學(xué)家可能是一個(gè)實(shí)驗(yàn)設(shè)計(jì)、預(yù)測、建模、統(tǒng)計(jì)推理或統(tǒng)計(jì)學(xué)方面的事情的專家。然而總體而言,一個(gè)數(shù)據(jù)科學(xué)家的工作產(chǎn)品并不是「P 值和置信區(qū)間」——就像學(xué)術(shù)界的統(tǒng)計(jì)學(xué)有時(shí)候建議的那樣(而且這常常是為傳統(tǒng)的制藥等等行業(yè)工作的)。在谷歌,A 型數(shù)據(jù)科學(xué)家被稱為統(tǒng)計(jì)學(xué)家、定量分析師、決策支持工程開發(fā)分析師,也有一些被稱為數(shù)據(jù)科學(xué)家。 B 型數(shù)據(jù)科學(xué)家:這里的 B 是指 Building。B 型數(shù)據(jù)科學(xué)家和 A 型數(shù)據(jù)科學(xué)家具有相同的背景,但他們還是很強(qiáng)的程序員、甚至經(jīng)驗(yàn)豐富的軟件工程師。B 型數(shù)據(jù)科學(xué)家主要關(guān)注在生產(chǎn)環(huán)境中使用數(shù)據(jù)。他們構(gòu)建能與用戶進(jìn)行交互的模型,通常是提供推薦(產(chǎn)品、可能認(rèn)識(shí)的人、廣告、電影、搜索結(jié)果等)。 而對于業(yè)務(wù)處理優(yōu)化,我也有自己的看法,我將其分成了 ABCD 四個(gè)方向,其中 A 表示分析科學(xué)(analytics science),B 表示業(yè)務(wù)科學(xué)(business science),C 表示計(jì)算機(jī)科學(xué)(computer science),D 則表示數(shù)據(jù)科學(xué)(data science)。數(shù)據(jù)科學(xué)可能會(huì)涉及到編程或數(shù)學(xué)實(shí)踐,但也可能不會(huì)涉及到。你可以參考 http:///11bR7o 這篇文章了解高端和低端的數(shù)據(jù)科學(xué)的差異。在一家創(chuàng)業(yè)公司,數(shù)據(jù)科學(xué)家通常要做很多類型的工作,其扮演的工作角色可能包括:執(zhí)行、數(shù)據(jù)挖掘師、數(shù)據(jù)工程師或架構(gòu)師、研究員、統(tǒng)計(jì)學(xué)家、建模師(做預(yù)測建模等等)和開發(fā)人員。 雖然數(shù)據(jù)科學(xué)家常常被看作是經(jīng)驗(yàn)豐富的 R、Python、SQL、Hadoop 程序員,而且精通統(tǒng)計(jì)學(xué),但這不只不過是冰山一角而已——人們對于數(shù)據(jù)科學(xué)家的這些看法不過是來自于重在教授數(shù)據(jù)科學(xué)的部分元素的數(shù)據(jù)培訓(xùn)項(xiàng)目而已。但正如一位實(shí)驗(yàn)室技術(shù)人員也可以稱自己為物理學(xué)家一樣,真正的物理學(xué)家遠(yuǎn)不止于此,而且他們的專業(yè)領(lǐng)域也是非常多樣化的:天文學(xué)、數(shù)學(xué)物理、核物理、力學(xué)、電氣工程、信號(hào)處理(這也是數(shù)據(jù)科學(xué)的一個(gè)領(lǐng)域)等等許多。數(shù)據(jù)科學(xué)也是一樣,包含的領(lǐng)域有:生物信息學(xué)、信息技術(shù)、模擬和量化控制、計(jì)算金融、流行病學(xué)、工業(yè)工程、甚至數(shù)論。 對我而言,在過去的十年里,我專注于機(jī)器到機(jī)器和設(shè)備到設(shè)備的通信、開發(fā)能自動(dòng)處理大型數(shù)據(jù)集的系統(tǒng)、執(zhí)行自動(dòng)化交易(比如購買網(wǎng)絡(luò)流量或自動(dòng)生成內(nèi)容)。這意味著需要開發(fā)能夠處理非結(jié)構(gòu)化數(shù)據(jù)的算法,這也是人工智能、物聯(lián)網(wǎng)和數(shù)據(jù)科學(xué)的交叉領(lǐng)域,也可被稱為深度數(shù)據(jù)科學(xué)(deep data science)。其對數(shù)學(xué)的需求相對較少,也只涉及到較少的編程(大部分是調(diào)用 API),但其卻是相當(dāng)數(shù)據(jù)密集型的(包括構(gòu)建數(shù)據(jù)系統(tǒng)),并且基于專門為此背景而設(shè)計(jì)的全新統(tǒng)計(jì)技術(shù)。 在此之前,我的工作是實(shí)時(shí)的信用卡欺詐檢測。在我事業(yè)的早期階段(大約 1990 年),我開發(fā)過圖像遠(yuǎn)程感知技術(shù),其中包括識(shí)別衛(wèi)星圖像的模式(形狀和特征,比如湖泊)和執(zhí)行圖像分割:那段時(shí)間我的研究工作被稱為是計(jì)算統(tǒng)計(jì)學(xué),但在我的母校,隔壁的計(jì)算機(jī)科學(xué)系也在做著幾乎完全一樣的事情,但他們把自己的工作叫做是人工智能。 今天,這項(xiàng)工作被稱作數(shù)據(jù)科學(xué)或人工智能,其子領(lǐng)域包括信號(hào)處理、用于物聯(lián)網(wǎng)的計(jì)算機(jī)視覺等。 另外,數(shù)據(jù)科學(xué)家也可以在各種各樣的數(shù)據(jù)科學(xué)項(xiàng)目中出現(xiàn),比如數(shù)據(jù)收集階段或數(shù)據(jù)探索階段一直到統(tǒng)計(jì)建模和已有系統(tǒng)維護(hù)。 2. 機(jī)器學(xué)習(xí)對比深度學(xué)習(xí) 在深入探討數(shù)據(jù)學(xué)習(xí)與機(jī)器學(xué)習(xí)之間的區(qū)別前,我們先簡單討論下機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的區(qū)別。機(jī)器學(xué)習(xí)一系列在數(shù)據(jù)集上進(jìn)行訓(xùn)練的算法,來做出預(yù)測或采取形同從而對系統(tǒng)進(jìn)行優(yōu)化。例如,基于歷史數(shù)據(jù),監(jiān)督分類算法就被用來分類潛在的客戶或貸款意向。根據(jù)給定任務(wù)的不同(例如,監(jiān)督式聚類),用到的技術(shù)也不同:樸素貝葉斯、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、ensembles、關(guān)聯(lián)規(guī)則、決策樹、邏輯回歸或多種方法之間的結(jié)合。 這些都是數(shù)據(jù)科學(xué)的分支。當(dāng)這些算法被用于自動(dòng)化的時(shí)候,就像在自動(dòng)飛行或無人駕駛汽車中,它被稱為人工智能,更具體的細(xì)說,就是深度學(xué)習(xí)。如果數(shù)據(jù)收集自傳感器,通過互聯(lián)網(wǎng)進(jìn)行傳輸,那就是機(jī)器學(xué)習(xí)或數(shù)據(jù)科學(xué)或深度學(xué)習(xí)應(yīng)用到了 IoT 上。 有些人對深度學(xué)習(xí)有不同的定義。他們認(rèn)為深度學(xué)習(xí)是帶有更多層的神經(jīng)網(wǎng)絡(luò)(神經(jīng)網(wǎng)絡(luò)是一種機(jī)器學(xué)習(xí)技術(shù))。深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的區(qū)別這一問題在 Quora 上也被問到過,下面對此有詳細(xì)的解釋:
3.機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)之間的區(qū)別 《Machine Learning Vs. Statistics》這篇文章試圖解答這個(gè)問題。這篇文章的作者認(rèn)為統(tǒng)計(jì)學(xué)是帶有置信區(qū)間(confidence intervals)的機(jī)器學(xué)習(xí),是為了預(yù)測或估計(jì)數(shù)量。但我不同意,我曾建立過不需要任何數(shù)學(xué)或統(tǒng)計(jì)知識(shí)的工程友好的置信區(qū)間。 4. 數(shù)據(jù)科學(xué)對比機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)都是數(shù)據(jù)科學(xué)的一部分。機(jī)器學(xué)習(xí)中的學(xué)習(xí)一詞表示算法依賴于一些數(shù)據(jù)(被用作訓(xùn)練集),來調(diào)整模型或算法的參數(shù)。這包含了許多的技術(shù),比如回歸、樸素貝葉斯或監(jiān)督聚類。但不是所有的技術(shù)都適合機(jī)器學(xué)習(xí)。例如有一種統(tǒng)計(jì)和數(shù)據(jù)科學(xué)技術(shù)就不適合——無監(jiān)督聚類,該技術(shù)是在沒有任何先驗(yàn)知識(shí)或訓(xùn)練集的情況下檢測 cluster 和 cluster 結(jié)構(gòu),從而幫助分類算法。這種情況需要人來標(biāo)記 cluster。一些技術(shù)是混合的,比如半監(jiān)督分類。一些模式檢測或密度評估技術(shù)適合機(jī)器學(xué)習(xí)。 數(shù)據(jù)科學(xué)要比機(jī)器學(xué)習(xí)廣泛。數(shù)據(jù)科學(xué)中的數(shù)據(jù)可能并非來自機(jī)器或機(jī)器處理(調(diào)查數(shù)據(jù)可能就是手動(dòng)收集,臨床試驗(yàn)涉及到專業(yè)類型的小數(shù)據(jù)),就像我剛才所說的,它可能與「學(xué)習(xí)」沒有任何關(guān)系。但主要的區(qū)別在于數(shù)據(jù)科學(xué)覆蓋整個(gè)數(shù)據(jù)處理,并非只是算法的或統(tǒng)計(jì)類分支。細(xì)說之,數(shù)據(jù)科學(xué)也包括:
當(dāng)然,在許多公司內(nèi)數(shù)據(jù)科學(xué)家只專注這些流程中的一個(gè)。 對于這篇文章,技術(shù)顧問 Suresh Babu 給出了一個(gè)評論,機(jī)器之心將其編譯整合到了下面: 這篇文章說明了解使用機(jī)器/計(jì)算機(jī)來處理類似人類決策的任務(wù)的統(tǒng)計(jì)學(xué)習(xí)的基本術(shù)語是件很麻煩的事。 但文章中「當(dāng)這些算法被用于自動(dòng)化的時(shí)候,就像在自動(dòng)飛行或無人駕駛汽車中,它被稱為人工智能,更具體的細(xì)說,就是深度學(xué)習(xí)。」這樣的說話看起來卻有些隨意任性。 當(dāng)過去計(jì)算機(jī)/機(jī)器還不夠友好,沒有得到廣泛使用的時(shí)候,統(tǒng)計(jì)學(xué)家和數(shù)據(jù)科學(xué)家的工作和現(xiàn)在這個(gè)領(lǐng)域的工作有很大的不同。比如說,當(dāng)制造業(yè)開始使用計(jì)算機(jī)輔助后,生產(chǎn)速度和量都發(fā)生了巨大的變化——但它仍然是制造業(yè)。用制造機(jī)器來做原本人類做的程序化工作的想法最早來自 19 世紀(jì)初 Jacquard 和 Bouchon 等人。而 Jacquard 織布機(jī)的工作方式和現(xiàn)在計(jì)算機(jī)控制的織布機(jī)的工作方式基本相同。 現(xiàn)在的數(shù)據(jù)科學(xué)是一個(gè)知識(shí)體系,囊括了統(tǒng)計(jì)學(xué)和計(jì)算方法等等(而且在不同的具體領(lǐng)域不同學(xué)科的比例也不一樣)。 機(jī)器學(xué)習(xí)(或使用了其它的術(shù)語,比如深度學(xué)習(xí)、認(rèn)知計(jì)算)是讓機(jī)器像人類一樣思考和推理,基本上而言是指通過人工的方法(所以也叫人工智能)來代替人類天生的自然智能——涉及到的任務(wù)從簡單到復(fù)雜都有。比如,無人駕駛汽車(目前)正在模仿人類的駕駛,駕駛條件也是人類在自然情況下會(huì)遇到的——我說「目前」是因?yàn)橐苍S未來人類將很少能夠直接駕駛機(jī)器,「駕駛(drive)」這個(gè)詞本身都可能會(huì)改變含義。 這個(gè)領(lǐng)域里面也有些滑稽可笑的事情,比如一些基本的東西(比如一個(gè)下國際象棋或圍棋的算法)被認(rèn)為可以解釋人腦的工作方式。就我們目前的知識(shí)水平而言,光是解釋鳥或魚的大腦的工作方式就已經(jīng)非常困難了——這說明我們還沒有真正理解學(xué)習(xí)的機(jī)制。為什么果蠅只需幾百個(gè)神經(jīng)元就能做到這么多事情?這還是神經(jīng)科學(xué)的一個(gè)未解之謎。而認(rèn)知是什么以及其在自然環(huán)境下是如何工作的也是一個(gè)數(shù)據(jù)科學(xué)傲慢地認(rèn)為自己能解決的重大難題。(不管怎樣,降維是一種無監(jiān)督學(xué)習(xí)的方法。) 在很多方面,工具以及我們使用工具所做的事情自人類誕生以來就在引導(dǎo)著人類的學(xué)習(xí)。但這就扯遠(yuǎn)了。 原文鏈接:http://www./profiles/blogs/difference-between-machine-learning-data-science-ai-deep-learning 本文為機(jī)器之心編譯,轉(zhuǎn)載請聯(lián)系本公眾號(hào)獲得授權(quán)。 ------------------------------------------------ 加入機(jī)器之心(全職記者/實(shí)習(xí)生):hr@jiqizhixin.com 投稿或?qū)で髨?bào)道:editor@jiqizhixin.com 廣告&商務(wù)合作:bd@jiqizhixin.com |
|