2017年被稱為人工智能的發(fā)展元年，而人工智能能夠有今天的發(fā)展勢頭，并非偶然的，是其背后的深度學(xué)習(xí)技術(shù)的發(fā)展所帶來的，今天我們就通過深度學(xué)習(xí)教父Hinton的傳奇故事來看看深度學(xué)習(xí)到底是如何引爆今天的人工智能的。

2016年，AlphaGo與李世石的人機(jī)世紀(jì)對戰(zhàn)的新聞，讓人工智能從概念上真正走到了實(shí)際的生活之中，全世界第一次意識到，原來只能在科幻小說和科幻電影里看到的人工智能，第一次在現(xiàn)實(shí)世界打敗了人類頂尖高手，震驚了全世界。

AlphaGo對陣?yán)钍朗?/p>

時(shí)間往前倒推60年，在1956年，當(dāng)約翰·麥卡錫在達(dá)特茅斯（Dartmouth）學(xué)院第一次提出“人工智能”概念之時(shí)，他并沒有意識到，在不經(jīng)意間推開了一扇通往新世界的大門。在歷經(jīng)60載的跌宕起伏，人工智能終于在2017年迎來了前所未有的爆發(fā)。

2017年深圳CPSE和深圳高交會(huì)，最吸引眼球的展臺就是人工智能，尤其是人臉識別領(lǐng)域的獨(dú)角獸企業(yè)商湯科技，可謂是人氣爆棚。

說到人工智能，就不得不提到深度學(xué)習(xí)，深度學(xué)習(xí)的概念由Hinton等人于2006年提出，源自計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)，指通過計(jì)算機(jī)技術(shù)來模擬人腦學(xué)習(xí)的過程，使得機(jī)器具備學(xué)習(xí)的技能。

早在1956年約翰·麥卡錫提出人工智能概念之前的1943年，神經(jīng)網(wǎng)絡(luò)作為一個(gè)計(jì)算模型的理論最初由科學(xué)家Warren McCulloch和Walter Pitts在他們的論文里提出，人類科技文明的進(jìn)步在很多時(shí)候是在模擬生物時(shí)而取得突破性進(jìn)展的(比如飛機(jī)，潛艇等)，計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)也一樣，希望通過模擬人腦，讓機(jī)器能夠更加智能。

然而事情并非一帆風(fēng)順。

要知道，人的大腦有100多億個(gè)神經(jīng)細(xì)胞，至今人類仍然未搞清楚人腦的全部運(yùn)行機(jī)制。所以想要通過模擬人腦來讓機(jī)器獲得人工智能，談何容易。

神經(jīng)網(wǎng)絡(luò)

1957年，康奈爾大學(xué)教授Frank Rosenblatt提出“感知器”的概念，并通過算法定義出了世界上第一個(gè)神經(jīng)網(wǎng)絡(luò)，感知器技術(shù)在六十年代的美國很流行，但Frank Rosenblatt通過算法定義的神經(jīng)網(wǎng)絡(luò)是單層神經(jīng)網(wǎng)絡(luò)，碰到了一些無法解決的問題，而且當(dāng)時(shí)計(jì)算機(jī)技術(shù)及計(jì)算能力的限制，使得這個(gè)世界上第一個(gè)計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)，逐漸被人淡忘了。

在此后的十幾年，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的人工智能研究，進(jìn)入了低潮期，逐漸被人遺忘。

六十年代計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的低潮期，有一個(gè)高中生Geoffrey Hinton，對人腦的工作原理特別著迷。當(dāng)時(shí)有一個(gè)同學(xué)告訴他，人腦的工作原理就像全息圖一樣。創(chuàng)建一個(gè)3D全息圖，需要大量的記錄入射光被物體多次反射的結(jié)果，然后將這些信息存儲進(jìn)一個(gè)龐大的數(shù)據(jù)庫中。大腦儲存信息的方式居然與全息圖如此類似，大腦并非將記憶儲存在一個(gè)特定的地方，而是在整個(gè)神經(jīng)網(wǎng)絡(luò)里傳播。Hinton為此深深的著迷。

Geoffrey Hinton

簡單的說，大腦對于事物和概念的記憶，不是存儲在某個(gè)單一的地點(diǎn)，而是像全息照片一樣，分布式地，存在于一個(gè)巨大的神經(jīng)元的網(wǎng)絡(luò)里。

對Hinton來說，這是他人生的關(guān)鍵，也是他成功的起點(diǎn)。

大學(xué)畢業(yè)后，Hinton選擇繼續(xù)在愛丁堡大學(xué)讀研，并確定把人工智能(神經(jīng)網(wǎng)絡(luò))作為自己的研究方向。

而這個(gè)選擇，遭到了周圍朋友的質(zhì)疑，在計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的低潮期，以此為課題，是需要極大的熱情和勇氣的。

神經(jīng)網(wǎng)絡(luò)當(dāng)時(shí)被詬病的一個(gè)問題就是巨大的計(jì)算量，早期的計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)采用的算法糾錯(cuò)量，耗費(fèi)的計(jì)算量，和神經(jīng)元(節(jié)點(diǎn))的平方成正比，這使得神經(jīng)元無法增加到更多，限制了神經(jīng)網(wǎng)絡(luò)的發(fā)展。

而Hinton和David Rumelhart通過合作，把糾錯(cuò)的運(yùn)算量，降低到了只和神經(jīng)元的數(shù)目成正比。

而后Yann Lecun，在1989年又提出了“反向傳播算法在手寫郵政編碼上的應(yīng)用”，并用美國郵政系統(tǒng)提供的上萬個(gè)手寫數(shù)字樣本訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，最終錯(cuò)誤率只有5%。

基于此他提出了卷積神經(jīng)網(wǎng)絡(luò)，并開發(fā)出了商業(yè)軟件，在支票識別領(lǐng)域占據(jù)了美國20%的市場份額。

計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)開始慢慢復(fù)蘇。

然而有一個(gè)人又把計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)帶入了第二個(gè)寒冬。

Vladimir Vapnik出生于蘇聯(lián)。1958年，他在撒馬爾罕(現(xiàn)屬烏茲別克斯坦)的烏茲別克國立大學(xué)完成了碩士學(xué)業(yè)。1964年，他于莫斯科的控制科學(xué)學(xué)院獲得博士學(xué)位。畢業(yè)后，他一直在該校工作直到1990年，在此期間，他成為了該校計(jì)算機(jī)科學(xué)與研究系的系主任。

1995年，他被倫敦大學(xué)聘為計(jì)算機(jī)與統(tǒng)計(jì)科學(xué)專業(yè)的教授。1991至2001年間，他工作于AT&T貝爾實(shí)驗(yàn)室(后來的香農(nóng)實(shí)驗(yàn)室)，并和他的同事們一起發(fā)明了支持向量機(jī)理論。他們?yōu)闄C(jī)器學(xué)習(xí)的許多方法奠定了理論基礎(chǔ)。

那么為何他能通過SVM算法帶到一個(gè)更高的高度，而把計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)給比下去了？

計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)非常精巧，最擅長的是局部最優(yōu)解，卻在尋求平衡點(diǎn)時(shí)，表現(xiàn)不佳，但在尋求最佳平衡點(diǎn)時(shí)，SVM卻表現(xiàn)搶眼。

支持向量機(jī)(SVM)

打個(gè)比方，要判斷這是不是一棵樹，通過對計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)甚至連這棵樹有多少片葉子也學(xué)習(xí)來作為判斷這是否是一棵樹的標(biāo)準(zhǔn)，但每棵樹的樹葉肯定不一樣，這就導(dǎo)致了，它太精準(zhǔn)了，反而無法分辨。

但如果將訓(xùn)練的標(biāo)準(zhǔn)定的太簡單，比如將綠色作為判定依據(jù)，那么只要看到綠色的東西，就會(huì)被識別為樹。

而SVM，恰好解決了這個(gè)平衡。

計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的研究再次進(jìn)入低潮，計(jì)算資源的有限，再一次限制了計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的發(fā)展，在Hinton和他的同事們苦苦研究計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)時(shí)，當(dāng)時(shí)AI普遍的研究方向恰恰與他們相反，都在試圖尋找捷徑，直接模擬出行為，而不是試圖模擬人腦來實(shí)現(xiàn)。

寒冬

大家可能無法想象，在九十年代，每次對于計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)算法的調(diào)整，重新訓(xùn)練的時(shí)間往往是幾周，別說應(yīng)用，就是研究都很難進(jìn)行下去。

但在這樣艱難的環(huán)境下，Hinton和Yann LeCun仍然堅(jiān)持了下來，但學(xué)術(shù)界對于他們的研究仍然無法提起興趣。

計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)在等待著一個(gè)質(zhì)變。

Intel的CPU資源，一直是以其時(shí)鐘頻率的增長來實(shí)現(xiàn)其計(jì)算能力的增長，這就類似于一個(gè)人，從小到大，一步一步長大，力量也越來越大。Intel這樣一種CPU發(fā)展的路線，一直穩(wěn)穩(wěn)當(dāng)當(dāng)?shù)陌哉贾?jì)算資源的頭把交椅。

然后我們的偉大領(lǐng)袖毛主席說過，人多力量大。

Intel的這種平衡被一個(gè)臺灣人打破了，他叫黃仁勛，臺灣人。誰也不知道他是不是真的聽了毛主席的話，但他創(chuàng)立的Nvidia(英偉達(dá))，卻真正是在踐行毛主席的格言：人多力量大。

英偉達(dá)

Nvidia(英偉達(dá))剛成立時(shí)，是面向個(gè)人電腦的游戲市場，主要推銷自己的圖像處理芯片，并發(fā)明了GPU(Graphics Processing Unit)這個(gè)名詞，Nvidia(英偉達(dá))為大家所熟知的恐怕就是其Geforce系列游戲顯卡。

GPU跟CPU不一樣，他的運(yùn)算頻率不高，但他是通過增加并行處理能力的方式來處理其對象的，這也跟他所需要處理的對象不同有關(guān)，圖像處理要處理的是圖像，圖像要處理的是一個(gè)一個(gè)很小的像素，處理每個(gè)很小的像素，并不需要很強(qiáng)的計(jì)算能力，但因?yàn)閳D像處理對于實(shí)時(shí)性要求很高，因此要求大量的并行處理。

而計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)所需要處理的計(jì)算，正好跟圖像處理非常類似，每個(gè)神經(jīng)元所需要的計(jì)算資源不多，但因?yàn)檎麄€(gè)神經(jīng)網(wǎng)絡(luò)包含大量的神經(jīng)元，GPU的出現(xiàn)，簡直就是專為計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)。

此時(shí)GPU的人多力量大，并行計(jì)算的效率遠(yuǎn)超CPU。

而此時(shí)，無論是CPU還是GPU，在遵循摩爾定律的道路上，野蠻的增長著。

2010年，英偉達(dá)的480 GPU，一秒鐘計(jì)算速度達(dá)1.3萬億次浮點(diǎn)運(yùn)算，而到了2015年的Titan X GPU，已經(jīng)達(dá)到6.1萬億次浮點(diǎn)運(yùn)算每秒，五年時(shí)間，翻了近五倍，而其價(jià)格也只有1-2千美元左右，要知道，1996年底，1萬億次浮點(diǎn)運(yùn)算每秒的人類超級計(jì)算機(jī)，價(jià)值是幾百萬美元。

計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)，終于等來春天。

計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的發(fā)展經(jīng)歷跌宕起伏，在大部分時(shí)間都是處于低潮期，長期被學(xué)術(shù)界瞧不起，以致于任何研究項(xiàng)目只要提到'神經(jīng)網(wǎng)絡(luò)'，基本都會(huì)被簡單粗暴的直接拒絕，很難獲得研究經(jīng)費(fèi)。

而Hinton和他的同事們?nèi)匀辉诳嗫鄨?jiān)守。

此時(shí)的Hinton也熬白了頭發(fā)，2003年，Hinton還在多倫多大學(xué)，當(dāng)著他的窮教授。也就是在這一年，Hinton及其團(tuán)隊(duì)在一次向CIFAR(Canadian Institute for Advanced Research)的基金負(fù)責(zé)人申請資金支持時(shí)，該負(fù)責(zé)人問他為什么要支持他們的研究項(xiàng)目。

他們只好回答說：“如果CIFAR要跳出舒適區(qū)，尋找一個(gè)高風(fēng)險(xiǎn)項(xiàng)目，那就是我們了！”

最終CIFAR卻同意了資助他們十年，從2004年到2014年，總共一千萬加元。

就像中國人相信改名能改運(yùn)一樣，Hinton可能覺得“神經(jīng)網(wǎng)絡(luò)”這個(gè)名字實(shí)在是太不吉利了，當(dāng)然也可能是緣于之前幾十年“神經(jīng)網(wǎng)絡(luò)”的口碑太差，搖身一變，變成了“深度學(xué)習(xí)(Deep Learning)”了。

深度學(xué)習(xí)的概念由Geoffrey Hinton提出

而Geoffrey Hinton，也享有“深度學(xué)習(xí)”之父的美譽(yù)。

自此，深度學(xué)習(xí)正式誕生。

深度學(xué)習(xí)經(jīng)歷大起大落，終于在計(jì)算資源由量變積累到質(zhì)變的時(shí)刻，迎來了它的再一次熱潮。

當(dāng)然，深度學(xué)習(xí)能夠發(fā)展到今天，計(jì)算資源的野蠻增長，發(fā)揮了很大的作用，但Hinton及其所有堅(jiān)守在計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的人，也通過各種辦法，不斷的調(diào)整算法，使得算法也得到了非常大的進(jìn)步，解決了之前碰到了的很多問題。

ImageNet 是一個(gè)計(jì)算機(jī)視覺系統(tǒng)識別項(xiàng)目名稱， 是目前世界上圖像識別最大的數(shù)據(jù)庫。是美國斯坦福的計(jì)算機(jī)科學(xué)家，模擬人類的識別系統(tǒng)建立的。

ImageNet大賽是圖片識別領(lǐng)域的'競技場'

也許大家還記得文章前面提到的Vladimir Vapnik的支持向量機(jī)(SVM)，雖然深度學(xué)習(xí)在Hinton的帶領(lǐng)下終于迎來春天，但大家并不覺得以計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)為核心的深度學(xué)習(xí)就很強(qiáng)，而就在2010年ImageNet競賽，以SVM技術(shù)為核心的NEC和伊利諾伊大學(xué)香檳分校聯(lián)合團(tuán)隊(duì)，仍然以28%的誤識率斬獲第一。

2011年是以Fisher Vector的計(jì)算方法奪冠，將錯(cuò)誤率降低到了25.7%。

2012年，以Hinton為首的團(tuán)隊(duì)(帶領(lǐng)他的兩個(gè)研究生)，以他們最新的深度學(xué)習(xí)算法，應(yīng)用到ImageNet問題上，將誤識率降低了15.3%，一舉拿下冠軍，而排名第二的誤識率高達(dá)26.2%。

所有其他團(tuán)隊(duì)，都是以類似SVM的向量機(jī)技術(shù)為基礎(chǔ)，這是神經(jīng)網(wǎng)絡(luò)二十年來，第一次在圖像識別領(lǐng)域，大幅度領(lǐng)先，學(xué)術(shù)界為此沸騰。

深度學(xué)習(xí)能夠迎來今天的成功，并非一蹴而就的，它比很多技術(shù)的發(fā)展還來得更加曲折，要不是Hinton的苦苦堅(jiān)持，深度學(xué)習(xí)不會(huì)有今天的發(fā)展成就，也就不會(huì)有今天人工智能在各個(gè)行業(yè)的高速發(fā)展。

可以說就是Hinton的堅(jiān)持，才讓深度學(xué)習(xí)能夠引爆全球人工智能的發(fā)展，造就今天AI的風(fēng)口，Hinton因此被譽(yù)為“深度學(xué)習(xí)教父”實(shí)至名歸。