在人工智能學(xué)界，Geoffrey Hinton擁有非常崇高的地位，甚至被譽(yù)為該領(lǐng)域的愛(ài)因斯坦。作為“深度學(xué)習(xí)”之父，也正是這個(gè)技術(shù)讓人工智能發(fā)展到今天這般炙手可熱。在人工智能領(lǐng)域最頂尖的研究人員當(dāng)中，Hinton的引用率最高，超過(guò)了排在他后面三位研究人員的總和。目前，他的學(xué)生和博士后領(lǐng)導(dǎo)著蘋(píng)果、Facebook以及OpenAI的人工智能實(shí)驗(yàn)室，而Hinton本人是谷歌大腦（Google Brain）人工智能團(tuán)隊(duì)的首席科學(xué)家。

事實(shí)上，人工智能在最近十年里取得的幾乎每一個(gè)成就，包括語(yǔ)音識(shí)別、圖像識(shí)別，以及博弈，在某種程度上都能追溯到 Hinton 的工作。

1986年，Hilton聯(lián)合同事大衛(wèi)·魯姆哈特（David Rumelhart）和羅納德·威廉姆斯（Ronald Williams），發(fā)表了一篇突破性的論文，詳細(xì)介紹了一種叫作“反向傳播”（backpropagation，簡(jiǎn)稱(chēng)backprop）的技術(shù)。普林斯頓計(jì)算心理學(xué)家喬恩·科恩（Jon Cohen）將反向傳播定義為“所有深度學(xué)習(xí)技術(shù)的基礎(chǔ)”。歸根結(jié)底，今天的人工智能就是深度學(xué)習(xí)，而深度學(xué)習(xí)就是反向傳播，雖然我們很難相信反向傳播已經(jīng)出現(xiàn)了30多年。

然而，就在上個(gè)月，Hinton 在多倫多的一場(chǎng) AI 會(huì)議上，面對(duì)媒體 Axios 的采訪時(shí)卻表達(dá)了對(duì)反向傳播算法的質(zhì)疑。他認(rèn)為，反向傳播算法并不是大腦運(yùn)作的方式，要想讓神經(jīng)網(wǎng)絡(luò)變得更智能。就必須放棄這種為所有數(shù)據(jù)標(biāo)注的方式。“我們需要放棄掉反向傳播算法（Backpropagation algorithm），重新開(kāi)辟一條新的路徑?！?/span>

圖丨杰弗里·辛頓（Geoffrey Hinton）

就在幾個(gè)小時(shí)之前，由 Hinton 和其在谷歌大腦的同事 Sara Sabour、Nicholas Frosst 合作的 NIPS 2017 論文《Dynamic Routing Between Capsules》已經(jīng)正式對(duì)外公開(kāi)，解釋了不同 Capsules 間路由的學(xué)習(xí)。毫無(wú)疑問(wèn)，以此為起點(diǎn)，人工智能未來(lái)形態(tài)的演進(jìn)和塑造很可能將會(huì)呈現(xiàn)一個(gè)完全不一樣的面貌。

論文地址：https:///abs/1710.09829

圖丨剛剛公布的Hinton的論文

在這篇論文中，Hinton 首先解釋 Capsule 作為一組神經(jīng)元，它的活動(dòng)向量（activity vector）表示特定類(lèi)型實(shí)體（如某對(duì)象或某對(duì)象的部分）的實(shí)例化參數(shù)。作者使用活動(dòng)向量的長(zhǎng)度來(lái)表征實(shí)體存在的概率以及其實(shí)例化參數(shù)的方向。而活躍在同一水平的 Capsule 通過(guò)變換矩陣對(duì)更高級(jí)別 Capsule 的實(shí)例化參數(shù)進(jìn)行預(yù)測(cè)。當(dāng)多個(gè)預(yù)測(cè)相統(tǒng)一的時(shí)候，較高級(jí)別的 Capsule 就開(kāi)始變得活躍。

經(jīng)過(guò)總結(jié)，經(jīng)過(guò)區(qū)別訓(xùn)練的多層 Capsule 系統(tǒng)在 MNIST 上實(shí)現(xiàn)了最優(yōu)的性能，在識(shí)別高度重疊的數(shù)字時(shí)，其效果要明顯好于卷積神經(jīng)網(wǎng)絡(luò)。為了達(dá)到這樣的結(jié)果，Hinton 他們使用了迭代的路由協(xié)議機(jī)制（routing-by-agreement mechanism）：一個(gè)低層的 Capsule 希望將其輸出發(fā)送到一個(gè)活動(dòng)向量具有大標(biāo)量積、預(yù)測(cè)來(lái)自低層 Capsule 的高層 Capsule。

而之所以 Hinton 會(huì)提出 Capsule 的概念，這與他從 80 年代開(kāi)始就關(guān)注人類(lèi)大腦的原理不無(wú)關(guān)系，為此他還相繼發(fā)表了一定數(shù)量的有關(guān)腦神經(jīng)科學(xué)的論文。

在人工智能發(fā)展的初期，按照正常的思路，研究人員會(huì)自然而然的聯(lián)想到將唯一擁有高級(jí)智慧的人腦作為機(jī)器的模擬對(duì)象，由此也就成就了火熱一時(shí)的人工神經(jīng)網(wǎng)絡(luò)。不過(guò)，單層人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式甚至無(wú)法使機(jī)器學(xué)會(huì)最簡(jiǎn)單的“異或”邏輯，多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練又遙遙無(wú)期。

最早的神經(jīng)網(wǎng)絡(luò) Perceptron 誕生于1960年代，被譽(yù)為邁向類(lèi)人機(jī)器智能的第一步。1969年，麻省理工學(xué)院的馬文·明斯基（Marvin Minsky）和西摩·帕爾特（Seymour Papert）發(fā)表了著作《Perceptrons》，用數(shù)學(xué)的方法證明這種網(wǎng)絡(luò)只能實(shí)現(xiàn)最基本的功能。這種網(wǎng)絡(luò)只有兩層神經(jīng)元，一個(gè)輸入層和一個(gè)輸出層。如果在輸入層和輸出層之間加上更多的網(wǎng)絡(luò)，理論上可以解決大量不同的問(wèn)題，但是沒(méi)人知道如何訓(xùn)練它們，所以這些神經(jīng)網(wǎng)絡(luò)在應(yīng)用領(lǐng)域毫無(wú)作用。除了少數(shù)像 Hilton 這樣不服輸?shù)娜?，大多?shù)人看過(guò)這本書(shū)后都完全放棄了神經(jīng)網(wǎng)絡(luò)的研究。

圖丨杰弗里·辛頓（Geoffrey Hinton）

于是，Hinton 想到了人工神經(jīng)網(wǎng)絡(luò)不一定非要完全按照模擬人腦的模式。因此，在上世紀(jì) 80 年代，Hinton 又另辟蹊徑提出了可以用來(lái)訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法。最具標(biāo)志性的就是 1986 年 Hinton 與 David E. Rumelhart 和 Ronald J. Wlilliams 合著的《Learning representations by back-propagation errors》論文的發(fā)表。

2012 年，Hilton與他在多倫多的學(xué)生一道所發(fā)表的一篇論文表明，用反向傳播訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域打敗了當(dāng)時(shí)最先進(jìn)的系統(tǒng)——“深度學(xué)習(xí)”終于面世。在外界看來(lái)，人工智能似乎一夜之間突然爆發(fā)了，但對(duì) Hilton 而言，這只是一個(gè)遲到的禮物。

圖丨1986年辛頓與他人合作的神經(jīng)網(wǎng)絡(luò)論文

但時(shí)間過(guò)去了 30 年，Hinton 卻在一個(gè)多月前宣布放棄掉了反向傳播算法。這是因?yàn)?Hinton 始終相信克服人工智能局限性的關(guān)鍵在于搭建“一個(gè)連接計(jì)算機(jī)科學(xué)和生物學(xué)的橋梁”。從這個(gè)角度看，反向傳播是受生物學(xué)啟發(fā)的計(jì)算機(jī)學(xué)突破；該理念最初并非來(lái)自工程學(xué)，而是來(lái)自心理學(xué)。因此，Hinton 正嘗試效仿這個(gè)模式。

實(shí)際上，目前的神經(jīng)網(wǎng)絡(luò)由大平面層組成，即每一層的神經(jīng)元都做的是類(lèi)似的事情。但人類(lèi)新皮層的真實(shí)神經(jīng)元不僅是水平分布成層的，還有垂直排列的。Hinton 認(rèn)為，他知道這些垂直結(jié)構(gòu)的作用，比如在人類(lèi)視覺(jué)系統(tǒng)中，這些結(jié)構(gòu)確保我們?cè)谝暯亲兓瘯r(shí)保持識(shí)別物體的能力。因此，他搭建了名為“Capsule”的人工視覺(jué)體系來(lái)驗(yàn)證這個(gè)理論。

現(xiàn)在，對(duì) Capsule 理論的研究還處于比較早期的階段，這也就意味著其還有很多的問(wèn)題有待考察。不過(guò)，現(xiàn)在已經(jīng)有越來(lái)越多的跡象表明 Capsule 可以解決一些問(wèn)題，相信它是一個(gè)值得進(jìn)一步挖掘的路徑，正如 Hinton 曾對(duì)《麻省理工科技評(píng)論》表示，“Capsule 理論一定是對(duì)的，不成功只是暫時(shí)的?！?/span>