過去的新春佳節(jié)讓程序員們迎來了一個(gè)難得的長假休息，但人工智能在假期一直在進(jìn)步，我們看到了Facebook人工智能負(fù)責(zé)人Yann LeCun、香港科技大學(xué)計(jì)算機(jī)與工程系主任楊強(qiáng)等人工智能大牛對人工智能熱潮的冷靜思考，也看到谷歌研發(fā)出特定條件下超越人類水平的人工智能游戲系統(tǒng)。下面就來看看大牛們給我們的人工智能新年啟示。

Yann LeCun：IBM True North是“草包族科學(xué)” 無監(jiān)督學(xué)習(xí)是未來

Facebook人工智能負(fù)責(zé)人Yann LeCun與IEEE Spectrum的Lee Gomes日前進(jìn)行了一次關(guān)于深度學(xué)習(xí)的深度對話，談到了人工智能領(lǐng)域目前存在的一些炒作以及深度學(xué)習(xí)的發(fā)展方向，他認(rèn)為將深度學(xué)習(xí)與大腦進(jìn)行類比給它賦予了一些神奇的光環(huán)將可能導(dǎo)致人工智能的寒冬。微信公眾號“機(jī)器之心”已將該對話全部譯為中文，現(xiàn)將譯文中Yann LeCun的一些主要觀點(diǎn)摘錄如下：

IBM True North是“草包族科學(xué)” 

Spectrum：你看起來一直在竭盡全力的將你的工作與神經(jīng)科學(xué)和生物學(xué)拉開距離。例如，你提到了“卷積網(wǎng)絡(luò)”，而不是“卷積神經(jīng)網(wǎng)絡(luò)”。你在你的算法里提到了“單位/個(gè)體”（units），而非“神經(jīng)元”。

LeCun：的確如此。我們模型中的一些部分從神經(jīng)科學(xué)中獲得了靈感，但還有相當(dāng)多部分與神經(jīng)科學(xué)毫不相干，相反，它們是來源于理論、直覺和經(jīng)驗(yàn)探索。 我們的模型不希望變成大腦的模型，我們也沒有宣稱神經(jīng)科學(xué)方面的相關(guān)性。但同時(shí)，如果說卷積網(wǎng)絡(luò)的靈感來源于一些關(guān)于視覺皮質(zhì)的基礎(chǔ)知識，我也可以接受。 有些人間接從神經(jīng)科學(xué)獲得靈感，但他卻不肯承認(rèn)這一點(diǎn)，我承認(rèn)，這（神經(jīng)科學(xué)）很有幫助。但我會(huì)小心翼翼的不去觸碰那些會(huì)引發(fā)大肆宣傳的詞語，因?yàn)檫@個(gè)領(lǐng)域已經(jīng)出現(xiàn)了瘋狂炒作，這非常危險(xiǎn)。 因?yàn)檫@給基金會(huì)、公眾、潛在客戶、創(chuàng)業(yè)公司和投資者帶來了預(yù)期，他們會(huì)因此相信我們正處在風(fēng)口浪尖——我們正在建造一些像大腦一樣強(qiáng)大的系統(tǒng)，但實(shí)際上我們離這個(gè)目標(biāo)還差的很遠(yuǎn)。這很容易導(dǎo)致另一次的“寒冬周期”。

這里會(huì)出現(xiàn)一些“草包族科學(xué)”（cargo cult science），在“草包族科學(xué)”下，你往往是復(fù)制了機(jī)器的表象，卻沒有深入理解機(jī)器背后的原理?；蛘撸诤娇疹I(lǐng)域，你制造飛機(jī)時(shí)會(huì)完全復(fù)制鳥類的樣子，它的羽毛、翅膀等等。19世紀(jì)的人們很喜歡這么做，但取得的成就非常有限。

在人工智能領(lǐng)域也是如此， 他們嘗試著對我們所知曉的神經(jīng)元和神經(jīng)突觸的所有細(xì)節(jié)進(jìn)行復(fù)制，然后在一臺超級計(jì)算機(jī)上啟動(dòng)一套龐大的模擬神經(jīng)網(wǎng)絡(luò)，希望從中孕育出人工智能，這就是“草包族科學(xué)”的人工智能。 有許多拿到大筆基金支持的嚴(yán)肅的研究者基本上快要相信這些了。

Spectrum：你認(rèn)為IBM的True North項(xiàng)目（譯者注：IBM的類人腦芯片，集成了 54 億個(gè)硅晶體管、 4096 個(gè)內(nèi)核、100 萬個(gè)“神經(jīng)元”和2.56 億個(gè)“突觸”）屬于“草包族科學(xué)”嗎？

LeCun：這聽起來會(huì)有些刺耳。但我的確認(rèn)為，IBM團(tuán)隊(duì)所聲稱的東西有點(diǎn)偏差并容易造成誤解。從表面上看，他們的公告令人印象深刻，但實(shí)際上沒有實(shí)現(xiàn)任何有價(jià)值的東西。在True North之前，那個(gè)團(tuán)隊(duì)用IBM的超級計(jì)算機(jī)來“模擬了一個(gè)老鼠級別的大腦”，但這只是一個(gè)隨機(jī)的神經(jīng)網(wǎng)絡(luò)，除了消耗CPU運(yùn)算周期以外沒有發(fā)揮任何作用。

True North芯片的悲劇在于它本來可以很有用，如果它當(dāng)初沒有堅(jiān)持與生物學(xué)走的太近以及沒有使用"spiking integrate-and-fireneurons"模型的話。 因此在我看來——我曾是一個(gè)芯片設(shè)計(jì)者——當(dāng)你在開發(fā)一個(gè)芯片之前，你必須確信無疑它能做些有用的事情。 如果你打造了一個(gè)卷積網(wǎng)絡(luò)芯片——很清楚如何去做——它能立刻應(yīng)用到計(jì)算設(shè)備中。IBM創(chuàng)造了錯(cuò)誤的東西，我們無法用它去完成任何有用的事情。

Spectrum：還有其他例子嗎？

LeCun：從根本上說，歐盟人腦計(jì)劃（Human Brain Project）中的很大部分也是基于這樣一種理念：我們應(yīng)該建造一種模擬神經(jīng)元功能的芯片，越接近越好，然后將芯片用于建造超級計(jì)算機(jī)，當(dāng)我們用一些學(xué)習(xí)規(guī)則來開啟它時(shí)，人工智能就出現(xiàn)了。我認(rèn)為這純屬胡說八道。

誠然，我剛才指的是歐盟人腦計(jì)劃，并不是諷刺參與這個(gè)項(xiàng)目的每個(gè)人。許多人參與該項(xiàng)目的原因僅僅是因?yàn)樗塬@得巨額資助，這是他們所無法拒絕的。

無監(jiān)督學(xué)習(xí)是未來 

Spectrum：對于一般意義上的機(jī)器學(xué)習(xí)，還有多少是有待發(fā)掘的？

LeCun：太多了。我們在實(shí)際的深度學(xué)習(xí)系統(tǒng)中使用的學(xué)習(xí)方式還是存在局限的。在具體實(shí)踐中發(fā)揮作用的其實(shí)是“有監(jiān)督學(xué)習(xí)”。你將一張圖片展現(xiàn)給系統(tǒng)并告訴它這是一輛車，它就會(huì)相應(yīng)調(diào)整它的參數(shù)并在下一次說出“車”。然后你再展現(xiàn)給它一把椅子、一個(gè)人。在幾百個(gè)例子、耗費(fèi)幾天到幾周的計(jì)算時(shí)間（取決于系統(tǒng)規(guī)模）之后，它就弄明白了。

但人類和動(dòng)物不是這種學(xué)習(xí)方式。當(dāng)你還是嬰兒時(shí)，你并沒有被告知你所看到的所有物體的名字。然而你卻能學(xué)會(huì)這些物體的概念，你知道世界是三維的，當(dāng)我把物體放在另一個(gè)的后面，你還是知道它的存在。這些概念不是與生俱來的，是你將它們學(xué)會(huì)了。我們把這種類型的學(xué)習(xí)稱作“無監(jiān)督”學(xué)習(xí)。

2000s中期，我們中的許多人參與到了深度學(xué)習(xí)的復(fù)興運(yùn)動(dòng)中，包括Geoff Hinton、Yoshua Bengio和我自己——這就是所謂的“深度學(xué)習(xí)團(tuán)體”——還有Andrew Ng，從此使用無監(jiān)督學(xué)習(xí)而非有監(jiān)督學(xué)習(xí)的理念開始興起。無監(jiān)督學(xué)習(xí)可以幫助特定的深度網(wǎng)絡(luò)進(jìn)行“預(yù)訓(xùn)練”。我們在這方面取得了不少成果，但最終能夠應(yīng)用于實(shí)踐的還是過去那些能與卷積網(wǎng)絡(luò)相結(jié)合的出色的有監(jiān)督學(xué)習(xí)，我們在20年前（1980s）所做的事情。

但 從研究的角度來看，我們一直感興趣的是如何恰當(dāng)?shù)刈龊脽o監(jiān)督學(xué)習(xí)。我們現(xiàn)在已經(jīng)擁有了可以實(shí)用的無監(jiān)督技術(shù)，但問題在于，我們僅需要收集更多數(shù)據(jù)，再配合有監(jiān)督學(xué)習(xí)就能擊敗它。 這就是為什么在現(xiàn)階段的產(chǎn)業(yè)中，深度學(xué)習(xí)的應(yīng)用基本上都是有監(jiān)督的。但將來不會(huì)再是這種方式。

從本質(zhì)上來說，在無監(jiān)督學(xué)習(xí)方面，大腦遠(yuǎn)好于我們的模型，這意味著我們的人工智能學(xué)習(xí)系統(tǒng)缺失了許多生物機(jī)理學(xué)習(xí)的基本原則。

下一個(gè)前沿課題是NLP

Spectrum：Facebook最近公布了一個(gè)人臉識別算法DeepFace，很多報(bào)道稱人臉識別技術(shù)的準(zhǔn)確性已經(jīng)接近于人。但那些結(jié)果難道不是在精心策劃的數(shù)據(jù)庫中跑出來的么？如果在互聯(lián)網(wǎng)上遇到隨機(jī)的圖片，這個(gè)系統(tǒng)報(bào)告還能取得同樣的成功么？

LeCun：相比于人類，系統(tǒng)對圖片質(zhì)量更為敏感，這是肯定的。人們能通過不同的面部胡須等特征識別出眾多不同構(gòu)造的人臉，計(jì)算機(jī)系統(tǒng)在這方面鮮有優(yōu)勢。但是系統(tǒng)可以在非常大的人類集合中識別出某個(gè)人，這個(gè)集合會(huì)遠(yuǎn)遠(yuǎn)超出人類的處理能力。

Spectrum：在圖片識別之外的領(lǐng)域，深度學(xué)習(xí)表現(xiàn)如何，尤其是當(dāng)涉及到諸如自然語言等通用智能相關(guān)問題的時(shí)候？

LeCun：我們在Facebook的很大一部分工作都是集中于此。我們?nèi)绾螌⑸疃葘W(xué)習(xí)的優(yōu)勢，與其通過學(xué)習(xí)描繪世界的能力、從短暫的信號中積累知識的能力（伴隨著語言出現(xiàn)）、推理能力、與當(dāng)前深度學(xué)習(xí)系統(tǒng)采取不同方式的知識存儲(chǔ)能力結(jié)合起來？ 在當(dāng)前深度學(xué)習(xí)系統(tǒng)下，就像學(xué)習(xí)一項(xiàng)運(yùn)動(dòng)技能，我們訓(xùn)練它們的方式類似于我們自學(xué)騎自行車。你學(xué)到了一項(xiàng)技能，但實(shí)際上卻不涉及大量事實(shí)記憶或知識。

但你學(xué)的其他一些事情，就必須要求你記住事實(shí)，你必須記住并儲(chǔ)存一些東西。在Facebook、Google和其他許多地方， 我們做的大量工作是一邊建立神經(jīng)網(wǎng)絡(luò)，一邊建立一個(gè)獨(dú)立的存儲(chǔ)器模塊，這能被運(yùn)用于自然語言理解等領(lǐng)域。

我們開始看到， 經(jīng)由存儲(chǔ)器模塊強(qiáng)化的深度學(xué)習(xí)幫助自然語言處理取得了令人印象深刻的結(jié)果。該系統(tǒng)基于這樣的理念，即用連續(xù)向量描述詞語和句子，經(jīng)由深層架構(gòu)的多層級完成對這些向量的轉(zhuǎn)化，并將它們存儲(chǔ)在一種聯(lián)合型存儲(chǔ)器里。這對問答和語言翻譯都非常有效。 這種模式的一個(gè)范例是存儲(chǔ)網(wǎng)絡(luò)（Memory Network），這個(gè)模型是Facebook科學(xué)家Jason Weston、Sumit Chopra和 Antoine Bordes最近提出的。Google/Deep Mind的科學(xué)家也提出了一個(gè)相關(guān)概念“神經(jīng)圖靈機(jī)”（Neural Turing Machine）。

Spectrum：所以你不認(rèn)為深度學(xué)習(xí)將會(huì)成為解鎖通用人工智能的那把鑰匙？

LeCun：它將是解決方案中的一部分。在一定程度上，這一解決方案看上去像一張巨大而復(fù)雜的神經(jīng)網(wǎng)絡(luò)。但這與人們迄今在文獻(xiàn)中看到的有很大不同。我說的這些東西，你已經(jīng)可以開始看到一些相關(guān)論文了。 許多人正在研究所謂的“周期神經(jīng)網(wǎng)絡(luò)”（recurrent neural nets）。在這些神經(jīng)網(wǎng)絡(luò)中，輸出被反饋到輸入端，這樣你就能形成一個(gè)推理鏈。你可以借此來處序列信號，像語音、音頻、視頻和語言，初步結(jié)果相當(dāng)不錯(cuò)。深度學(xué)習(xí)的下一個(gè)前沿課題是自然語言理解。

Spectrum：如果一切順利，我們可以期待機(jī)器很快能做到哪些它們現(xiàn)在做不到的事情嗎？

LeCun：你或許能看到更好的語音識別系統(tǒng)，但在某種程度上它們是隱藏起來的。你的數(shù)字伴侶將會(huì)變得更完善；將會(huì)有更好的問答和對話系統(tǒng)；你可以和你的計(jì)算機(jī)進(jìn)行對話；你可以向計(jì)算機(jī)發(fā)問而它會(huì)從知識庫中為你尋找答案；機(jī)器翻譯將會(huì)更精準(zhǔn)；你還能看到自動(dòng)駕駛汽車和更聰明的機(jī)器人，自動(dòng)駕駛汽車將會(huì)使用卷積網(wǎng)絡(luò)。

如何讓機(jī)器獲得常識？

Spectrum：改進(jìn)圖靈測試的Winograd Schemas挑戰(zhàn)不僅僅涉及自然語言和常識，還包括對于現(xiàn)代社會(huì)運(yùn)行機(jī)制的理解。計(jì)算機(jī)可能會(huì)采取何種辦法來應(yīng)對這些挑戰(zhàn)？

LeCun：這個(gè)問題的關(guān)鍵是如何表達(dá)知識。在“傳統(tǒng)的”人工智能里，事實(shí)知識以圖形（是一套符號或?qū)嶓w及相互關(guān)系）的方式被手工輸入。但我們都知道人工智能系統(tǒng)是可以通過學(xué)習(xí)自動(dòng)獲取知識的。所以問題就變成了“機(jī)器如何才能學(xué)會(huì)表達(dá)有關(guān)事實(shí)和關(guān)系的知識？”

深度學(xué)習(xí)毋庸置疑是解決方案的一部分，但不是全部。 符號的問題在于它只是一串毫無意義的比特，在深度學(xué)習(xí)系統(tǒng)里，代表實(shí)體的是大規(guī)模的向量，而它們是從數(shù)據(jù)和反應(yīng)這些數(shù)據(jù)的特征中學(xué)習(xí)而來的。學(xué)習(xí)推理要?dú)w結(jié)于學(xué)會(huì)對使這些向量運(yùn)算的函數(shù)。 Facebook的研究人員Jason Weston、RonanCollobert、Antonine Bordes和Tomas Mikolov等人已經(jīng)率先開始嘗試用向量來表達(dá)單詞和語言。

Spectrum：人工智能的一個(gè)經(jīng)典問題是讓機(jī)器獲得常識。深度學(xué)習(xí)領(lǐng)域?qū)@個(gè)問題有什么見解？

LeCun：我認(rèn)為通過使用預(yù)測式無監(jiān)督學(xué)習(xí)可以獲得某種常識。例如，我可以讓機(jī)器觀看大量的關(guān)于物體被拋擲或下落的視頻。我訓(xùn)練它的方法是給它看一個(gè)視頻，然后問它：“接下來會(huì)發(fā)生什么？一秒鐘之后畫面將如何？”以這種方式訓(xùn)練機(jī)器去預(yù)測一秒鐘后、一分鐘后、一小時(shí)后或一天后世界將會(huì)如何，它將獲得很好的對世界的描述。這會(huì)使得機(jī)器了解物理世界的眾多限制，如“拋向空中的物體在一段時(shí)間后將下落”、或者“一個(gè)物體不能同時(shí)在兩個(gè)地方”、或者“物體被擋住后仍然存在”。了解物理世界的限制將使機(jī)器能夠“填補(bǔ)空白”，以及在被告知包含一系列事件的故事后對世界的狀態(tài)進(jìn)行預(yù)測。 JasonWeston、Sumit Chopra和Antoine Bordes正在利用我剛才講到的“記憶網(wǎng)絡(luò)”建造這樣一個(gè)系統(tǒng)。

楊強(qiáng)：依賴計(jì)算力和大數(shù)據(jù)會(huì)導(dǎo)致人工智能的冬天？

百度首席科學(xué)家吳恩達(dá)教授說： “結(jié)合大數(shù)據(jù)，新的人工智能的算法越來越好， 我們可以第一次在未來人工智能虛擬圈里完成整個(gè)循環(huán)。”確實(shí)，隨著計(jì)算能力的提升和計(jì)算成本的下降，大數(shù)據(jù)推動(dòng)了當(dāng)前人工智能的“夏天”，但長期研究人工智能和大數(shù)據(jù)的香港科技大學(xué)計(jì)算機(jī)與工程系主任楊強(qiáng)卻在2015年的冬季達(dá)沃斯會(huì)議之后反思了人工智能依賴這兩個(gè)條件的另一種隱患：夏天來了，冬天還會(huì)遠(yuǎn)嗎？

楊強(qiáng)教授在人工智能的集體狂歡中冷靜地分析道：

現(xiàn)在人工智能所取得的成就還都集中在人和計(jì)算機(jī)的接口：語音，視覺，文字。然而，人類智慧的最高表現(xiàn)卻是抽象的推理和聯(lián)想，可以讓我們從一個(gè)事件關(guān)聯(lián)到另外一個(gè)事件，從一種知識遷移到另外一種知識。以上的這些所謂的“強(qiáng)人工智能”的能力，是不是由眾多的單一方向的“弱人工智能”的大量疊加可以得到的呢？我們尚不得而知。 如今，計(jì)算機(jī)的這種跨領(lǐng)域的學(xué)習(xí)能力還遠(yuǎn)遠(yuǎn)沒有得到實(shí)現(xiàn)，甚至連知識殿堂的入口都不知道在哪里。糾其主因，是我們至今的計(jì)算能力還不夠強(qiáng)大，在這些領(lǐng)域還是無法得到全面反應(yīng)人類思維的大數(shù)據(jù)。我們的學(xué)習(xí)算法還需要無數(shù)的大數(shù)據(jù)來提供人工智能機(jī)器運(yùn)轉(zhuǎn)的“燃料?！?nbsp;而這些大數(shù)據(jù)的準(zhǔn)備工作還是需要昂貴的人工來提供， 并不能形成滾雪球式的規(guī)模效應(yīng)。這些缺陷很可能阻礙我們得到真正智能的工具，使得吳恩達(dá)博士所說的“虛擬閉環(huán)”有很大的缺口。這些缺口的致命之處很可像我們在30年前的那個(gè)冬天面對沒有汽油的寶馬所帶來的尷尬：只是今天在我們面前的是一輛漂亮的特斯拉，但卻怎么也找不到加電站！

相信IBM的Watson、百度的Minwa計(jì)算平臺都還有很大的提升空間，但要支持無窮無盡的數(shù)據(jù)計(jì)算恐怕還是容易達(dá)到瓶頸，更何況要找出全面反應(yīng)人類思維的大數(shù)據(jù)還很困難。

所以，讓我們在研究深度學(xué)習(xí)的應(yīng)用之余，也要適時(shí)思考楊強(qiáng)教授的問題：“我們會(huì)不會(huì)在人工智能的集體狂歡中忽略了最本質(zhì)得東西， 以至于不小心穿越到30多年前的那個(gè)人工智能的冬天？”

Google：DNN+強(qiáng)化學(xué)習(xí)讓AI的復(fù)雜任務(wù)表現(xiàn)逼近人類

Google DeepMind的AI靠自學(xué)（靠著對游戲視頻的觀察來尋找出模式，然后操作控制器，并獲得得分的反饋結(jié)果，在反饋中不斷調(diào)整自己的控制）玩會(huì)了49種游戲，甚至在23種游戲中擊敗了人類職業(yè)玩家。Google DeepMind團(tuán)隊(duì)在《自然》雜志發(fā)表論文，公布玩游戲比人厲害的AI如何實(shí)現(xiàn)：

DeepMind 的 AI 的設(shè)計(jì)核心是如何讓計(jì)算機(jī)自行發(fā)現(xiàn)數(shù)據(jù)中存在的模式。其解決方案是深度神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)等方法的的結(jié)合。AI 并不知道游戲規(guī)則，而是用深度神經(jīng)網(wǎng)絡(luò)來了解游戲的狀態(tài)，找出哪一種行為能導(dǎo)致得分最高。

這一方面是得益于現(xiàn)在計(jì)算能力的提高使得 AI 可處理規(guī)模要大得多的數(shù)據(jù)集，要知道，觀察 Atari 游戲相當(dāng)于每秒處理 200 萬像素的數(shù)據(jù)。另一方面則是得益于 DeepMind 結(jié)合了強(qiáng)化學(xué)習(xí)來訓(xùn)練 AI，而且是在高維度感覺輸入中采用的端到端強(qiáng)化學(xué)習(xí)。相對于以往計(jì)算機(jī)會(huì)玩的游戲，如國際象棋等，這次計(jì)算機(jī)玩的游戲更接近現(xiàn)實(shí)世界的混沌狀態(tài)。Google的智能設(shè)計(jì)師Demis Hassabis稱，這是第一種能在一系列復(fù)雜任務(wù)當(dāng)中與人類表現(xiàn)相當(dāng)?shù)乃惴ā?