麥卡錫等4人的申請書列出了計劃研討的7個話題。(1)自動計算機(automatic computer)：“自動”指可編程，并無超出“計算機”這個概念的新含義；(2)編程語言(how can a computer be programmed to use a language)：沒有超出軟件編程的其他含義；(3)神經(jīng)網(wǎng)絡(neuron nets)：研究“一群神經(jīng)元如何形成概念”；(4)計算規(guī)模理論(theory of size of a calculation)：即計算復雜性理論；(5)自我改進(self-improvement)：真正的智能應能自我提升；(6)抽象(abstractions)：對感知及其他數(shù)據(jù)進行抽象；(7)隨機性和創(chuàng)造性(randomness and creativity)：創(chuàng)造性思維可能來自受控于直覺的隨機性。今天來看，(1)、(2)和(4)都是計算機科學的基本內(nèi)容，雖未完全解決，至少問題十分清晰，(3)是神經(jīng)網(wǎng)絡，(5)和(6)可以歸入機器學習，(7)屬于強人工智能，這4個問題尚未解決，甚至問題本身都還沒界定清楚。

再回過來看看這個申請書的基本思想。開宗明義，申請書把這次研討會的基礎建立在 “學習——以及智能的其他所有特征的方方面面，原則上都可以精確描述，從而可以制造出仿真它的機器(every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it)”。這個基本思想實際上蘊含了一個前提假設，或者說預設了實現(xiàn)人工智能的技術(shù)路線：先精確描述智能。有些智能的確可以精確描述，經(jīng)典人工智能的符號主義和知識工程進行了成功的嘗試。有些智能卻不能形式化地描述，例如會議第七個話題涉及的直覺和創(chuàng)造性。經(jīng)典人工智能的興與衰，正是這個基本思想的結(jié)果。

關(guān)于人工智能和計算機的關(guān)系，第一個研討話題“自動計算機”說得很直接：“目前計算機的速度和存儲能力還不足以模擬大多數(shù)人腦功能，但這并不是主要障礙，問題在于我們寫不出能充分發(fā)揮既有潛力的程序”。1953年IBM發(fā)布了第一臺電子計算機產(chǎn)品IBM701，1954年貝爾實驗室組裝出第一臺晶體管計算機TRADIC，會議的4名提案人中，既有701的主設計師，又有貝爾實驗室的香農(nóng)，他們推測“計算機的速度和存儲能力不是障礙”基本靠譜。問題在于，到底能否靠寫程序“模擬大多數(shù)人腦智能”？如果是馮·諾伊曼、維納、麥卡洛克或皮茨評審這個申請，盯上這句話，八成會否定這個項目。可惜的是，那個夏天馮·諾伊曼被查出癌癥，維納和麥卡洛克及皮茨的關(guān)系3年前就已經(jīng)分崩離析，沒機會和這些年輕人爭論計算機和形式邏輯的局限性。不過洛克菲勒基金會倒也沒手軟：把麥卡錫預算的13500美元砍到7500美元。

達特茅斯會議給人留下深刻印象的是，艾倫·紐厄爾(Alan Newell, 1927-1992)和赫伯特·西蒙（Herbert A. Simon，中文名：司馬賀，1916-2001） 報告的“邏輯理論家(the Logic Theorist)”程序，能夠證明《數(shù)學原理》中命題邏輯的大部分。之后，兩人合作開發(fā)“通用問題求解器(General Problem Solver)”，提出“物理符號系統(tǒng)學說”，開創(chuàng)了人工智能符號主義學派。

要“精確描述智能”，除了邏輯，還需要知識。20世紀70年代，知識工程和專家系統(tǒng)成為經(jīng)典人工智能的研究主流。1984年，道格拉斯·萊納特(Doug Lenat)發(fā)起Cyc工程，試圖將各個領(lǐng)域的本體及常識綜合集成，以此為基礎實現(xiàn)知識推理。Cyc被稱為“人工智能歷史上最有爭議的項目”之一，最主要的反對意見來自對“人工”構(gòu)造智能這個技術(shù)路線的質(zhì)疑。這種質(zhì)疑實質(zhì)上是對經(jīng)典人工智能基本思想的質(zhì)疑：決定智能的規(guī)則是人工設計的，人是人工智能的造物主。經(jīng)典人工智能的興衰，根源就在“人工”二字，正應了“成也蕭何敗也蕭何”。

皮茨和麥卡洛克是神經(jīng)網(wǎng)絡模型的提出者，威廉·沃爾特(William Grey Walter, 1910-1977)則是神經(jīng)網(wǎng)絡實踐的先驅(qū)，他們都對控制論的創(chuàng)立產(chǎn)生了重要影響。沃爾特是一位神經(jīng)生理學家，對神經(jīng)連接何以產(chǎn)生復雜行為十分感興趣，開發(fā)了第一臺腦電圖儀。與基于計算發(fā)展智能不同，沃爾特堅持用純模擬電路仿真大腦。他在1948年前后制作了一系列電動自主機器人，最著名的稱為“烏龜(tortoises)”，其中一款帶有光感受器，可自行尋找電源插座；另一款內(nèi)置兩個條件反射神經(jīng)環(huán)路，可重現(xiàn)巴普洛夫條件反射行為。沃爾特是機器人學的開創(chuàng)者，“真正人工生命(real artificial life)的先驅(qū)”，影響了一代又一代機器人學家，例如被稱為麻省理工學院人工智能實驗室“反叛者”的羅德尼·布魯克斯(Rodney Brooks)，卡耐基梅隆大學機器人研究所的漢斯·莫拉維克(Hans Moravec)，馬克·蒂爾登(Mark Tilden)等。

在麥卡洛克、皮茨、維納和馮·諾伊曼在美國東北部為大腦模型和控制論爭論得不可開交時，加拿大生理心理學家唐納德·赫布(Donald Olding Hebb, 1904-1985)卻認為大猩猩才是可塑之才，于是來到位于美國東南部佛羅里達的耶基斯國家靈長類研究中心，設計了一套大猩猩情感測試方法。七年下來，雖然對大猩猩的情感教育效果寥寥，赫布自己卻悟出了一套《行為產(chǎn)生的神經(jīng)心理學理論》。這本1949年出版的專著最著名的貢獻是赫布法則(Hebb?ˉs Law)：神經(jīng)網(wǎng)絡的學習過程發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)結(jié)強度會隨著突觸前后神經(jīng)元的活動而變化?！巴瑫r激發(fā)的神經(jīng)元之間的突觸連接會增強”在人工神經(jīng)網(wǎng)絡模型中得到廣泛采用。

第一個嘗試赫布法則的應該是馬文·明斯基。1950年，他還是大四學生時就對神經(jīng)網(wǎng)絡感興趣。1951年，明斯基到普林斯頓大學數(shù)學專業(yè)讀博士，就用真空管搭建了一個人工神經(jīng)網(wǎng)絡自學習機器，名為SNARC（Stochastic Neural Analog Reinforcement Calculator，隨機神經(jīng)模擬強化計算器），采用隨機連接按照赫布法則實現(xiàn)神經(jīng)網(wǎng)絡學習。毫不奇怪，這個學生的“科研實踐項目”當時并未引起什么關(guān)注。

明斯基讀高中時有位低一屆的同學弗朗克·羅森布拉特(Frank Rosenblatt, 1928-1971)，明斯基高中畢業(yè)后到海軍服役一年，所以兩人同年入讀大學：明斯基到哈佛大學讀數(shù)學，羅森布拉特到康奈爾大學讀心理學，都在1950年畢業(yè)。1956年，羅森布拉特從康奈爾大學獲得博士學位，進入康奈爾航空實驗室認知系統(tǒng)部從事心理學研究，得到美國海軍研究辦公室資助，研制“感知機(Perceptron)”。1957年第一個版本的感知機是運行在IBM 704上的仿真軟件，后來才開發(fā)出硬件“馬克1號”(Mark 1 Perceptron)：視覺輸入是一個20×20感光單元陣列，通過隨機方式和響應神經(jīng)元層相連，學習過程就是自動調(diào)整連接權(quán)重（用電動馬達調(diào)整電壓計），通過這種方式，機器能夠認識不同的形狀。1958年，《紐約時報》以《海軍新裝備‘做中學’：心理學家展示能夠閱讀和越來越聰明的計算機雛形》 為題，對感知機報道說，“有望能說會寫、能看會走，能夠自我復制，并能意識到自我存在”。1962年，羅森布拉特出版《神經(jīng)動力學原理：感知機和腦機制理論》，全球很多實驗室紛紛仿效，應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究，神經(jīng)網(wǎng)絡研究達到第一次高潮。

感知機在新興的人工智能領(lǐng)域引起廣泛爭議，其中就包括明斯基。明斯基比羅森布拉特早兩年獲得博士學位，回到哈佛任教，申請國防項目卻一路不順。更想不通的是，自己10年前還在海軍服過役，海軍卻把大把經(jīng)費投給自己的學弟，支持的事竟然是自己六年之前就干過的，還沒頭腦地對學弟的項目大肆宣傳，是可忍孰不可忍！于是明斯基拿起自己擅長的數(shù)學武器，抱著十年不晚的君子精神，對人工神經(jīng)網(wǎng)絡進行理論分析。1969年和佩帕特(Seymour Papert)出版《感知機》，指出羅森布拉特的感知機功能有限，甚至不能解決“異或(XOR)”這樣的線性不可分問題。書中言到：“我們認為，證實（或者推翻）我們有關(guān)把感知機推廣到多層的想法沒有希望這一直觀看法，乃是一個重要的研究問題”，有意暗示多層神經(jīng)網(wǎng)絡研究是浪費時間。既然人工智能發(fā)起人都這么說了，大量旁觀者自覺抬不起頭來，神經(jīng)網(wǎng)絡研究自此陷入低潮。更為可惜的是，兩年后，羅森布拉特43歲生日那天遭遇船難，不幸逝世，兩位校友之爭戛然而止。

事實上，只要感知機從單層改為多層，就可以解決線性不可分問題，羅森布拉特及其他一些人也想到過，只是當時沒找到有效的訓練算法。1985年，戴維·阿克萊(David H. Ackley)、 杰弗里·辛頓(Geoffrey E. Hinton)和泰倫斯·索諾斯基(Terrence J. Sejnowski)將模擬退火算法應用到神經(jīng)網(wǎng)絡訓練中，提出了玻爾茲曼(Boltzmann)機，算法具有能夠逃離極值的優(yōu)點，但訓練時間過長。1986年，大衛(wèi)·魯姆哈特(David Everett Rumelhart, 1942-2011)、杰弗里·辛頓和羅納德·威廉姆斯(Ronald J. Williams)在《自然》撰文，提出了多層前饋神經(jīng)網(wǎng)絡學習算法（即BP算法，類似思想之前多次提出），從理論上證明了只含一個隱層的前饋網(wǎng)絡可以在閉區(qū)間上一致逼近任意連續(xù)函數(shù)，掀起人工神經(jīng)網(wǎng)絡研究第二輪熱潮。然而，BP算法存在容易陷入局部極小、過擬合與樣本依賴、收斂速度慢、網(wǎng)絡結(jié)構(gòu)選擇依賴人工等問題，特別是實現(xiàn)復雜度高，利用當時的計算機難以模擬大規(guī)模神經(jīng)網(wǎng)絡。人工神經(jīng)網(wǎng)絡第二次熱潮在90年代逐漸退卻，1995年筆者讀博士時，所在研究所博士生開題，有老師總結(jié)為“四小波，三分形，兩模糊，一神經(jīng)”，很好地反映了第二次神經(jīng)網(wǎng)絡熱潮退卻時的情形。

歷史進入新世紀。2004年，執(zhí)著于神經(jīng)網(wǎng)絡研究的杰弗里·辛頓獲得加拿大高級研究院(CIFAR)每年50萬加元的經(jīng)費支持，召集為數(shù)不多的同道，啟動了“神經(jīng)計算和自適應感知(Neural Computation and Adaptive Perception, NCAP)”項目。2006年，辛頓在《科學》發(fā)表論文，提出深度信念網(wǎng)絡(Deep Belief Networks, DBNs)，掀起了洶涌至今的人工神經(jīng)網(wǎng)絡第三次浪潮。從網(wǎng)絡結(jié)構(gòu)來看，深度信念網(wǎng)絡仍然是傳統(tǒng)的多層感知機，但增加了一個初始權(quán)值訓練階段：利用待處理的樣本數(shù)據(jù)，采用受限玻爾茲曼機，以輸出層重構(gòu)輸入層為目標，采用無監(jiān)督的方法逐層訓練，使得多層網(wǎng)絡能夠高效表達訓練數(shù)據(jù)，一定程度上可以避免反向傳播算法陷入局部極小的問題。由于這次浪潮的核心是多層網(wǎng)絡（相對于淺層網(wǎng)絡更深）的有效學習問題，往往用“深度學習”來指代。更純粹地體現(xiàn)深度學習精髓的是自動編碼器(Autoencoder)，由深度學習另一位代表人物約舒瓦·本吉奧(Yoshua Bengio)進行了深入研究，采用無監(jiān)督逐層訓練的方法，可讓多層神經(jīng)網(wǎng)絡有效表征訓練數(shù)據(jù)的內(nèi)隱結(jié)構(gòu)。

2012年6月，《紐約時報》報道了谷歌大腦(Google Brain)項目。吳恩達和谷歌大規(guī)模計算專家杰夫·狄恩(Jeff Dean)合作，用1.6萬臺計算機搭建了一個深度學習神經(jīng)網(wǎng)絡，擁有10億連接。向這個網(wǎng)絡輸入1000萬幅從Youtube上隨機選取的視頻縮略圖，在無監(jiān)督的情況下，這個系統(tǒng)具備了檢測人臉、貓臉等對象的能力。2012年10月，辛頓團隊把深度學習用于圖像識別，將ImageNet視覺對象分類錯誤率從26%降低到15%，引發(fā)深度學習的全球高潮。至今計算機識別圖像的能力已經(jīng)和人相差無幾，人工智能成為互聯(lián)網(wǎng)之后全球矚目的熱點。

神經(jīng)網(wǎng)絡第三次浪潮已經(jīng)成為驅(qū)動人工智能新浪潮的主力。2016年3月，阿爾法狗(AlphaGo)綜合深度學習、特征匹配和線性回歸、蒙特卡洛搜索和強化學習思想，利用高性能計算(CPU GPU)和大數(shù)據(jù)（16萬局人類對弈及3000萬局自我博弈），一舉戰(zhàn)勝圍棋九段高手李世石，并在數(shù)月之內(nèi)名列世界職業(yè)圍棋第一位。

人工智能的快速進步吸引了全球目光，世界各國紛紛推出政策或計劃推進相關(guān)研究，產(chǎn)業(yè)界投入也急劇攀升。比神經(jīng)網(wǎng)絡前兩次浪潮幸運的是，計算機性能已經(jīng)大幅提升。1957年，羅森布拉特仿真感知機所用的IBM 704每秒完成1.2萬次浮點加法，如今超級計算機速度已經(jīng)達到IBM 704的10萬億倍，通過軟件模擬方式構(gòu)造大規(guī)模神經(jīng)網(wǎng)絡具備了技術(shù)可行性，特別是通用GPU適合神經(jīng)網(wǎng)絡并行的特點，能更好地發(fā)揮神經(jīng)網(wǎng)絡的威力。

但是，以計算機為平臺模擬實現(xiàn)神經(jīng)網(wǎng)絡只是過渡性的權(quán)宜之計，嫁接在計算機上的人工智能就像一頭“半人半馬”的怪獸。例如，AlphaGo就使用了1920個中央處理器和280個GPU，功耗達到了1兆瓦，是與之對戰(zhàn)的李世石大腦功率（20多瓦）的5萬倍。

明斯基和羅森布拉特之爭既是書生意氣，更是兩條技術(shù)路線之爭。1955年3月，明斯基和麥卡錫還沒開始醞釀人工智能創(chuàng)始會議時，美國西部計算機聯(lián)合大會就舉行了“學習機討論會”(Session on Learning Machine)，主持人正是神經(jīng)網(wǎng)絡概念模型提出者沃爾特·皮茨。討論會的兩位主角是奧利弗·賽弗里奇(Oliver Selfridge, 1926-2008)和艾倫·紐厄爾，他們都參加了次年舉行的達特茅斯會議。賽弗里奇10年前開始跟著維納讀博士，從神經(jīng)網(wǎng)絡角度研究模式識別，卻一直未獲得學位，他在會上發(fā)表的就是這方面的文章。紐厄爾1954年在蘭德公司工作，期間聽了賽弗里奇用計算機程序識別文字和模式的報告，受啟發(fā)研制了下棋程序，這也是他在這次會議上報告的內(nèi)容。赫伯特·西蒙在蘭德學術(shù)訪問期間被這個下棋程序吸引，力邀紐厄爾到卡耐基梅隆大學商學院讀自己的“在職博士”。兩人一同參加了1956年的達特茅斯會議。1957年，紐厄爾獲得博士學位，從此這對師生成為長期合作伙伴。皮茨在會議總結(jié)時認為，賽弗里奇和紐厄爾代表了兩派觀點：“（一派人）企圖模擬神經(jīng)系統(tǒng)，而紐厄爾則企圖模擬心智……但殊途同歸”，這為隨后數(shù)十年人工智能“結(jié)構(gòu)”與“功能”兩條路線的交織斗爭埋下了伏筆。

經(jīng)典人工智能主張人工智能應從功能模擬入手，將智能視為符號處理過程，采用形式邏輯實現(xiàn)智能，故稱為“符號主義(Symbolism)”或“邏輯主義(Logicism)”。符號主義學派初期過于樂觀，赫伯特·西蒙1958年就曾預測計算機10年內(nèi)就會成為國際象棋冠軍。事實上，40年后“深藍”才戰(zhàn)勝國際象棋冠軍。符號主義對能夠形式化表達的問題（例如下棋、定理證明）有效，但很多事物（包括大多數(shù)人類常識）并不能顯式表達，而且即使勉強形式化了，還存在與物理世界的對應問題。相比之下，視聽覺等基本智能，看起來不如邏輯推理“高級”，但符號主義至今難以有效應對。想象、情感、直覺和創(chuàng)造等人腦特有的認知能力，符號主義更是遙不可及。

經(jīng)典人工智能的潮起潮落，引起了對人工智能概念的大討論，結(jié)果之一就區(qū)分出弱人工智能(weak AI)和強人工智能(strong AI)。強人工智能也稱通用人工智能(Artificial General Intelligence, AGI)，是指達到或超越人類水平的、能夠自適應地應對外界環(huán)境挑戰(zhàn)的、具有自我意識的人工智能。至今為止的人工智能系統(tǒng)都還是實現(xiàn)特定或?qū)Ｓ弥悄埽幌袢祟愔悄苣菢幽軌虿粩噙m應復雜的新環(huán)境并不斷涌現(xiàn)出新的功能，因此都還是弱人工智能，或稱專用智能(applied AI)。

20世紀80年代，經(jīng)典人工智能式微，機器學習崛起。機器學習研究機器怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能，簡言之，機器學習把人工智能的重心從如何“制造”智能轉(zhuǎn)移到如何“習得”智能。機器學習有很多分支，其中部分與人工智能各個流派的基本思想有千絲萬縷的聯(lián)系，例如強化學習與行為主義、深度學習與多層神經(jīng)網(wǎng)絡。統(tǒng)計學習是機器學習十分重要的一部分，它基于數(shù)據(jù)構(gòu)建概率統(tǒng)計模型并運用模型對數(shù)據(jù)進行預測和分析，因而被稱為“貝葉斯主義”(Bayesiansim)”，或者更一般化地稱為統(tǒng)計主義。機器學習跳出了經(jīng)典符號主義的思想束縛，讓機器自動從數(shù)據(jù)中獲得知識，特別是新世紀以來，數(shù)據(jù)驅(qū)動的人工智能取得了巨大成功。然而，機器學習的模型仍然是“人工”的，因此仍有其局限性，期望這種“人工模型”能夠產(chǎn)生通用人工智能，同樣沒有堅實依據(jù)。

進化主義(evolutionism)在20世紀80年代到90年代掀起人工智能的另一波浪潮。進化主義也稱行為主義(behaviourism)，思想源頭是控制論，認為智能并不只是來自計算引擎，也來自環(huán)境世界的場景、感應器內(nèi)的信號轉(zhuǎn)換以及機器人和環(huán)境的相互作用。90年代，行為主義代表人物麻省理工學院的羅德尼·布魯克斯領(lǐng)導研制的各種機器人就走出實驗室，進入家庭（吸塵和洗地），登上火星。近年來，萬眾矚目的機器大狗BigDog也是這一流派的力作，由麻省理工學院另一名教授馬克·雷波特(Marc Raibert)領(lǐng)導。行為主義的重要貢獻是強調(diào)環(huán)境和身體對智能的重要性。然而，就像心理學中行為主義由盛到衰一樣，行為主義如果不打開“大腦”這個黑盒，仍然不可能制造出強人工智能，就像黑猩猩再訓練也學不會說話一樣，被訓練的“智能引擎”如果不到位，訓練得再多也沒用。

與經(jīng)典人工智能自頂向下(top down)功能模擬的方法論相反，神經(jīng)網(wǎng)絡走的是自底向上(bottom up)的結(jié)構(gòu)仿真路線。其基本思想是：既然人腦智能是由神經(jīng)網(wǎng)絡產(chǎn)生的，那就通過人工方式構(gòu)造神經(jīng)網(wǎng)絡，進而產(chǎn)生智能。因為強調(diào)智能活動是由大量簡單單元通過復雜相互連接后并行運行的結(jié)果，因而被稱為“連接主義(connectionism)”。從羅森布拉特的感知機，到當今如日中天的深度學習網(wǎng)絡，人們提出了各種各樣的人工神經(jīng)網(wǎng)絡，也開發(fā)出了越來越強的智能系統(tǒng)，但是，迄今為止的人工神經(jīng)網(wǎng)絡都過度簡化，與生物大腦神經(jīng)網(wǎng)絡至少在三個層次還遠遠不能相提并論。首先，人工神經(jīng)網(wǎng)絡采用的神經(jīng)元模型是麥卡洛克和皮茨在1943年提出的，與生物神經(jīng)元的數(shù)學模型相距甚遠；第二，人類大腦是由數(shù)百種不同類型的上千億的神經(jīng)元所構(gòu)成的極為復雜的生物組織，每個神經(jīng)元通過數(shù)千甚至上萬個神經(jīng)突觸和其他神經(jīng)元相連接，即使采用適當簡化的神經(jīng)元模型，用目前最強大的計算機來模擬人腦，也還有兩個數(shù)量級的差異；第三，生物神經(jīng)網(wǎng)絡采用動作電位表達和傳遞信息，按照非線性動力學機制處理信息，目前的深度學習等人工神經(jīng)網(wǎng)絡在引入時序特性方面還很初級。因此，期望“人工”神經(jīng)網(wǎng)絡產(chǎn)生強人工智能，也還只是“碰運氣”式的夢想。

如果說強人工智能是技術(shù)峰頂上閃耀的圣杯，那么符號主義、連接主義、進化主義和機器學習就是指向四條登頂?shù)缆返穆窐?。然而?0年艱苦攀登之后，圣杯不僅沒有越來越近，相反比出發(fā)時顯得更加遙遠。駐足沉思，突然發(fā)現(xiàn)橫亙在腳下和圣杯之間的山谷日漸清晰……這個深不見底的山谷，就是我們自己的大腦。