作者 | 高佳

創(chuàng)意 | 李志飛 

理性的思維阻隔了人與宇宙的親近。

——約翰·納什

微軟將ChatGPT整合進(jìn)Bing，Google急推「聊天機器人搜索」，仿佛世界鋪展了對搜索引擎下個十年的想象力。企圖讓搜索引擎絲滑交流，或讓ChatGPT精準(zhǔn)有邏輯。

但其實，兩者只能在表層做「備胎模塊」式的融合，因為本質(zhì)上他們是水火不容的兩條路徑。

搜索引擎是一個包含眾多模塊的龐大系統(tǒng)，以對問題的精準(zhǔn)回答為心中最高法則。他像一個一絲不茍的文字秘書，認(rèn)真「理解」你的問題，迅速「檢索」文件檔案，條分縷析地「執(zhí)行」回答。他對以上三個步驟爛熟于心，兢兢業(yè)業(yè)，以致常常「一板一眼」，顧不上如沐春風(fēng)的對話體驗。

而ChatGPT本質(zhì)是一個生成式的語言模型，更像一個與世隔絕的瘋子或天才，只是喃喃自語地傾囊他的所知，或創(chuàng)作出很多幻想或令人驚訝的東西。他好讀書，卻不求甚解，不知其然，也不知其所以然。只管談笑風(fēng)生，“對答”如流。

搜索引擎和ChatGPT本質(zhì)上完全不同，一個是大規(guī)模搜索，是「三步走」的執(zhí)行系統(tǒng)；一個是生成式對話，是基于神經(jīng)網(wǎng)絡(luò)「一氣呵成」的工具模塊。

而一旦試著把部分Query（查詢）分類到ChatGPT下，就會進(jìn)入先分類、再打標(biāo)簽、再查詢數(shù)據(jù)庫生成結(jié)果的老套路，給出的答案一定是生硬的，就像我們在用的語音助手。

想擁有ChatGPT縱古論今的「通用性」，就不能指望他像以前對話系統(tǒng)那樣完成具象任務(wù)。反之，要想搜索引擎縝密精準(zhǔn)，就不能要求他還提供情緒價值。

他們一個言之有序，團(tuán)結(jié)緊張；一個發(fā)散詼諧，生動活潑。一個是死理性派的理科生，一個是相對感性的文科生。

一個基于「檢索」，力求追本溯源，一個擅長「創(chuàng)造」，無中生有不可追溯。兩者從底層技術(shù)路線上迥然不同，互為根本性的矛盾和補充。

更抽象來說，這是符號主義和聯(lián)結(jié)主義的水火不容。

那么能否將兩者從底層結(jié)合起來，既談古說今妙語橫生，又能走進(jìn)現(xiàn)實，會推理、懂邏輯？

就像有著根本性矛盾的量子力學(xué)和廣義相對論，本質(zhì)上是否存在一個大統(tǒng)一理論，讓時時刻刻都在相互作用的兩者，能在一種完美高效的框架下實現(xiàn)運行？

是否可以有一種思路？比如融合。

符號主義和聯(lián)結(jié)主義的水火不容，像經(jīng)典力學(xué)的確定性，與量子力學(xué)的不確定性之間的水火不容。

一直以來我們認(rèn)為「符號主義」擅長解決精確問題，是再現(xiàn)人類強邏輯的智能的，比如如何查詢數(shù)據(jù)庫，如何邏輯分析問題，如何反思已有認(rèn)知，推理一個結(jié)論，創(chuàng)造一個工具等。

而「聯(lián)結(jié)主義」本質(zhì)是一個統(tǒng)計模型，更擅長解決模糊性問題，以及從樣本中發(fā)現(xiàn)平滑規(guī)律，比如通過足夠多的人類對話找到下一句該說什么的規(guī)律；通過描述性的文字找到對應(yīng)的圖像生成規(guī)律。

就像「無限猴子」定理所表明，如果把一只假想的猴子放在打字機前無限長的時間，猴子最終會寫出莎士比亞的十四行詩。而獲得這些能力，可以通過更大的模型，更多優(yōu)質(zhì)的數(shù)據(jù)，不斷強化學(xué)習(xí)并循環(huán)增強的方式，比如ChatGPT。

如果把符號主義比喻成「登山」，把聯(lián)結(jié)主義比喻成「游泳」，

那么會發(fā)現(xiàn)，以符號「登山」的能力去「游泳」是困難的，

同樣「游泳」的能力去「登山」也是艱難的。

這兩者在底層上是非常難于有機結(jié)合的，但兩者往往又顯示著隱隱的結(jié)合潛力。

事實上，符號主義和聯(lián)結(jié)主義正是AI的兩個極端流派，兩者長達(dá)數(shù)十年的紛爭，貫穿著整個NLP發(fā)展史，甚至橫亙?nèi)斯ぶ悄荛L達(dá)半個多世紀(jì)的探索。

早在1956年「人工智能」概念誕生的著名會議——達(dá)特茅斯會議之前，有一個小型的學(xué)習(xí)機討論會，會上神經(jīng)網(wǎng)絡(luò)鼻祖之一的皮茨做了一個有趣的總結(jié)：“一派人企圖模擬神經(jīng)系統(tǒng)，一派人企圖模擬心智，但最終大家的目的一致?！?/span>

這句目光毒辣的話，冥冥之中預(yù)示了之后數(shù)十年AI研究的符號主義和聯(lián)結(jié)主義兩條路線之爭。

如同今天，ChatGPT以「聯(lián)結(jié)主義」為本質(zhì)結(jié)構(gòu)，以「一步式」生成為表達(dá)流程，表達(dá)流暢但邏輯很差，如果沒有正確「理解」這一環(huán)，其輸出結(jié)果并不精準(zhǔn)完備，而這正是聯(lián)結(jié)主義最不擅長的。這樣的結(jié)構(gòu)，在一些情感聊天類問題上可以接受，但是在需要邏輯嚴(yán)密的問題上則不能委以重任。想讓ChatGPT擁有嚴(yán)密復(fù)雜的邏輯推理能力，僅僅依靠在大模型現(xiàn)有的方向上進(jìn)行優(yōu)化，從ChatGPT的本質(zhì)結(jié)構(gòu)上決定了難度極大。

的確，更好的一種可能性是融合，而非簡單的混合。即融合符號主義和聯(lián)結(jié)主義來消弭彼此的缺點，結(jié)合彼此的優(yōu)點。

這是一個從抽象到具體，從具體到抽象的過程。履程艱難卻又歷歷在目。

歷史可見，更嚴(yán)謹(jǐn)?shù)姆栔髁x，與更泛用的聯(lián)結(jié)主義，將兩者都納入武器庫時，往往能更好地解決單邊難以應(yīng)對的問題。

進(jìn)而，我們猜想，如果把全部的數(shù)學(xué)公式或理論模型塞給GPT，會出現(xiàn)像納什一樣的界于瘋子和天才之間的行為嗎？

比如，對一個有相當(dāng)知識背景和能力來讀懂題目的文科生，但苦于數(shù)理邏輯較差而不擅計算；而另一位精于運算的理科生，但受限于語言而難以理解復(fù)雜的題目文本。兩者融合，會碰撞出怎樣的光火？

GPT提供了知識，而大量的數(shù)學(xué)公式提供了數(shù)理思維，一次成功的“跨界”，或許可以迎來新的突破。如果把ChatGPT與結(jié)構(gòu)化數(shù)據(jù)庫相結(jié)合呢？

《西部世界》里的二分心智理論，在福特的棋盤上，當(dāng)不斷學(xué)習(xí)的海量數(shù)據(jù)，與背后在 key moments 彈奏的「神之聲音」融匯交織，訓(xùn)練出朦朧覺醒的AI的時候，那注入靈魂的臨門一腳會是什么？

事實上，對于ChatGPT，真正沖擊我們感官的正是他在部分任務(wù)中突破了符號主義和聯(lián)結(jié)主義的邊界的臨門一腳——他具有了一定的邏輯推理能力。

也就是說，本質(zhì)結(jié)構(gòu)是聯(lián)結(jié)主義的GPT，當(dāng)模型大到一定程度時，他完成了符號主義的一些任務(wù)。

那么是否意味著ChatGPT本身可視為符號主義和聯(lián)結(jié)主義走向交界點的一個例子？

如果不是，ChatGPT為何又能突破原有大模型的極限呢？

從「煉金術(shù)」到「科學(xué)」，從樸素的直覺到“理論與實踐”相結(jié)合。

首先，理解ChatGPT擁有的能力，我們要先追溯ChatGPT的能力起源，一視窺探ChatGPT突破邊界背后的原因。

ChatGPT是基于兩年前那位讓我們激動地以為“無所不能”的GPT-3的進(jìn)化。

ChatGPT將海量的數(shù)據(jù)，與表達(dá)能力很強的Transformer模型結(jié)合，從而對自然語言進(jìn)行了一次非常深度的建模。讓ChatGPT擁有如此震驚于世的表達(dá)能力，可以調(diào)侃或拒絕不懷好意的提問，甚至有了一定的簡單推理能力。

其背后長達(dá)兩年的努力，主要基于人類反饋的強化學(xué)習(xí)（RLHF）、指令微調(diào)（Instruction Tuning）、代碼訓(xùn)練（Codex）這三點。

第一點，OpenAI引入了「人類監(jiān)督員」，專門“教”AI如何更好地回答人類問題。AI的回答符合人類評價標(biāo)準(zhǔn)時，就給AI打高分，否則就給AI打低分；對于低分的問題，還認(rèn)真地給出更符合人類表達(dá)的示范答案。這使得AI不斷按照人類價值觀優(yōu)化數(shù)據(jù)和參數(shù)，也讓他逐漸擁有了越來越符合人類語境的標(biāo)準(zhǔn)回答。（翔實公正的回應(yīng)、拒絕不當(dāng)?shù)膯栴}，拒絕知識以外的回答）

第三點，ChatGPT用代碼訓(xùn)練過，這讓ChatGPT有了一定程度的推理能力，就像直覺來說，一個小孩學(xué)會編程后，可能“說話”更有邏輯性。同時，ChatGPT還利用思維鏈 (chain-of-thought) 加強了復(fù)雜推理的能力，思維鏈?zhǔn)谴a訓(xùn)練的一個神奇的副產(chǎn)物，也被認(rèn)為是解鎖「涌現(xiàn)」能力的可能性關(guān)鍵。

以此兩年磨礪，驚喜的一幕出現(xiàn)了，ChatGPT比GPT-3的性能又提高了一個層次，讓人們再次看到「涌現(xiàn)」的力量?！溉绻环N能力不存在于較小的模型中，而存在于較大的模型中，那么這種能力就是涌現(xiàn)出來」，物理學(xué)家菲利普·安德森最早提到了語言模型的涌現(xiàn)能力，即「多者異也」。

事實上，「涌現(xiàn)」在復(fù)雜系統(tǒng)里無處不在，如蟻群、互聯(lián)網(wǎng)、人類社會文明等，也許大腦的意識和智能也是一種涌現(xiàn)行為。而復(fù)雜系統(tǒng)最典型的特征就是古希臘哲學(xué)家亞里士多德所說：「整體大于部分之和」。

這是一種基于「混沌」的開荒之際，就像5億年前，誕生于地球生命史早期的那場寒武紀(jì)生命大爆發(fā)，連達(dá)爾文也無從解釋的「生物進(jìn)化」；就像大腦每一個沒有意識的神經(jīng)細(xì)胞，當(dāng)他們相互聯(lián)結(jié)時，便形成了一種令人驚訝的有意識的強大網(wǎng)絡(luò)。無從解釋，但他已存在于世界的蔓延，并歷代追演。

似乎樸素的直覺總是先于科學(xué)證明而存在。我們只是從現(xiàn)象去推能力，而不是從原理推導(dǎo)現(xiàn)象。

對于今天的ChatGPT，把大模型的奇異能力簡單歸結(jié)成一種涌現(xiàn)行為對實踐指導(dǎo)意義不大。同時，指望一個單純算法的規(guī)模到一定程度就能涌現(xiàn)出人類的整體智能，也并不是一個嚴(yán)謹(jǐn)?shù)目茖W(xué)態(tài)度。

回到最初的問題，ChatGPT是符號主義和聯(lián)結(jié)主義走向交界點的一個例子嗎？

至少從背后原理來看，ChatGPT和GPT-3都還不是根本性的突破。

ChatGPT和GPT-3類似人類的輸出和驚人的通用性只是技術(shù)的結(jié)果，而不是真正的聰明。無論是GPT-3還是ChatGPT，仍然會犯一些可笑的錯誤，這也是這一類方法難以避免的弊端，因為它本質(zhì)上只是通過概率最大化不斷生成數(shù)據(jù)而已，把這個能力發(fā)揮到一個非常高的水準(zhǔn)線，甚至體現(xiàn)出了它有一定邏輯能力和求解能力的假象，而不是通過邏輯推理來生成回復(fù)。

圖靈獎得主、Meta首席人工智能科學(xué)家LeCun也認(rèn)為，「與其說ChatGPT是一個科學(xué)突破，不如說他是一個像樣的工程實例?！?/span>

那么，既然我們認(rèn)為復(fù)雜系統(tǒng)的「涌現(xiàn)」是煉金術(shù)，是否能把煉金術(shù)變成科學(xué)？

是否有可靠的研究成果去分析這些能力到底是怎么實現(xiàn)的，比如模型多大才會出現(xiàn)某種涌現(xiàn)行為？為什么會出現(xiàn)？如何系統(tǒng)性地讓他出現(xiàn)？

從ChatGPT的原理可以看出，ChatGPT至少傳遞的一個很好的信號是，我們的確可以利用類似人類「敲黑板劃重點」、「強化學(xué)習(xí)」等更多的思路提升「模型能力」。

那么歷經(jīng)逐層遞進(jìn)的「涌現(xiàn)」后 ，ChatGPT的能力表現(xiàn)是否會抵達(dá)一個邊界？邊界又在哪里？

從上面的原理上可以看到，這樣生成的大模型是以人類標(biāo)注樣本作為表現(xiàn)極限的。當(dāng)窮盡人類的知識數(shù)據(jù)，在GPT不會產(chǎn)生新的知識的前提下，會抵達(dá)一個無法超越的邊界，當(dāng)我們觸及規(guī)模極限，接近收益遞減點時，還需要新的改進(jìn)的范式。

而S曲線階梯式上升正是科技發(fā)展的規(guī)律。

當(dāng)S曲線再一次從拐點來到平滑的邊界，GPT發(fā)展是否會有極致，下一個突破點會在哪里？

如果GPT以AGI作為最終目標(biāo)，那么GPT真的會通向AGI嗎？他會以多快的速率向我們走來？AGI會有極限嗎？

五年前，在與朋友的一次登山徒步中，Sam Altman想通了一件事——他意識到，人類可能并不是獨一無二的了?！鸽m然有些東西仍會專屬于人類——創(chuàng)造力、稍縱即逝的靈感、細(xì)膩的感情，但可能一二十年內(nèi)就會出現(xiàn)可以復(fù)制我們大腦的設(shè)備......融合已經(jīng)開始——而融合也是最好的方案。任何其他版本都會有沖突：或者是我們奴役人工智能，或者人工智能奴役我們。」

1950年，英國科學(xué)家圖靈在一篇劃時代的論文中預(yù)言，人類有可能創(chuàng)造出具有真正智能的機器。那篇論文所想象的真正智能的機器是什么樣？“如果一臺機器能夠與人類展開對話，而不能被辨別出其機器身份，那么稱這臺機器具有智能。”即著名的「圖靈測試」。

這是半個多世紀(jì)以前，科學(xué)家對智能機器的想象和期待。

而今天，OpenAI也描述了，他眼中AGI的樣子：有一個與任務(wù)無關(guān)的LLM，用來從海量數(shù)據(jù)中學(xué)習(xí)各種知識。這個LLM以「生成一切」的方式，來解決各種各樣的實際問題，而且它應(yīng)該能聽懂人類的命令，以便于人類使用。

人類對AGI的期待，從來沒有停止。

而OpenAI對LLM發(fā)展理念的理解，正蘊藏其中，同時也幾乎是大家的共識——「構(gòu)建一個與任務(wù)無關(guān)的LLM，讓它從海量數(shù)據(jù)中學(xué)習(xí)各種知識」。體現(xiàn)OpenAI眼光的后半部分，正是他始終踐行的「把理解語言這樣一個復(fù)雜的事情等價于word prediction這個簡單的事情」，以此作為堅定不移的長期主義與理想主義信念。

曾經(jīng)看到還在Y Combinator做繼任總裁的Sam Altman，說過一句很動人的話：“十年很短，一天很長?！?/span>

后來他加入OpenAI，宿命般地將這一句精神，踐行在OpenAI每日的精進(jìn)里，用一串串代碼，書寫著AI的進(jìn)化和人類的歷史。

ChatGPT的恰時出現(xiàn)，印證了一種精神信仰的重要性，也證明了到現(xiàn)在這個時期，我們?nèi)プ非驛GI是至少有可行性的，而現(xiàn)在或是拋開“領(lǐng)域?qū)W科”這個思維束縛的時候了。

就在普通人看不到的代碼深海里，在每一條數(shù)據(jù)、每一分算力的功耗里，智能的進(jìn)化從未停止，而且越來越快。

「讓人的歸于人，讓宇宙的歸于宇宙。」

“人類的智能模式是通用智能，這種智能模式移植到機器就是通用人工智能?！?/span>

在很長一段歷史周期以來，人類以復(fù)刻人類智能的方式來建立機器智能，就像人類以人類的模式創(chuàng)造上帝。

現(xiàn)代意義上的AI始于古典哲學(xué)家用符號系統(tǒng)處理的觀點解釋人類思考過程的嘗試。20世紀(jì)40年代，可編程數(shù)字計算機的發(fā)明，使一批科學(xué)家開始嚴(yán)肅地探討構(gòu)造一個「類腦智能」的可能性。

之后也有很多流派試圖再現(xiàn)人類智能機制，但是這些流派都沒有取得太大的成果。以至于DeepMind的杰出科學(xué)家、強化學(xué)習(xí)的創(chuàng)始人Rich Sutton在其「苦澀的教訓(xùn)」一文中強烈表達(dá)了觀點：

「從過去70年的AI研究中可以得出的最大教訓(xùn)是：為了尋求在短期內(nèi)的作為，研究人員更傾向于利用人類在這個領(lǐng)域的經(jīng)驗和知識，而從長遠(yuǎn)來看，利用可擴展的一般計算方法才是最終是有效的?！?/span>

到底該以什么姿勢追求AGI，效法人類，還是歸于算法？

實際上，歷史上歷次大的進(jìn)展，都誕生于讓AI去AI的時刻，AlphaGo對圍棋的突破，AIGC對人類文化藝術(shù)領(lǐng)域的「侵略戰(zhàn)」，ChatGPT近于瘋子與天才般的囈語。

AI并非基于對人類的理解，而是有著一套自己的宇宙法則。

今天大模型的出眾成就佐證了Rich Sutton對「通用算法主義」的主張正確性，但不意味著「效法造人類主義」創(chuàng)造智能體的路徑就一定是錯的。

那為什么之前效法人類的流派都相繼受挫呢？這也許和人類智能的整體性有關(guān)。

簡單來說人類的注意力、感知力、思維能力等形成的子系統(tǒng)在大多任務(wù)的實現(xiàn)上都是相互協(xié)同的，比如運動會影響人的情緒和精神狀態(tài)，雖然大腦在這個過程中參與甚少。

而作為一個整體性很高的系統(tǒng)，一個上層的表象來自諸多底層機制的通力運作，只要有一個有缺陷，就會影響這個表層效果的顯現(xiàn)。

同樣對于通用人工智能，可能前面九十九步努力的效果是有限的，當(dāng)我們完成最后一片拼圖，前面九十九步應(yīng)有的能量才顯現(xiàn)出來。

所以，我們看到通往真正AGI的路徑還有很長的距離。不只是算力和數(shù)據(jù)的規(guī)?；€需要范式的不斷迭進(jìn)。

在電影《降臨》中，用語言與思維的同一性，再次印證了古希臘哲學(xué)家巴門尼德所言，我們這個世界是透過語言被說出來的，我們言說世界的方式就是我們理解世界的方式。

對任何一種文明而言，語言和思維都是密不可分的。

我們擁有了同一種語言，是否就可以同一種方式來理解彼此，理解世界？

而什么是真正的「理解」，人類自己也不能窮盡對「理解」的定義。我們不能在對方的大腦漫游以看到另一個世界，也無法通過彼此神經(jīng)元的對接，達(dá)到通感的境界。

但我們可以通過復(fù)述，通過考試，來實現(xiàn)一定認(rèn)知的對齊。

何以要求AI理解人類。讓AI是AI，人類是人類。

ChatGPT不會擁有人類的創(chuàng)造力，沒有意識和動機，即使他學(xué)會了推理，但AI以他不斷進(jìn)化的能力，幫助人們拓展文明的邊界，幫助人們抵達(dá)文明新的高度。

物理學(xué)家大衛(wèi)·布儒斯特，他在目睹了「國際象棋機器人」及其引起的科學(xué)探索之后，說了一句意味深長的話：

「那些本來為了取悅普通人而發(fā)明出來的自動化玩具，現(xiàn)在正在用于開拓我們?nèi)祟惖哪芰Σ⑽拿鲙蚋碌木辰纭！?/span>