涌現(xiàn)，這個當前用于區(qū)分AI大模型和非大模型能力的標準之一。它似乎在告訴我們，人類通往AGI，即通用人工智能時代的隧道已經(jīng)設(shè)計完成，僅需靜待有限的施工建設(shè)時間，人類便可踏入人機共存時代。

那究竟什么是涌現(xiàn)？涌現(xiàn)現(xiàn)象的經(jīng)典含義是指，在一個復(fù)雜系統(tǒng)中，組成該系統(tǒng)基本元素之間相互作用，產(chǎn)生了全新的、宏觀的性質(zhì)或行為。這個定義非常抽象，我們舉個例子來理解。單只螞蟻在自然環(huán)境中行動，它只會尋找食物和避開危險，但是當大量螞蟻一起行動時，它們能夠建造出非常復(fù)雜的蟻穴。這些蟻穴甚至有特定的通風和溫度控制系統(tǒng)，但每只螞蟻并不知道整個蟻穴的設(shè)計，他們沒有預(yù)先規(guī)劃好的圖紙，卻能完成這樣的大型工程，這就是典型的涌現(xiàn)現(xiàn)象。

人工智能模型中，涌現(xiàn)現(xiàn)象也并非剛剛出現(xiàn)。如今最先進的人工智能模型被稱為神經(jīng)網(wǎng)絡(luò)，因為它和人腦非常像，都是海量神經(jīng)元相互連接而成。

無論神經(jīng)網(wǎng)絡(luò)還是人腦，它們內(nèi)部的神經(jīng)元大多都非常相似，甚至于一模一樣。但是，哪怕一樣的神經(jīng)元，一旦處在不同的位置，就會自動承擔不同的功能，發(fā)揮不同的作用。

所以，神經(jīng)網(wǎng)絡(luò)中簡單神經(jīng)元的大量重復(fù)，就可以實現(xiàn)如今AI各種各樣的復(fù)雜的應(yīng)用，這就是一個典型的涌現(xiàn)現(xiàn)象。

雖然我們早就在神經(jīng)網(wǎng)絡(luò)中理解到了涌現(xiàn)現(xiàn)象，但隨著超大規(guī)模AI模型GPT4的問世，我們所有人還是迎來了當頭一棒，就像是看見了傳統(tǒng)物理學的兩朵烏云散開一樣。GPT4中智能的涌現(xiàn)開始顯現(xiàn)出一種顛覆所有規(guī)則的理解難度，這種涌現(xiàn)遠遠超過了從局部到整體能力轉(zhuǎn)化這個意義，而是表現(xiàn)為各方面綜合能力的爆發(fā)式增長。雖然涌現(xiàn)現(xiàn)象的本質(zhì)早就被諾別爾物理學獎得主、凝聚態(tài)物理泰斗P.W. Anderson精辟地總結(jié)為'More Is Different'，但GPT4給我們帶來的震撼過于龐大，以至于我們在大模型中，對涌現(xiàn)現(xiàn)象的具體定義修改為：在小模型中沒有的能力，卻在大模型中突然出現(xiàn)的現(xiàn)象。

這個定義中所謂的“小模型”，已經(jīng)是大模型出現(xiàn)前人類世界AI發(fā)展的皇冠，代表了有史以來最先進的硅基智能能力。

注意我們剛剛所說的”突然出現(xiàn)“，這意味著涌現(xiàn)現(xiàn)象的第二層含義：我們無法確定涌現(xiàn)的發(fā)生點！我們可以很明確地觀測到，一旦模型大小超過某一個閾值，模型就像修煉突破了一樣，展現(xiàn)出前所未有的能力。但同時，這個閾值卻無法預(yù)測！我們無法確定模型什么時候能完成下一境界的突破。

這個特性也給大模型蒙上了一層神秘的面紗，并且給了我們無限的遐想空間。是否大模型有朝一日可以突然突破，一步躍進成為AGI。所以盡管GPT4仍有許多缺陷，比如技術(shù)報告中提到的不完全可靠(胡編亂造，也被稱為幻覺hallucinations)、有文本長度限制以及不能從經(jīng)驗里學習，但許多人開始相信，GPT4中的涌現(xiàn)現(xiàn)象已經(jīng)為通往AGI指明了確切的道路。微軟的研究報告中甚至認為，GPT4已經(jīng)可以被視為AGI的早期版本。

同時許多人也開始擔心AI安全問題，比如大模型突然獲得不受控的意識和想法，這在AI自我進化之路開啟之后是非常有可能的。那隨著我們不斷地利用大模型來解決問題，將他們部署到世界各處，就像是在全世界都埋上了不定時炸彈一樣。所以，當前已有兩萬七千多人在暫停巨型AI實驗的公開信上簽字，其中不乏馬斯克、Bengio等著名大佬，公開信中對當前AI的安全性發(fā)出了一連串的質(zhì)問。

不管是對AI的美好暢想還是合理擔憂，就在大多數(shù)人都沉浸于想象未來時，一篇論文企圖將大家從烏托邦拉回現(xiàn)實：大模型中的涌現(xiàn)現(xiàn)象或許并不存在！

斯坦福的研究小組認為，當前大模型任務(wù)的評價標準本身就是非線性的，由此才會導致所謂的涌現(xiàn)現(xiàn)象！

比如在Google提出的大模型評測基準BIG-Bench (Beyond the Imitation Game)中，超過92%的評測標準都包含下面兩條定義之一，第一條意味著我們對選項進行概率輸出，如果最大概率的選項就是正確選項，則記1分，否則其余情況都記0分。第二條和第一條類似，我們對比模型輸出的一句話，如果和目標完全符合，才記1分，否則也都記0分。

為了幫助大家直觀理解，我這里舉一個例子。想象一下一個水滴和一場洪水。一滴水在地上幾乎沒有影響，但是當這些水滴匯聚成洪水時，它們可以沖毀房屋，破壞土地，甚至威脅到人的生命。如果我們以檢測洪水為最終目的，顯然就是非線性的評測標準。

為了驗證猜想，研究小組將評測標準進行了拆解細化，也就是水量大一點就加一點分數(shù)，而不是洪水泛濫才記1分，此時模型的能力和所需運算力呈現(xiàn)出了近乎線性的正相關(guān)關(guān)系！

這無疑打破了許多人對于涌現(xiàn)能力的設(shè)想，期望著涌現(xiàn)能力能夠帶給我們意料之外的智能，似乎也成為了天方夜譚。但當我們回頭評估這篇論文的實際意義時，可以自然地提出一個問題：人類對于智能的定義也是非線性的嗎？

顯然是的！首先，智能的定義本身就不是一個客觀概念，現(xiàn)有的概念往往都是針對某一特殊領(lǐng)域的研究得到。

智能的定義：

其次，在現(xiàn)代研究中，我們發(fā)現(xiàn)動物的社會智能與人類的相似，例如猴子會進行欺騙，海豚會照顧受傷的群體成員（展示出同情心），甚至魚也表現(xiàn)出微妙的社交技能。這些研究促使我們重新考慮智能的定義，并擴大我們對智能的理解。

綜上所述，我們目前對于大模型涌現(xiàn)能力的認知，確實可能有一定的偏差，這個偏差會隨著科學的探索不斷糾正。但是，一個概念的定義，會影響人類對于AI的發(fā)展道路嗎？我想是不會的。大模型的涌現(xiàn)能力不管如何去定義，都不會改變大模型本身的能力，也不會減緩我們將大模型應(yīng)用落地的步伐。工程應(yīng)用往往都有一個非常顯著的特點，叫模塊化與解耦合。

上層從不會去在意下層是怎么實現(xiàn)的，不管下層變得是什么戲法，上層都是將下層視為功能模塊，而工程師的工作，就是不斷地去組合這些功能模塊，去逼近這些功能模塊的極限能力，想盡辦法利用現(xiàn)有的技術(shù)，解決現(xiàn)實中的問題。

如今大模型對理解、應(yīng)用我們的世界規(guī)則有了質(zhì)的提升，那相對應(yīng)，隨之而來的應(yīng)用升級也一定會有質(zhì)的飛躍！

或許，我們離想象中的AGI還有一定的距離，我們賦予了AGI太多的擬人化形象。

然而，想象一下，當我們站在AI的巨人肩膀上，讓它協(xié)助我們的日常工作生活，讓它賦予我們解決困難挑戰(zhàn)的力量。再或者說，當它開始預(yù)見我們的需求，當它的存在變得像空氣一樣普遍。那么所謂的AGI，不過也就演變成一個概念的定義罷了。