2024年諾貝爾物理學(xué)獎(jiǎng)授予“通過人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明”，人工神經(jīng)網(wǎng)絡(luò)可以說是統(tǒng)計(jì)物理引發(fā)的機(jī)器學(xué)習(xí)革命（Science for AI）。諾貝爾化學(xué)獎(jiǎng)則授予蛋白質(zhì)設(shè)計(jì)和結(jié)構(gòu)預(yù)測(cè)的相關(guān)研究，展現(xiàn)了人工智能在推動(dòng)科學(xué)創(chuàng)新方面的重要作用（AI for Science）。人工智能和科學(xué)的這種雙向互動(dòng)開創(chuàng)了 AI Science 新紀(jì)元，也在加速對(duì)復(fù)雜系統(tǒng)的理解。 2024年諾貝爾物理學(xué)獎(jiǎng)授予機(jī)器學(xué)習(xí)，令人意外嗎？機(jī)器學(xué)習(xí)與統(tǒng)計(jì)物理有著怎樣的聯(lián)系？人工智能和科學(xué)的發(fā)展如何相互賦能？統(tǒng)計(jì)物理與復(fù)雜系統(tǒng)可以為人工智能研究提供哪些啟發(fā)？AI 會(huì)超越人類的理解力發(fā)現(xiàn)新物理嗎？下一個(gè)諾獎(jiǎng)級(jí)的科學(xué)研究會(huì)是什么？針對(duì)這些問題，我們邀請(qǐng)到三位集智科學(xué)家，加州大學(xué)圣迭戈分校副教授尤亦莊，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授、集智俱樂部創(chuàng)始人張江，香港浸會(huì)大學(xué)助理教授唐乾元（傅渥成），一起深入解讀了2024年諾貝爾獎(jiǎng)。本文是此次討論的文字整理，分享給各位讀者朋友。 研究領(lǐng)域：統(tǒng)計(jì)物理，復(fù)雜系統(tǒng)，量子力學(xué)，人工智能，神經(jīng)網(wǎng)絡(luò)，重整化群目錄 - 2024年諾貝爾物理學(xué)獎(jiǎng)授予機(jī)器學(xué)習(xí)，令人意外嗎？
- John Hopfield 和 Geoffrey Hinton 的主要貢獻(xiàn)是什么？
- 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)物理有著怎樣的聯(lián)系？
- 人工智能和科學(xué)的發(fā)展如何相互賦能？
- 統(tǒng)計(jì)物理與復(fù)雜系統(tǒng)可以提供哪些啟發(fā)？
- AI 會(huì)超越人類的理解力發(fā)現(xiàn)新物理嗎？
- 下一個(gè)諾獎(jiǎng)級(jí)的科學(xué)研究會(huì)是什么？
- 1 - 2024年諾貝爾物理學(xué)獎(jiǎng)授予機(jī)器學(xué)習(xí)， 令人意外嗎？ Q：2024年諾貝爾物理學(xué)獎(jiǎng)授予了機(jī)器學(xué)習(xí)相關(guān)的研究，引起了公眾和物理學(xué)界的廣泛關(guān)注和熱議。許多人表示難以理解，為何將如此重要的物理學(xué)獎(jiǎng)項(xiàng)授予了計(jì)算機(jī)科學(xué)領(lǐng)域的研究。同時(shí)，計(jì)算機(jī)科學(xué)家們也感到困惑，為何物理學(xué)家會(huì)涉足他們的領(lǐng)域。在此背景下，各位老師對(duì)這次諾貝爾物理學(xué)獎(jiǎng)有何看法？ 張江：我是非常詫異的。一般來講，諾貝爾物理學(xué)獎(jiǎng)通常授予那些與物質(zhì)科學(xué)、物理系統(tǒng)緊密相關(guān)的研究，除了2021年的獎(jiǎng)項(xiàng)頒發(fā)給了研究復(fù)雜物理系統(tǒng)，包括大氣系統(tǒng)領(lǐng)域的科學(xué)家。按照我們通常的理解，人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，似乎與物理學(xué)的聯(lián)系并不緊密，今年的諾貝爾物理學(xué)獎(jiǎng)卻授予了與人工智能相關(guān)的研究，這讓我感到非常驚訝。此外，Hopfield 網(wǎng)絡(luò)以及 Hinton 的一些早期研究，雖然在人工智能領(lǐng)域具有開創(chuàng)性意義，但從現(xiàn)代人工智能的角度來看，這些模型又有點(diǎn)兒太古老了，我們現(xiàn)在基本上已經(jīng)超越了這些早期模型。所以我覺得這次物理學(xué)獎(jiǎng)的頒發(fā)確實(shí)令人震驚。尤亦莊：大家對(duì)今年諾貝爾物理學(xué)獎(jiǎng)的結(jié)果感到意外。我注意到許多同事對(duì)此選擇了沉默，索性閉口不談了。在美國，人工智能在物理系研究得越來越多，人們逐漸認(rèn)識(shí)到人工智能有著深厚的物理基礎(chǔ)，其研究與物理學(xué)的聯(lián)系也很密切。我覺得身邊的教授們似乎還比較能接受。當(dāng)然，總體而言，大家仍然覺得相當(dāng)驚訝，因?yàn)槿斯ぶ悄懿⒎莻鹘y(tǒng)物理學(xué)的幾個(gè)重要領(lǐng)域之一。傳統(tǒng)上，諾貝爾物理學(xué)獎(jiǎng)經(jīng)常頒發(fā)給量子物理、天體物理和宇宙學(xué)、高能物理、凝聚態(tài)物理以及原子分子物理等領(lǐng)域。在今年諾貝爾獎(jiǎng)揭曉之前，人們也是按照這個(gè)順序來猜測(cè)：過去幾年這些領(lǐng)域是風(fēng)水輪流轉(zhuǎn)，今年應(yīng)該輪到哪個(gè)領(lǐng)域了。然而，這些猜測(cè)大多都落空了。這可能表明，從諾貝爾獎(jiǎng)委員會(huì)的角度來看，似乎人工智能、復(fù)雜系統(tǒng)，甚至智能或意識(shí)的起源等問題，可能逐漸成為物理學(xué)研究的新領(lǐng)域。物理學(xué)本身也應(yīng)該與時(shí)俱進(jìn)。因此，盡管從獲獎(jiǎng)內(nèi)容來看，如張江老師所言，相對(duì)于當(dāng)前的深度學(xué)習(xí)技術(shù)，這些成果似乎有些滯后，但從物理學(xué)范式的發(fā)展和整個(gè)學(xué)科的創(chuàng)新來看，這個(gè)獎(jiǎng)項(xiàng)的頒發(fā)是非常及時(shí)的。唐乾元：我還想補(bǔ)充一點(diǎn)，盡管今年的諾貝爾物理學(xué)獎(jiǎng)結(jié)果出人意料，但不久前網(wǎng)絡(luò)上流傳的一個(gè)熱門帖子揭示了一個(gè)有趣的現(xiàn)象。有人發(fā)現(xiàn)一本教材在介紹時(shí)，已經(jīng)將 Hopfield 標(biāo)注為諾貝爾物理學(xué)獎(jiǎng)得主了，這實(shí)際上是一個(gè)預(yù)言，因?yàn)楫?dāng)時(shí)他還未獲得該獎(jiǎng)項(xiàng)。這表明，盡管存在誤解，但許多人已經(jīng)認(rèn)為他的成就足以獲得諾貝爾獎(jiǎng)的認(rèn)可。這個(gè)錯(cuò)誤可能是作者在編寫時(shí)誤以為他已經(jīng)是諾貝爾獎(jiǎng)得主了。因此，實(shí)際上物理學(xué)界對(duì) Hopfield 的貢獻(xiàn)是非常認(rèn)可的，他甚至在2022年統(tǒng)計(jì)物理大會(huì)上獲得了玻爾茲曼獎(jiǎng)，玻爾茲曼獎(jiǎng)是統(tǒng)計(jì)物理領(lǐng)域的最高榮譽(yù)，這表明物理學(xué)界對(duì) Hopfield 的貢獻(xiàn)給予了極高的評(píng)價(jià)。Hinton 的獲獎(jiǎng)則相對(duì)令人意外。- 2 - John Hopfield 和 Geoffrey Hinton 的主要貢獻(xiàn)是什么？ 唐乾元：我們先從 Hopfield 講起，我可以介紹一些他在 Hopfield 網(wǎng)絡(luò)之外的工作。實(shí)際上，他的父親也是一位物理學(xué)家，他自己也一直在學(xué)物理，早期在凝聚態(tài)領(lǐng)域做過一些工作。后來從上世紀(jì) 70 年代起，他開始轉(zhuǎn)向生物物理方面的研究。最初，他研究了生物化學(xué)反應(yīng)里的一種校對(duì)機(jī)制，因?yàn)楹芏嗌锘瘜W(xué)反應(yīng)存在隨機(jī)性，可以通過一些非平衡機(jī)制來實(shí)現(xiàn)錯(cuò)誤校對(duì)。在非平衡物理體系建立之前，Hopfield 已經(jīng)提出了這種機(jī)制。之后他開始研究神經(jīng)網(wǎng)絡(luò)，也就是 Hopfield 網(wǎng)絡(luò)。在這項(xiàng)研究之后，他又做了很多工作，比如關(guān)于嗅覺問題的編碼機(jī)制，以及更多有關(guān)神經(jīng)網(wǎng)絡(luò)的理論研究。近些年他仍在做一些相關(guān)研究，依然是一位活躍的學(xué)者。關(guān)于 Hopfield 網(wǎng)絡(luò)，我想聽張江老師從最早期的基于能量的模型來給大家簡(jiǎn)單的介紹一下。張江：大約 20 年前，集智俱樂部剛建立那會(huì)兒，我參加了圣塔菲研究所和中科院理論物理研究所聯(lián)合舉辦的暑期學(xué)校，在里面聽了很多關(guān)于統(tǒng)計(jì)物理的知識(shí)后開始進(jìn)入相關(guān)領(lǐng)域。我印象特別深刻的是伊辛模型，在百科上也有關(guān)于它的科普介紹，我們完全可以把它理解成是村民投票的情景，每個(gè)村民可能會(huì)受周圍鄰居的影響，這樣就構(gòu)成了一個(gè)相互影響的互動(dòng)系統(tǒng)。“伊辛模型”集智百科：什么是伊辛模型 Ising Model | 集智百科https://wiki./index.php/伊辛模型 在這個(gè)系統(tǒng)里，最有意思的是有序和無序之間的競(jìng)爭(zhēng)。所謂有序，就是每個(gè)村民在某種程度上要服從絕大多數(shù)，會(huì)看周圍鄰居對(duì)自己的影響；而無序則是每個(gè)村民在投票選擇時(shí)存在一定隨機(jī)性。在這個(gè)物理系統(tǒng)里，最早伊辛模型是用于對(duì)鐵磁順磁（也就是磁鐵）的相變行為進(jìn)行建模：當(dāng)溫度升高到一定程度，會(huì)變得非常無序；溫度很低時(shí)，就會(huì)產(chǎn)生相應(yīng)磁性，所有自旋的行為變得一致。比較有意思的是，中間存在一個(gè)臨界點(diǎn)，在臨界點(diǎn)附近時(shí)，整個(gè)系統(tǒng)會(huì)變得非常復(fù)雜，出現(xiàn)分形、自相似結(jié)構(gòu)等有趣現(xiàn)象。那它和 Hopfield 網(wǎng)絡(luò)有什么關(guān)系呢？實(shí)際上，Hopfield 網(wǎng)絡(luò)是伊辛模型的擴(kuò)展。伊辛模型是晶格化系統(tǒng)，將其變成全連通網(wǎng)絡(luò)，并且彼此之間聯(lián)系的強(qiáng)度可以隨機(jī)取值，這樣就變成了一個(gè)很復(fù)雜的網(wǎng)絡(luò)。同時(shí)，我們可以通過一種學(xué)習(xí)機(jī)制讓網(wǎng)絡(luò)的權(quán)重有一定變化，使得能量的最小點(diǎn)剛好對(duì)應(yīng)我們需要記憶的一些模式。所以 Hopfield 網(wǎng)絡(luò)剛造出來時(shí)，最早是用于聯(lián)想記憶的。比如給它一些數(shù)據(jù)，里面有像 1234 這樣的手寫體數(shù)字等模式，它會(huì)慢慢收斂，其能量最小值就會(huì)對(duì)應(yīng)到這些模式上。反過來，在運(yùn)行時(shí)，給它一定刺激，要是和某個(gè)手寫體數(shù)字很像，它就會(huì)慢慢收斂到那個(gè)吸引子，從而把記憶中的模式恢復(fù)出來，這就是最早的 Hopfield 模型。圖1. Hopfield 網(wǎng)絡(luò)可以存儲(chǔ)和重建數(shù)據(jù)中的模式。尤亦莊：我覺得今年諾貝爾物理學(xué)獎(jiǎng)的這兩個(gè)工作都跟統(tǒng)計(jì)物理有密切的關(guān)系。Hopfield 提出來的 Hopfield model 是最早的一類基于能量的生成式模型，它其實(shí)是利用了統(tǒng)計(jì)物理中的一個(gè)基本原理——玻爾茲曼分布。事實(shí)上，現(xiàn)在我們所謂的基于能量的生成式模型，就是平衡態(tài)統(tǒng)計(jì)物理的最基本方式。早期，物理學(xué)家們想要理解大量個(gè)體的相互作用，他們演生出來的集體行為是怎樣的，這是統(tǒng)計(jì)物理所想要理解的主要目標(biāo)。統(tǒng)計(jì)物理中“統(tǒng)計(jì)”這個(gè)詞就是在統(tǒng)計(jì)個(gè)體的行為。比如說像我自己吧，小時(shí)候我就對(duì)模擬多個(gè)粒子之間相互作用這件事情很感興趣，會(huì)自己寫計(jì)算機(jī)模型來模擬。我當(dāng)時(shí)有一個(gè)想法就是也許我理解所有粒子的運(yùn)動(dòng)之后，就可以了解宏觀的行為。但后來我發(fā)現(xiàn)我錯(cuò)了，其實(shí)理解單個(gè)粒子的運(yùn)動(dòng)，并不能幫助你理解宏觀行為。相反，宏觀行為實(shí)際上往往只取決于很少的一些量，比如說這個(gè)系統(tǒng)的總能量。那么統(tǒng)計(jì)物理學(xué)家后來發(fā)現(xiàn)，一個(gè)多體系統(tǒng)中的概率分布，只跟這個(gè)多體系統(tǒng)的能量函數(shù)有關(guān)，人們可以寫下概率分布和能量函數(shù)相對(duì)應(yīng)的表達(dá)式，基本上能量函數(shù)就正比于概率分布的對(duì)數(shù)。基于這個(gè)原理，我們就可以用能量函數(shù)來模擬很多不同的多體系統(tǒng)的分布。這里面的多體系統(tǒng)，當(dāng)然也包括磁性系統(tǒng)。在研究磁性系統(tǒng)時(shí)，物理學(xué)家們發(fā)現(xiàn)，磁性系統(tǒng)在低溫下會(huì)展現(xiàn)出很多不同的模式，比如說有鐵磁態(tài)和反鐵磁態(tài)。這會(huì)出現(xiàn)很多很奇怪的自旋玻璃的狀態(tài)。人們經(jīng)過一番研究了解到，原來這些狀態(tài)都是跟自旋和自旋之間相互作用、能量是怎么分配的有關(guān)。這就形成了我們看到的宏觀現(xiàn)象——某一種 pattern 的形成都存在一個(gè)背后的能量。但是我覺得 Hopfield 的工作在平衡態(tài)統(tǒng)計(jì)物理的基礎(chǔ)上面有一個(gè)范式突破。為什么這么說呢？以前的平衡態(tài)統(tǒng)計(jì)物理都是在問：給一個(gè)能量函數(shù)，給定系統(tǒng)的相互作用，它在高溫和低溫下都有什么樣的行為？人們是想要去求解這個(gè)系統(tǒng)的行為。但是 Hopfield 說：不，你可以改變，你可以修改你的問題，你可以修改你的能量函數(shù)，你可以修改這些自旋之間相互作用的模式。通過修改相互作用的模式，以期待能夠形成某個(gè)你想要讓它形成的特定模式。這實(shí)際上就是從給定生成機(jī)制，被動(dòng)地去生成結(jié)果（生成機(jī)制-結(jié)果），到想要獲得某個(gè)結(jié)果，從而去尋求它的生成機(jī)制（結(jié)果-生成機(jī)制），變成一個(gè)學(xué)習(xí)過程。所以他就把統(tǒng)計(jì)力學(xué)，從一門回答問題的學(xué)問，變成了一門去學(xué)習(xí)，從學(xué)習(xí)中間找到某個(gè)模式背后生成機(jī)制的學(xué)習(xí)算法。他想到要反過來問這個(gè)問題，能夠通過對(duì)自旋模式的觀察，然后去修改出最適合穩(wěn)定自旋模式的相互作用的模型。這個(gè)模型在應(yīng)用的時(shí)候自然而然地能夠利用統(tǒng)計(jì)物理的力量，在低溫時(shí)重現(xiàn)相應(yīng)的結(jié)構(gòu)。而且當(dāng)相應(yīng)的結(jié)構(gòu)一旦發(fā)生破壞時(shí)，重新降低溫度，這個(gè)破壞或者這個(gè)錯(cuò)誤也可以被糾正回來。這些工作其實(shí)在現(xiàn)代的信息處理中有相當(dāng)重要的應(yīng)用。我們都知道，通訊過程中可能會(huì)出現(xiàn)很多錯(cuò)誤，現(xiàn)代量子計(jì)算在計(jì)算過程中同樣也會(huì)產(chǎn)生錯(cuò)誤，而這些錯(cuò)誤都需要進(jìn)行糾錯(cuò)處理。實(shí)際上，像 Hopfield 這種借助能量模型來建立某種背后機(jī)制，然后通過降溫的方式來糾錯(cuò)的做法，是一種最為自然的糾錯(cuò)機(jī)制。我還記得早期的計(jì)算機(jī)用的是磁盤存儲(chǔ)。磁盤之所以能夠長期保存信息，就是因?yàn)榇疟P里面存在著這種鐵磁性的糾錯(cuò)機(jī)制。雖然磁盤處于復(fù)雜的環(huán)境中，時(shí)不時(shí)就會(huì)有一些自旋翻轉(zhuǎn)，但它依然能夠憑借多體相互作用將這些錯(cuò)誤糾正回來。所以我覺得這項(xiàng)工作非常厲害的地方體現(xiàn)在兩個(gè)方面。第一，它改變了我們對(duì)于統(tǒng)計(jì)物理的看法，不再是單純地，一群物理學(xué)家僅僅想著去求解某個(gè)數(shù)學(xué)模型在低溫環(huán)境下的狀況，而是要思考如何從現(xiàn)實(shí)的數(shù)據(jù)當(dāng)中去構(gòu)建一個(gè)新的模型。其二，它也告訴我們可以如何用物理來幫助我們糾錯(cuò)，物理是如何和信息聯(lián)系起來，如何和編碼聯(lián)系起來的。這是我覺得它非常值得獲得這次諾貝爾獎(jiǎng)，而且這個(gè)諾貝爾獎(jiǎng)也確實(shí)和物理有很有關(guān)系的一個(gè)原因。張江：我想補(bǔ)充 Hinton 的工作對(duì)于神經(jīng)網(wǎng)絡(luò)研究的價(jià)值和意義，以及它與 Hopfield 網(wǎng)絡(luò)的關(guān)系。實(shí)際上最初接觸神經(jīng)網(wǎng)絡(luò)時(shí)，我完全沒有意識(shí)到它與統(tǒng)計(jì)物理的聯(lián)系。神經(jīng)網(wǎng)絡(luò)看起來就是一個(gè)簡(jiǎn)單的輸入接收器，每個(gè)神經(jīng)元接收輸入信號(hào)，當(dāng)輸入足夠多時(shí)，神經(jīng)元可能會(huì)被激活，并繼續(xù)向下傳播信號(hào)。通過梯度反向傳播的方式，我們可以訓(xùn)練網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。本科期間，我們當(dāng)時(shí)做過一個(gè)項(xiàng)目，使用前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)中的模式并進(jìn)行預(yù)測(cè)。但直到后來我參加了暑期學(xué)校，接觸到伊辛模型，才豁然開朗，意識(shí)到神經(jīng)網(wǎng)絡(luò)與伊辛模型、自旋之間可以完全對(duì)應(yīng)起來。我們可以將每個(gè)神經(jīng)元視為伊辛模型中的一個(gè)自旋（spin），每個(gè)自旋有兩種狀態(tài)：朝上或朝下，這正好對(duì)應(yīng)于神經(jīng)元的激活和非激活狀態(tài)。在伊辛模型中，每個(gè)自旋的狀態(tài)受到周圍鄰居以及自身隨機(jī)性的影響。對(duì)于神經(jīng)網(wǎng)絡(luò)來說，其他神經(jīng)元對(duì)它的狀態(tài)也有一定的影響，因此，它們也是通過相互作用來決定是否激活。此外，激活函數(shù)本身將隨機(jī)性對(duì)應(yīng)到 S 型激活函數(shù)曲線中，從而建立了兩者之間的關(guān)系。我認(rèn)為，最早明確建立這種關(guān)系，并使神經(jīng)網(wǎng)絡(luò)能夠以統(tǒng)計(jì)物理的方式運(yùn)作，與 Hinton 的研究工作密不可分。他對(duì)神經(jīng)網(wǎng)絡(luò)的一個(gè)重大改進(jìn)是將網(wǎng)絡(luò)分為兩層：一個(gè)是顯層，相當(dāng)于輸入層，用于接收數(shù)據(jù)；另一個(gè)是隱層，起到數(shù)據(jù)壓縮和表征的作用。在今天的深度學(xué)習(xí)中，這種表示學(xué)習(xí)——獲得數(shù)據(jù)的壓縮表示——是非常重要的，也是我們?nèi)四X處理復(fù)雜信息的基礎(chǔ)。因此，我認(rèn)為 Hinton 的研究工作是非常了不起的，他將統(tǒng)計(jì)物理的概念完全融入了神經(jīng)網(wǎng)絡(luò)這一學(xué)科。唐乾元：Hopfield 的貢獻(xiàn)其實(shí)還體現(xiàn)了“more is different”這一非常基礎(chǔ)的概念。安德森在傳記中將 Hopfield 視為未共同發(fā)表過文章的隱藏合作伙伴。在傳統(tǒng)神經(jīng)科學(xué)中，人們認(rèn)為大腦中的記憶存儲(chǔ)在特定區(qū)域，但 Hopfield 提出了一個(gè)全新的觀點(diǎn)：記憶沒有儲(chǔ)存在大腦的任何一個(gè)地方，而是儲(chǔ)存在大腦的所有地方。所有神經(jīng)元共同作用，形成了記憶，這可能是大腦執(zhí)行記憶及其他功能的工作方式。而且這個(gè)機(jī)制也有它相應(yīng)的神經(jīng)科學(xué)背景，即所謂的“Hebbian 學(xué)習(xí)規(guī)則”，簡(jiǎn)而言之就是“在學(xué)習(xí)過程中，如果兩個(gè)神經(jīng)元經(jīng)常一起放電，那么它們就更有可能產(chǎn)生連接”，即“Fire together wire together”，這個(gè)機(jī)制就是剛才尤亦莊老師所講的，怎么樣把一個(gè)要記憶的模式編碼到神經(jīng)上。Hopfield 通過物理模型將這一概念具體化，這是他的一個(gè)重要貢獻(xiàn)。此外，Hopfield 還有另一個(gè)不太為人所知的貢獻(xiàn)。剛剛張江老師也有提到，在磁性系統(tǒng)中，臨界性是一個(gè)非常關(guān)鍵的特征。在湯超老師他們提出自組織臨界現(xiàn)象之后，Hopfield 也很早對(duì)大腦中的臨界現(xiàn)象產(chǎn)生了興趣，并撰寫論文使用地震模型來說明大腦中可能存在的臨界機(jī)制，因此 Hopfield 也可以說是大腦臨界性假說的先驅(qū)之一。（參看：《《大自然如何運(yùn)作》：關(guān)于自組織臨界性的科學(xué)｜湯超院士作序推薦》）關(guān)于 Hinton 的貢獻(xiàn)，Hinton 最早提出的玻爾茲曼機(jī)可以看作是 Hopfield 模型的一個(gè)推廣。玻爾茲曼機(jī)本身是全連接的，但由于需要處理的連接數(shù)太多，不太實(shí)用，后來被改造成受限玻爾茲曼機(jī)，區(qū)分了隱層和輸入層。雖然 Hinton 并非受限玻爾茲曼機(jī)的最初發(fā)明者，但他的貢獻(xiàn)不能忽視，事實(shí)上他重新挖掘了這一模型，并提出了對(duì)比散度（Contrast Divergence）的訓(xùn)練方法，使得玻爾茲曼機(jī)變得真正可用。對(duì)比散度是一個(gè)復(fù)雜的迭代過程，但 Hinton 的一些工作使其變得可行。所以我期待尤亦莊老師能進(jìn)一步講述 Hinton 在對(duì)比散度以及采樣方面的一些貢獻(xiàn)。尤亦莊：Hinton 的工作實(shí)際上是對(duì) Hopfield 模型的推廣，他將 Hopfield 模型推向了新的高度。這種生成式模型的核心目標(biāo)是學(xué)習(xí)一個(gè)能量函數(shù)，以此來代表樣本的概率密度分布。所有的生成式模型都需要基于樣本進(jìn)行訓(xùn)練。但怎樣訓(xùn)練玻爾茲曼機(jī)就成為一個(gè)問題。Hinton 想了一些非常巧妙的方法來進(jìn)行訓(xùn)練，他的基本思路是這樣的：如果我們用某個(gè)能量函數(shù)作為模型，生成一個(gè)概率密度分布，而樣本本身也有其自身的概率密度分布。原則上，我們希望這兩個(gè)概率密度分布盡可能接近，也就是讓模型的分布盡可能接近樣本的分布。我們需要最小化一個(gè)名為 KL 散度的量——也就是兩個(gè)分布之間的相對(duì)差異。經(jīng)過一番研究，他發(fā)現(xiàn)相對(duì)熵基本上可以表示為：兩種自由能之間的差。這其實(shí)是非常有趣的一點(diǎn)。想象一下，如果我們讓模型閉著眼睛，按照自己的方式去運(yùn)行，它會(huì)產(chǎn)生一個(gè)統(tǒng)計(jì)力學(xué)系統(tǒng)的自由能，這個(gè)自由能代表了系統(tǒng)在某種平均意義上的能量。而當(dāng)模型的顯層（visible layer）中有樣本數(shù)據(jù)時(shí)，我們稱之為“claimed free energy”，當(dāng)數(shù)據(jù)被強(qiáng)迫加載到顯層時(shí)，模型同樣會(huì)有一個(gè)自由能。這兩個(gè)自由能之間的差，正好就是 KL 散度所代表的損失函數(shù)（loss function）。這為我們指明了一個(gè)訓(xùn)練的方向，就好像睜眼和閉眼的關(guān)系。在訓(xùn)練過程中，你可以先讓模型閉著眼睛，自己想象一下。假設(shè)我現(xiàn)在手上有一堆自旋，一部分自旋屬于顯層，它們需要與數(shù)據(jù)保持一致；另一部分自旋屬于隱層，數(shù)據(jù)對(duì)它們來說并不重要。在閉眼的時(shí)候，我們觀察顯層自旋之間的關(guān)聯(lián)有多強(qiáng)，這是模型在想象或“做夢(mèng)”過程中構(gòu)想出來的顯層之間的關(guān)聯(lián)。然后在有數(shù)據(jù)之后，模型會(huì)再次觀察顯層的數(shù)據(jù)，進(jìn)而研究在顯層數(shù)據(jù)固定的情況下，熱力學(xué)系統(tǒng)達(dá)到平衡時(shí)，顯層和隱層之間的關(guān)聯(lián)有多強(qiáng)。例如，在受限玻爾茲曼機(jī)中，我們唯一需要關(guān)心的關(guān)聯(lián)是介于顯層和隱層之間的。因此，我們只需要比較有數(shù)據(jù)和沒有數(shù)據(jù)這兩種情況下的關(guān)聯(lián)強(qiáng)度，就可以判斷顯層和隱層之間的連接是應(yīng)該增強(qiáng)還是減弱。如果數(shù)據(jù)到來后，經(jīng)過熱平衡，顯層和隱層之間的關(guān)聯(lián)較弱，而沒有數(shù)據(jù)時(shí)，系統(tǒng)的顯層和隱層之間的關(guān)聯(lián)較強(qiáng)，這表明系統(tǒng)的想象與實(shí)際情況不符，因此應(yīng)該減少顯層和隱層之間的關(guān)聯(lián)強(qiáng)度。相應(yīng)地，就應(yīng)該減少它們之間的耦合強(qiáng)度來實(shí)現(xiàn)這一點(diǎn)。這就是對(duì)比散度的基本思想。這就像我們平時(shí)學(xué)習(xí)時(shí)有翻書學(xué)習(xí)和閉卷思考的過程，也如同孔子所說“學(xué)而不思則罔，思而不學(xué)則殆”，意味著學(xué)習(xí)和思考應(yīng)該相結(jié)合。我認(rèn)為，對(duì)比散度的思想非常好地體現(xiàn)了學(xué)習(xí)和思考兩個(gè)過程的結(jié)合。當(dāng)有數(shù)據(jù)來時(shí)，你需要學(xué)習(xí)以達(dá)到某種平衡，你還需要有思考，然后對(duì)比睜著眼睛學(xué)習(xí)和閉著眼睛思考的印象差異，從而對(duì)自己的神經(jīng)網(wǎng)絡(luò)權(quán)重進(jìn)行調(diào)整。當(dāng)然，這個(gè)過程中涉及到熱平衡的步驟。當(dāng)數(shù)據(jù)輸入時(shí)，我們需要根據(jù)數(shù)據(jù)讓整個(gè)系統(tǒng)達(dá)到熱平衡，這意味著要經(jīng)過反復(fù)多次的采樣迭代，才能使自旋系統(tǒng)達(dá)到平衡。在閉眼思考的時(shí)候，也需要進(jìn)行多次采樣迭代。這時(shí)就涉及到了一些計(jì)算復(fù)雜度的考量。早期的算法并不十分成功，部分原因是在自旋模型上使用蒙特卡羅采樣方法求解需要消耗大量的計(jì)算資源。Hinton 有一個(gè)非常重要的觀察：實(shí)際上，你并不需要讓兩個(gè)系統(tǒng)達(dá)到熱平衡。雖然從數(shù)學(xué)原則上講，你應(yīng)該比較平衡態(tài)之間的關(guān)聯(lián)強(qiáng)度，但我們實(shí)際上已經(jīng)能夠看出閉眼和睜眼這兩種情況下——也就是有數(shù)據(jù)和沒有數(shù)據(jù)這兩種情況下——關(guān)聯(lián)的差別，這已經(jīng)可以提供某種學(xué)習(xí)信號(hào)。Hinton 還證明，即使你按照這樣一個(gè)不完全正確的信號(hào)，最終，損失函數(shù)（loss function）的最小點(diǎn)和原來的最小點(diǎn)也是一樣的。這就使得我們可以用更高的效率進(jìn)行采樣和學(xué)習(xí)。這些思想從平衡態(tài)物理走向非平衡態(tài)物理，都是統(tǒng)計(jì)力學(xué)中非常有趣的思路。我認(rèn)為，這些都是非常值得我們思考和借鑒的。張江：Hinton 在神經(jīng)網(wǎng)絡(luò)學(xué)派的歷史中扮演了兩次關(guān)鍵性的拯救者角色。第一次大約在上世紀(jì)80年代。在此之前，人工智能自1956年起步以來，主要是以搜索、推理邏輯等為主的傳統(tǒng) AI 占據(jù)主流。盡管神經(jīng)網(wǎng)絡(luò)的概念最早可以追溯到1943年由 Warren McCullough 和 Walter Pitts 提出的神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型，但由于 Minsky 和 Papert 在他們的著作《Perceptrons》中證明了單層感知機(jī)模型無法解決簡(jiǎn)單的異或XOR等線性不可分問題，這導(dǎo)致神經(jīng)網(wǎng)絡(luò)學(xué)派幾乎被扼殺。在那個(gè)時(shí)期，研究者們擔(dān)心自己的論文無法發(fā)表，神經(jīng)網(wǎng)絡(luò)學(xué)科差點(diǎn)因此消亡。然而，正是 Hinton 堅(jiān)持神經(jīng)網(wǎng)絡(luò)的研究，并成功將反向傳播算法應(yīng)用于多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練，這標(biāo)志著他第一次拯救了神經(jīng)網(wǎng)絡(luò)學(xué)派。第二次拯救發(fā)生在深度學(xué)習(xí)的萌芽時(shí)期。當(dāng)時(shí)，盡管人們看到神經(jīng)網(wǎng)絡(luò)在很多學(xué)習(xí)任務(wù)中表現(xiàn)得很好，但由于神經(jīng)網(wǎng)絡(luò)的深度有限，能解決的問題非常受限。因此，當(dāng)時(shí)大家對(duì)神經(jīng)網(wǎng)絡(luò)并不看好，而且有很多其他的競(jìng)爭(zhēng)算法。Hinton 通過將受限玻爾茲曼機(jī)做得很深，證明了深度神經(jīng)網(wǎng)絡(luò)的潛力。根據(jù)我的印象，他可能是在2006年發(fā)表的文章中第一次使用了“deep neural network”這個(gè)詞。這使得人們意識(shí)到，不是神經(jīng)網(wǎng)絡(luò)不行，而是我們做得不夠深。當(dāng)我們把它做深了以后，它真的就能工作，而且效果很好。最早的時(shí)候，他們?cè)谡Z音識(shí)別和圖像識(shí)別上取得了巨大的突破，這讓更多人看到，原來我們可以通過深度學(xué)習(xí)的方式讓人工智能完全通過深度的方式進(jìn)行學(xué)習(xí)，并且取得了非常好的效果。Hinton 在神經(jīng)網(wǎng)絡(luò)研究歷史上的第一次關(guān)鍵突破：將反向傳播算法應(yīng)用于多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練Rumelhart, D., Hinton, G. & Williams, R. Learning representations by back-propagating errors. Nature 323, 533–536 (1986). https:///10.1038/323533a0 Hinton 在神經(jīng)網(wǎng)絡(luò)研究歷史上的第二次關(guān)鍵突破：提出深度神經(jīng)網(wǎng)絡(luò)Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. A fast learning algorithm for deep belief nets. Neural computation 18.7 (2006): 1527-1554. https://direct./neco/article-abstract/18/7/1527/7065/A-Fast-Learning-Algorithm-for-Deep-Belief-NetsHinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504-507. - 3 - 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)物理有著怎樣的聯(lián)系？ 尤亦莊：我認(rèn)為，物理學(xué)與人工智能之所以能夠緊密結(jié)合，很大程度上是因?yàn)槲锢韺W(xué)本質(zhì)上試圖對(duì)現(xiàn)實(shí)進(jìn)行建模，而 AI 在很大程度上也是要對(duì)現(xiàn)實(shí)進(jìn)行建模。什么是現(xiàn)實(shí)？現(xiàn)實(shí)就是我們想要學(xué)習(xí)的數(shù)據(jù)。建模又是什么呢？就是我們要訓(xùn)練的 AI 的模型。所以它們的目標(biāo)在很多情況下是一致的。正因如此，物理學(xué)家在長期為世界建模的過程中發(fā)展出的許多數(shù)學(xué)模型，是值得 AI 領(lǐng)域借鑒的。事實(shí)上，我們可以看到，當(dāng)前許多生成式模型都借鑒了物理學(xué)思想。比如我們之前提到的，今年獲得諾貝爾物理學(xué)獎(jiǎng)的基于能量的生成式模型，以及基于流的生成式模型，這些模型與概率流、不可壓縮流體等物理概念有關(guān)。還有基于擴(kuò)散的生成式模型，它們與物理學(xué)中的擴(kuò)散過程相關(guān)。甚至在量子物理領(lǐng)域，人們提出了基于量子力學(xué)的模型，比如像張量網(wǎng)絡(luò)，王磊老師在這方面有開創(chuàng)性的工作。特別是在深度模型領(lǐng)域，我們的主要任務(wù)是對(duì)世界進(jìn)行建模，但遺憾的是，世界是隨機(jī)的，因此我們必須對(duì)概率密度和概率分布進(jìn)行建模。在對(duì)概率分布進(jìn)行建模時(shí)，涉及到物理學(xué)中與概率分布相關(guān)的兩大學(xué)科：統(tǒng)計(jì)力學(xué)和量子力學(xué)。這兩個(gè)領(lǐng)域各自有一套建模概率分布的方法。因?yàn)楦怕史植急仨毷且粋€(gè)正定的數(shù)，我們不能隨意設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，然后聲稱這個(gè)網(wǎng)絡(luò)的輸出就是概率分布。神經(jīng)網(wǎng)絡(luò)的輸出沒有正定性的保證，所以統(tǒng)計(jì)力學(xué)采用了一種方法：使用玻爾茲曼分布。這種方法首先構(gòu)造一個(gè)能量函數(shù)，然后對(duì)其進(jìn)行指數(shù)化，通過指數(shù)映射將任何實(shí)數(shù)映射到正的概率上。而在量子力學(xué)中，則是構(gòu)造波函數(shù)。波函數(shù)本身不需要正定性的要求，但通過取其模的平方，我們同樣能得到一個(gè)正定的概率分布。這些建模的思路聽起來可能是簡(jiǎn)單的技巧，但實(shí)際上它們都可以被應(yīng)用到機(jī)器學(xué)習(xí)中。物理學(xué)的文獻(xiàn)或課本中散布著各種各樣的小技巧，我認(rèn)為從這里面汲取經(jīng)驗(yàn)對(duì)于我們進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域是非常有幫助的。寫給物理學(xué)家的生成模型. 王磊，張潘，《物理》2024年第6期 張江：還有一個(gè)觀點(diǎn)我覺得特別有意思，是尤亦莊老師提到的，關(guān)于深度神經(jīng)網(wǎng)絡(luò)的“深度”與物理學(xué)中重整化群的緊密聯(lián)系。這個(gè)聯(lián)系可以理解為，當(dāng)我們不斷將信號(hào)向上層傳播時(shí)，實(shí)際上是在用一個(gè)更宏觀的視角、一個(gè)更寬廣的尺度去觀察同一個(gè)系統(tǒng)。因此，深度學(xué)習(xí)實(shí)際上是一種多尺度學(xué)習(xí)。這一點(diǎn)當(dāng)時(shí)也讓我感到非常震撼。這種多尺度學(xué)習(xí)的特性在形式上類似于重整化群。在一些網(wǎng)絡(luò)中，比如卷積神經(jīng)網(wǎng)絡(luò)（CNN）中，我們也可以看到，從較淺層到較深層提取的特征，本身就具有這種多尺度特性。當(dāng)然，與重整化群的聯(lián)系可能只是其中之一，可能還有更多的聯(lián)系。我們可以進(jìn)一步思考，深度學(xué)習(xí)在這個(gè)問題上與統(tǒng)計(jì)物理，或者更廣泛的物理學(xué)領(lǐng)域，究竟有哪些聯(lián)系。尤亦莊：剛才提到重整化群，我非常愿意深入這個(gè)話題，因?yàn)檫@也正是我個(gè)人研究的主要方向之一。我想在這一點(diǎn)上稍微展開一下，傳統(tǒng)上，重整化群是我們理解復(fù)雜系統(tǒng)的一個(gè)非常有效的工具。它的核心思想是先將一個(gè)復(fù)雜系統(tǒng)在局部進(jìn)行粗粒化處理，然后提取出最重要的特征，并思考這些特征在更大尺度上的相互作用，從而提取出有效的相互作用。這樣，我們就構(gòu)建了一個(gè)有效模型，可以在有效模型的基礎(chǔ)上進(jìn)一步簡(jiǎn)化，提取出更有效的模型，使得系統(tǒng)得以逐步解析。然而，如何提取有效的特征一直是一個(gè)問題，長期以來并沒有非常明確或統(tǒng)一的做法。很多時(shí)候，這依賴于像 Leo Kadanoff 這樣杰出的物理學(xué)家來提出重整化方案。我們團(tuán)隊(duì)的一些研究就是想利用機(jī)器學(xué)習(xí)的方法，尤其是受限玻爾茲曼機(jī)的一個(gè)重要功能就是能夠提取特征，它能夠通過表示學(xué)習(xí)，在觀察到的較為細(xì)節(jié)化的樣本中提取出關(guān)鍵特征。粗粒化特征的提取，可以視為深度學(xué)習(xí)在物理學(xué)應(yīng)用的一個(gè)實(shí)例。將深度學(xué)習(xí)應(yīng)用于物理領(lǐng)域，確實(shí)能解決一些物理問題。我們?cè)O(shè)計(jì)一些基于深度學(xué)習(xí)的重整化算法，并且真的能夠?qū)⑺鼈儜?yīng)用于統(tǒng)計(jì)力學(xué)模型。在物理學(xué)中，我們想要回答的問題通常是在這些統(tǒng)計(jì)力學(xué)模型發(fā)生相變時(shí)，相變的臨界指數(shù)是多少，或者相變中的自旋關(guān)聯(lián)函數(shù)以怎樣的速率指數(shù)衰減等定量問題。這些問題是物理學(xué)家非常希望得到答案的。如果我們能夠發(fā)展出更好的重整化方案，就能定量地回答這些問題。雖然目前來說，大部分深度學(xué)習(xí)的應(yīng)用在于圖像和語言處理，看起來似乎是一種比較定性的應(yīng)用，但實(shí)際上，生成式模型和深度學(xué)習(xí)也可以在科研中產(chǎn)生定量的結(jié)果。我們的研究論文顯示，這些算法能夠?yàn)槲覀兲峁┰絹碓骄_的方法來確定物理學(xué)中的臨界指數(shù)。這是人工智能在物理學(xué)應(yīng)用的一個(gè)例子。AI 的發(fā)展為我們提供了新的工具，使我們能夠以定量的方式回答一些以往可能只能定性回答的問題，這對(duì)定量科學(xué)是有幫助的。反過來，物理學(xué)對(duì) AI 其實(shí)也有幫助，統(tǒng)計(jì)物理本身對(duì)于理解深度學(xué)習(xí)的原理就有很大的貢獻(xiàn)。像 Dan Roberts 等科學(xué)家們研究了深度神經(jīng)網(wǎng)絡(luò)為何能學(xué)習(xí)，并運(yùn)用一些統(tǒng)計(jì)物理中的量，特別是量子場(chǎng)論中的技巧，他們?cè)噲D理解，在神經(jīng)網(wǎng)絡(luò)神經(jīng)元數(shù)量趨于無限的情況下，網(wǎng)絡(luò)會(huì)展現(xiàn)出怎樣的行為。這些行為是可以用統(tǒng)計(jì)物理方法去理解的，因?yàn)榻y(tǒng)計(jì)物理想要理解的恰恰是多體系統(tǒng)中粒子趨于無限的極限情況。所以，當(dāng)神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元數(shù)量趨于無限時(shí)，它也會(huì)展現(xiàn)出一些統(tǒng)計(jì)物理可以處理的行為，統(tǒng)計(jì)物理就能為理解神經(jīng)網(wǎng)絡(luò)如何工作提供一些理論支持。比如，在這些研究中發(fā)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的標(biāo)度律（neural scaling law），發(fā)現(xiàn)了如何初始化神經(jīng)網(wǎng)絡(luò)參數(shù)，每一層應(yīng)該初始化的高斯寬度應(yīng)該是多少，才能使神經(jīng)網(wǎng)絡(luò)恰好處于理論要求的最佳狀態(tài)，使其學(xué)習(xí)和訓(xùn)練效果最佳。我認(rèn)為，無論是 AI for Physics 還是 Physics for AI，這兩方面都是相互促進(jìn)的。Roberts, Daniel A., Sho Yaida, and Boris Hanin. The principles of deep learning theory. Vol. 46. Cambridge, MA, USA: Cambridge University Press, 2022. - 4 - 人工智能和科學(xué)的發(fā)展如何相互賦能？ Q：我們剛才討論的很多內(nèi)容主要是從物理學(xué)的角度出發(fā)。我們知道除了 Physics for AI 或 Science for AI 之外，還有一個(gè)與之相對(duì)的領(lǐng)域，那就是 AI for Science。現(xiàn)在的 AI 工具已經(jīng)可以應(yīng)用于許多科學(xué)問題中。比如今年的諾貝爾化學(xué)獎(jiǎng)就頒給 AlphaFold 的開發(fā)者，他們解決了一個(gè)長期以來非常困難的科學(xué)問題——蛋白質(zhì)的天然結(jié)構(gòu)預(yù)測(cè)問題。我想請(qǐng)教老師們，針對(duì) AI for Science 這一領(lǐng)域，AI 還能有哪些更廣泛的應(yīng)用？ 尤亦莊：我認(rèn)為 AI for Science 已經(jīng)在整個(gè)科學(xué)研究領(lǐng)域廣泛流行，就像當(dāng)年計(jì)算機(jī)出現(xiàn)后，大家都想用計(jì)算機(jī)來做科學(xué)一樣。現(xiàn)在，AI 在科學(xué)中的應(yīng)用我覺得有以下幾點(diǎn)。首先，AI 和神經(jīng)網(wǎng)絡(luò)可以輔助人類為科學(xué)提供一種變分猜測(cè)。因?yàn)樯窠?jīng)網(wǎng)絡(luò)能夠擬合各種函數(shù)，在科學(xué)中，我們經(jīng)常面對(duì)未知，需要提出假設(shè)，而人的想象力畢竟有限，需要 AI 來幫助我們提出假設(shè)。在這方面的工作，比如有人提出可以用神經(jīng)網(wǎng)絡(luò)來構(gòu)造量子波函數(shù)，通過優(yōu)化量子波函數(shù)來計(jì)算各種分子或多體量子系統(tǒng)的基態(tài)解，從而理解復(fù)雜的材料、設(shè)計(jì)各種藥物等等，這些應(yīng)用都是非常有價(jià)值的。另一方面，AI 有可能替代所謂的計(jì)算瓶頸（computational bottleneck）。在科學(xué)研究中，很多領(lǐng)域需要進(jìn)行大規(guī)模的模擬，這些模擬的成本通常非常高，需要消耗大量的計(jì)算資源。很多時(shí)候，人們希望能夠采用一種端對(duì)端的方法。模擬通常是一個(gè)類似爬山的過程：輸入條件相對(duì)簡(jiǎn)單，答案也不難得到，但中間的過程極其復(fù)雜。如果你重復(fù)這個(gè)過程多次，積累了足夠多的數(shù)據(jù)，就可以訓(xùn)練 AI 來替代這個(gè)爬山過程中的中間步驟，也就是那些計(jì)算復(fù)雜度先增加再減少的部分。這樣，AI 可以直接打通一個(gè)計(jì)算復(fù)雜度平坦的隧道，這是 AI 的第二個(gè)用途，即替代計(jì)算中的瓶頸，在科學(xué)中也非常有用。第三個(gè)是 AI 輔助數(shù)據(jù)挖掘。以高能物理領(lǐng)域?yàn)槔?，在歐洲核子研究中心（CERN），科學(xué)家們每天都在進(jìn)行大量實(shí)驗(yàn)，將原子質(zhì)子相互對(duì)撞，希望從這些高能對(duì)撞的數(shù)據(jù)中發(fā)現(xiàn)粒子物理是否對(duì)標(biāo)準(zhǔn)模型有新的違反。但標(biāo)準(zhǔn)模型已經(jīng)相當(dāng)成熟，我們想要發(fā)現(xiàn)新的物理現(xiàn)象，就像是在巨大的噪聲背景中尋找微小的信號(hào)。粒子對(duì)撞機(jī)每時(shí)每刻都在產(chǎn)生大量數(shù)據(jù)，如果全部記錄下來并逐一分析，首先存儲(chǔ)空間就不夠，更不用說分析所需的計(jì)算資源了。很多時(shí)候，我們需要在對(duì)撞機(jī)現(xiàn)場(chǎng)第一時(shí)間判斷這個(gè)對(duì)撞事件是否值得記錄，這個(gè)過程被稱為“trigger”，用他們的術(shù)語來說就是“扳機(jī)”。他們需要發(fā)展 AI 算法，直接在對(duì)撞機(jī)上、在大數(shù)據(jù)中挖掘出信號(hào)，并用這些信號(hào)來觸發(fā)后續(xù)所有的過程。在天文學(xué)中也是如此，比如之前引起熱議并且后來獲得諾貝爾獎(jiǎng)的黑洞照片的發(fā)現(xiàn)，這些天文照片的處理中都運(yùn)用了 AI 技術(shù)。因此，AI 作為數(shù)據(jù)挖掘工具，在數(shù)據(jù)處理方面發(fā)揮了重要作用。所以，我認(rèn)為 AI 作為變分假設(shè)的工具、替代計(jì)算瓶頸的手段，以及數(shù)據(jù)挖掘的工具，這三個(gè)應(yīng)用領(lǐng)域相對(duì)來說已經(jīng)非常成熟，并且得到了廣泛的應(yīng)用。但我覺得 AI 目前還難以做到的一點(diǎn)是，我們還不能指望它像研究生那樣進(jìn)行科研，并與導(dǎo)師對(duì)話來規(guī)劃科研項(xiàng)目。大語言模型的發(fā)展讓我們看到了這方面的一些希望，但這種希望似乎并沒有最初想象的那么大。我認(rèn)為在這方面我們還需要耐心等待。這是否有可能是需要某種集成效應(yīng)，是否需要多個(gè) AI 共同工作，形成一種社會(huì)結(jié)構(gòu)，還是說目前我們訓(xùn)練的范式本身就存在問題，使得這個(gè)過程并不可持續(xù)。也許我們需要更多創(chuàng)新的思路，才能真正讓 AI 與人類在科學(xué)發(fā)現(xiàn)上進(jìn)行交流，或者甚至代替人類做出新的科學(xué)發(fā)現(xiàn)。張江：在這方面，我認(rèn)為 AI 可能會(huì)在某種程度上帶來科研范式的轉(zhuǎn)變。我們熟悉的現(xiàn)行自然科學(xué)，尤其是像物理學(xué)這樣非常典型的領(lǐng)域，采用的是一種從第谷到開普勒，再到牛頓，還可以加上愛因斯坦的范式。也就是說，首先是像第谷從數(shù)據(jù)出發(fā)，進(jìn)行數(shù)據(jù)挖掘的工作。然后，像開普勒最大的貢獻(xiàn)在于提出了描述模型，能夠用一些方程來概括一組數(shù)據(jù)，但這些并不是機(jī)制性的模型。牛頓的最大貢獻(xiàn)在于他提出了三條運(yùn)動(dòng)定律，發(fā)現(xiàn)天上的天體和地上的汽車、蘋果都遵循同一組方程，從而找到了更本質(zhì)的規(guī)律。愛因斯坦則更加抽象，達(dá)到了時(shí)空對(duì)稱性的層次，用以解釋所有這些現(xiàn)象。這是一個(gè)傳統(tǒng)的科學(xué)研究范式。但現(xiàn)在我們面臨的許多系統(tǒng)并不那么簡(jiǎn)單，它們可能是非常復(fù)雜的，比如氣象系統(tǒng)，甚至包括整個(gè)地球的氣候模型。對(duì)于這種復(fù)雜系統(tǒng)，我們很難再按照傳統(tǒng)的方式去抽象和建立模型，探索最終的對(duì)稱性。在這種情況下，人工智能，尤其是大語言模型，為我們提供了一種新的可能性：以數(shù)據(jù)驅(qū)動(dòng)的方式，通過學(xué)習(xí)具有大量參數(shù)的神經(jīng)網(wǎng)絡(luò)來理解整個(gè)數(shù)據(jù)集。這時(shí)就會(huì)出現(xiàn)一個(gè)困惑，即這種具有大量參數(shù)的模型，我們?nèi)祟惡茈y理解，不像傳統(tǒng)物理學(xué)中我們可以寫出一個(gè)方程，看了之后就能明白這個(gè)方程背后的原理是什么。但現(xiàn)在不行了，人工智能的可解釋性成為了一個(gè)巨大的瓶頸。面對(duì)這個(gè)問題，我們可能有兩種應(yīng)對(duì)的方式：一種途徑是我們接受這種現(xiàn)狀，不尋求解釋，直接從大參數(shù)模型到大參數(shù)模型。實(shí)際上，現(xiàn)在的大語言模型就是這么做的，沒有人知道語言背后的美麗方程是什么，以及它的對(duì)稱性原理是什么，我們可能根本就不知道，但這無所謂，我們可以很好地處理和模擬人類的語言能力。這是放棄可解釋性的一種方式。另一種途徑是我們?cè)噲D開發(fā)一些可解釋性的工具和方法，讓模型提煉出我們?nèi)祟惸軌蚶斫獾脑硇缘臇|西。我認(rèn)為這也是一種值得探討的可能性。總而言之，AI 這個(gè)新工具的出現(xiàn)，像尤亦莊老師說的那樣，就像當(dāng)年的計(jì)算機(jī)，但甚至可能比計(jì)算機(jī)還要更厲害，它能夠非常深層次地嵌入到我們的科學(xué)研究中。唐乾元：我想再補(bǔ)充一點(diǎn)，這實(shí)際上也是我們接下來要討論的關(guān)于可解釋性的問題。我想分享我在這方面的兩個(gè)新嘗試。第一個(gè)想法是，現(xiàn)在有這么多人在開發(fā) AI，AI 產(chǎn)生了大量數(shù)據(jù)，卻沒人來分析 AI 生成的數(shù)據(jù)。我的想法是，與其讓 AI 來做開普勒或牛頓，不如讓 AI 來當(dāng)?shù)诠?，我們?nèi)祟愖约簛碜鲩_普勒，我們自己來做牛頓，分析 AI 生成的數(shù)據(jù)，從中發(fā)現(xiàn)新的物理規(guī)律。比如在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)領(lǐng)域，現(xiàn)在已經(jīng)完成了人類和各種動(dòng)物的基因組測(cè)序，我們?nèi)祟惪梢栽诖嘶A(chǔ)上進(jìn)行統(tǒng)計(jì)物理研究。我認(rèn)為這是一個(gè)角度來打開 AI 的黑箱，我們并沒有去打開 AI 的黑箱，而是從 AI 學(xué)到的結(jié)果中來看它的統(tǒng)計(jì)物理，以此來理解 AI 到底學(xué)到了什么。另一個(gè)角度是，我們不打開 AI 的黑箱，但在使用 AI 工具時(shí)，我們不會(huì)只問一個(gè)問題，有時(shí)還會(huì)給它一些提示詞。比如問“為什么天是藍(lán)色的”，你可以說假設(shè)你是費(fèi)曼，請(qǐng)給我解釋一下為什么天是藍(lán)色的，假設(shè)我是一個(gè)五歲的小朋友，你給我解釋一下為什么天是藍(lán)色的。提示詞不同，就可以得到不同的回答。類似地，蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)工具不僅會(huì)利用它要預(yù)測(cè)的蛋白質(zhì)的結(jié)構(gòu)序列，而且會(huì)參考與該序列相似的祖先序列。這個(gè)過程有點(diǎn)像是根據(jù)關(guān)聯(lián)來推斷相互作用，我們可以把祖先序列當(dāng)成是一種提示詞，給 AlphaFold 這部分序列，就可以讓它預(yù)測(cè)出這種結(jié)構(gòu)，給它另一部分序列就可以預(yù)測(cè)出另一部分結(jié)構(gòu)。AI 在不同的提示詞情況下，會(huì)預(yù)測(cè)出不同的蛋白質(zhì)結(jié)構(gòu)，變相地我們就把蛋白質(zhì)動(dòng)力學(xué)用 AI 解出來了。這樣我們自己不再是 AI 的工程師，而是提示詞工程師，我們給 AI 設(shè)計(jì)提示詞，雖然沒有打開 AI 的黑箱，但最終還是打開了 AI 的黑箱。（參看：《AI Science新視野：用物理信息引導(dǎo)AlphaFold 2預(yù)測(cè)蛋白質(zhì)動(dòng)力學(xué)》）圖2. 當(dāng) AI 可以像第谷一樣生成數(shù)據(jù)，人類自己可以做開普勒，分析 AI 生成的數(shù)據(jù)，從中發(fā)現(xiàn)新的物理規(guī)律。｜摘自唐乾元老師報(bào)告 - 5 - 統(tǒng)計(jì)物理與復(fù)雜系統(tǒng) 可以為人工智能領(lǐng)域提供哪些啟發(fā)？ Q：現(xiàn)在 AI 領(lǐng)域主要應(yīng)用的是統(tǒng)計(jì)物理，但我們知道物理學(xué)在統(tǒng)計(jì)物理之后有很多發(fā)展，包括量子力學(xué)、量子場(chǎng)論，以及現(xiàn)在的前沿領(lǐng)域。不知道這些物理理論未來是否也有可能被應(yīng)用到 AI 架構(gòu)設(shè)計(jì)中去？ 尤亦莊：我覺得在很大程度上，AI 的發(fā)展在不斷地將各種數(shù)學(xué)工具融入其中。比如前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了任意函數(shù)的映射；循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）實(shí)現(xiàn)了時(shí)間序列的處理，類似于物理學(xué)中的動(dòng)力學(xué)方程；還有像 Neural ODE 這樣的模型實(shí)現(xiàn)了微分方程的求解，包括自動(dòng)微分和反饋等功能。這些都是基于高等數(shù)學(xué)的概念。我們自然非常期待有更高級(jí)的數(shù)學(xué)工具能夠被引入到 AI 中。當(dāng)我們談?wù)摳羁痰奈锢頃r(shí)，往往會(huì)涉及到一些復(fù)雜的數(shù)學(xué)，比如范疇論、拓?fù)鋵W(xué)等代數(shù)和拓?fù)漕I(lǐng)域。這些數(shù)學(xué)工具也有可能被應(yīng)用到神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)中，人們?cè)谶@方面也在進(jìn)行一些嘗試。總的來說，我認(rèn)為這與此次諾貝爾獎(jiǎng)的啟示有關(guān)。這兩位獲獎(jiǎng)?wù)邔⑽锢韺W(xué)應(yīng)用到了學(xué)習(xí)算法的設(shè)計(jì)中，從而開啟了整個(gè) AI 領(lǐng)域的新篇章。作為后來者，我們想要在他們的基礎(chǔ)上進(jìn)一步發(fā)展，自然也需要更多地借鑒，將他們尚未引入 AI 領(lǐng)域的數(shù)學(xué)知識(shí)逐步引入，這是一個(gè)目標(biāo)。更具體地說，像剛才提到的量子力學(xué)，這個(gè)領(lǐng)域現(xiàn)在非常熱門。比如在美國，明年春天就有一個(gè)會(huì)議專門討論 AI 與量子的結(jié)合。量子計(jì)算和人工智能的結(jié)合是非常自然的，因?yàn)樗鼈冇幸粋€(gè)共同的話題——信息。關(guān)于如何處理信息，如何用人工智能幫助我們構(gòu)建量子計(jì)算機(jī)，以及如何用量子算法來改進(jìn) AI 算法，這些都是當(dāng)前討論的熱點(diǎn)。2025 年 AI Quantum 會(huì)議https://sites.google.com/view/quai-acp-2025/home 唐乾元：實(shí)際上，統(tǒng)計(jì)物理與復(fù)雜系統(tǒng)和機(jī)器學(xué)習(xí)之間存在著許多聯(lián)系。首先，就像尤亦莊老師剛才提到的，我們所說的深度學(xué)習(xí)不僅包括以深度神經(jīng)網(wǎng)絡(luò)為代表的結(jié)構(gòu)，還包括循環(huán)神經(jīng)網(wǎng)絡(luò)等，它們可以用動(dòng)力系統(tǒng)等復(fù)雜系統(tǒng)領(lǐng)域的工具來描述，這些也是復(fù)雜系統(tǒng)研究的對(duì)象。此外，復(fù)雜系統(tǒng)領(lǐng)域的一些工具，如儲(chǔ)備池計(jì)算（Reservoir Computing）等，也可以用來幫助我們分析這些模型中的基本理論問題。還有像尤亦莊老師提到的 Neural ODE，這是一種在圖像識(shí)別方面表現(xiàn)非常好的網(wǎng)絡(luò)，它被解釋為一種微分方程的表示。還有最近非?；馃岬臄U(kuò)散模型（diffusion model）和大語言模型，大家都在討論這些模型中的一些基礎(chǔ)理論問題，這些問題物理學(xué)家們可以做出更多的貢獻(xiàn)。但這里我想問一個(gè)問題，這個(gè)問題不是我首創(chuàng)的。在諾貝爾獎(jiǎng)剛剛發(fā)布的時(shí)候，中科院理論物理所的張潘老師在他的報(bào)告中提出，深度學(xué)習(xí)或者說機(jī)器學(xué)習(xí)在發(fā)展初期與統(tǒng)計(jì)物理的聯(lián)系是非常緊密的，但現(xiàn)在看起來越來越遠(yuǎn)了。所以我想問問兩位老師，在未來某個(gè)時(shí)期，它們是否有可能重新合并，或者說在哪些領(lǐng)域上，它們可能會(huì)再次合并？
圖3. 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)物理兩個(gè)領(lǐng)域之間的聯(lián)系。｜摘自張潘老師報(bào)告 尤亦莊：我認(rèn)為，張潘老師的那張表中列出的是與自旋模型和自旋玻璃相關(guān)的統(tǒng)計(jì)物理的內(nèi)容，但是，統(tǒng)計(jì)物理不僅僅包括這些，它還涵蓋了非平衡態(tài)統(tǒng)計(jì)物理。非平衡態(tài)統(tǒng)計(jì)物理中一個(gè)非常重要的部分就是?？?普朗克方程和朗之萬方程，這些方程描述的是隨機(jī)過程，而隨機(jī)過程正是當(dāng)前擴(kuò)散模型的基礎(chǔ)。因此，在我看來，我們不能說機(jī)器學(xué)習(xí)與統(tǒng)計(jì)物理越來越遠(yuǎn)，反而它們結(jié)合得越來越深刻，與越來越多的領(lǐng)域結(jié)合在一起，越來越廣泛地融合。張江：從另一個(gè)角度來看，正如剛才提到的復(fù)雜系統(tǒng)，現(xiàn)在尤其是在大語言模型出現(xiàn)后，有很多現(xiàn)象未來可能需要用物理學(xué)的工具來解釋。有兩個(gè)典型的現(xiàn)象：一個(gè)是所謂的規(guī)模法則（Scaling law），另一個(gè)是涌現(xiàn)能力（Emergent abilities）。目前對(duì)這兩個(gè)現(xiàn)象還沒有非常好的解釋，而這些正是復(fù)雜系統(tǒng)的典型特征。我們觀察城市、生物等任何復(fù)雜系統(tǒng)時(shí)，都能看到隨著規(guī)模的增大，各方面指標(biāo)會(huì)呈現(xiàn)冪律縮放。在神經(jīng)網(wǎng)絡(luò)中，OpenAI 之所以敢于在大模型上下注，是因?yàn)橐?guī)模法則有很強(qiáng)的預(yù)測(cè)性，當(dāng)我們把模型做到一定規(guī)模時(shí)，損失（loss）一定會(huì)降到這么低。但這僅僅是眾多規(guī)模法則中的一小部分?，F(xiàn)在可能在訓(xùn)練之后，推理階段也會(huì)展現(xiàn)出相應(yīng)的規(guī)模法則。我們知道，規(guī)模法則是臨界現(xiàn)象的一個(gè)典型標(biāo)志，這意味著神經(jīng)網(wǎng)絡(luò)模型最終變成一個(gè)復(fù)雜系統(tǒng)后，一定是一個(gè)遠(yuǎn)離平衡的臨界系統(tǒng)。對(duì)于這種系統(tǒng)的認(rèn)知，統(tǒng)計(jì)物理可能提供相應(yīng)的工具，而目前還沒有其他更深入的認(rèn)識(shí)。因此，我認(rèn)為這些都是未來兩個(gè)領(lǐng)域能夠密切結(jié)合的非常重要的點(diǎn)。- 6 - AI 會(huì)超越人類的理解力發(fā)現(xiàn)新物理嗎？ Q：AI是否真的有可能幫助我們發(fā)現(xiàn)新的物理現(xiàn)象或者新的機(jī)制呢？還是說 AI 的長處并不在這里，仍然需要我們?nèi)祟惖膮⑴c？ 尤亦莊：我覺得這是一個(gè)非常好且重要的問題?，F(xiàn)在的 AI 看起來與我們追求的通用人工智能（AGI）還有一定的差距，所以很多人都在問，通往通用人工智能的路在哪里？我以前聽祁曉亮老師講過，也有很多人在交流這些觀點(diǎn)，就是所謂系統(tǒng)一和系統(tǒng)二的概念。系統(tǒng)一是憑直覺響應(yīng)的系統(tǒng)，系統(tǒng)二則需要反思，需要為世界建模。我認(rèn)為 AI 發(fā)現(xiàn)新物理的過程其實(shí)就是在從系統(tǒng)一慢慢走向系統(tǒng)二。很多時(shí)候，人類的理性思維能力來源于對(duì)世界的預(yù)測(cè)，當(dāng)發(fā)現(xiàn)預(yù)測(cè)被現(xiàn)實(shí)打臉時(shí)，會(huì)感到痛苦，從而產(chǎn)生理性思考。因此，如何訓(xùn)練 AI 對(duì)世界進(jìn)行預(yù)測(cè)、建立世界模型，是一個(gè)非常重要的問題。以前大家可能更重視的是表示學(xué)習(xí)，有點(diǎn)像是如何描述世界，或者更多的是關(guān)注如何做編碼?，F(xiàn)在，我們還需要學(xué)習(xí)如何預(yù)測(cè)，更多的是在說這個(gè)事件如何演化，如果你對(duì)世界進(jìn)行一些操作，這些操作會(huì)如何改變世界，有什么因果效應(yīng)。所以，這些問題可能是未來 AI 更需要關(guān)注或研究的方向。作為物理學(xué)家，我覺得物理學(xué)實(shí)驗(yàn)室為 AI 提供了一個(gè)很好的平臺(tái)，可以讓 AI 在實(shí)驗(yàn)室里與實(shí)驗(yàn)和現(xiàn)實(shí)互動(dòng)。也許不能直接把 AI 放到大街上自由游蕩，那有點(diǎn)危險(xiǎn)，但可以在一個(gè)可控的科學(xué)實(shí)驗(yàn)室環(huán)境中，讓 AI 做化學(xué)實(shí)驗(yàn)、物理實(shí)驗(yàn)，在這個(gè)過程中學(xué)習(xí)自然的規(guī)律、自然科學(xué)的規(guī)律，讓它為自然科學(xué)建模。我認(rèn)為這是讓 AI 學(xué)到物理、發(fā)現(xiàn)新物理規(guī)律所必須要經(jīng)過的途徑。相關(guān)文章：《時(shí)間、信息與人工智能：從信息動(dòng)力學(xué)角度看大模型的未來》 張江：我非常同意尤亦莊老師的觀點(diǎn)，AI 需要更多地理解物理世界。在現(xiàn)代社會(huì)，我們面對(duì)的世界充滿了復(fù)雜性和不確定性。此外，我認(rèn)為可能還會(huì)出現(xiàn)另一種可能性，這與大型模型的發(fā)展有關(guān)，特別是許多大公司正在開發(fā)的多模態(tài)大模型?，F(xiàn)在的模型可以同時(shí)學(xué)習(xí)語言、圖像，甚至音頻和視頻等，將這些多模態(tài)數(shù)據(jù)集中起來后，可以有一個(gè)統(tǒng)一的表征，無論是建立對(duì)世界的模型還是進(jìn)行理解。因此，我預(yù)見未來可能存在這樣一種可能性，這與兩位的探討有關(guān)：AI 可能在人類難以處理的領(lǐng)域之間發(fā)現(xiàn)一些共同的規(guī)律。例如，一方面在學(xué)習(xí)氣象模型，另一方面在學(xué)習(xí)經(jīng)濟(jì)模型，如果將兩邊的數(shù)據(jù)同時(shí)用來訓(xùn)練一個(gè)更大的模型，它很有可能找到不同領(lǐng)域之間的共性規(guī)律。這正是我們復(fù)雜科學(xué)追求的目標(biāo)，即探索復(fù)雜系統(tǒng)背后是否有一些統(tǒng)一的規(guī)律。但由于人腦的局限性，我們很難找到這種統(tǒng)一性。未來在大型模型中，人工智能可能自行學(xué)會(huì)這些規(guī)律。但這時(shí)，可解釋性問題又出現(xiàn)了，即 AI 可能發(fā)現(xiàn)了新物理，但很難向我們解釋清楚。因此，我們后續(xù)可能需要研究其數(shù)據(jù)或模型本身，以揭開這層神秘的面紗。很有可能會(huì)出現(xiàn)這種情況。唐乾元：剛才尤亦莊老師提到了“打臉”的事情，也就是說，為什么我們會(huì)對(duì)某些預(yù)測(cè)感到意外，是因?yàn)樗c我們預(yù)期中要發(fā)生的事實(shí)不符。因此也有人提出自由能原理來解釋人類或智能體對(duì)世界的感知和探索，并認(rèn)為這有可能是意識(shí)形成的基礎(chǔ)。那么，是否有可能這是另一種發(fā)現(xiàn)物理的方法？想請(qǐng)張江老師就這一點(diǎn)進(jìn)一步闡述一下。張江：自由能原理（Free Energy Principle）可能對(duì)我們理解智能有很大的幫助。有人說自由能原理在某種意義上是智能的第一性原理，這有一定的可能性。它給我們的最大啟發(fā)，是智能系統(tǒng)實(shí)際上是內(nèi)在和外在雙向結(jié)合的結(jié)果。我們現(xiàn)在的數(shù)據(jù)驅(qū)動(dòng)型人工智能模型比較強(qiáng)調(diào)直接從數(shù)據(jù)中獲取經(jīng)驗(yàn)，可能不太關(guān)注先天結(jié)構(gòu)這部分。但實(shí)際上，我們知道人腦有先天性的結(jié)構(gòu)，比如我們對(duì)對(duì)稱性很敏感，一看到對(duì)稱的東西就很興奮，尤其是物理學(xué)中，我們非常喜歡追求更高層次的對(duì)稱性，這可能來源于智能的某種先天性結(jié)構(gòu)。因此，學(xué)習(xí)過程不僅是單方面被動(dòng)地被外在數(shù)據(jù)訓(xùn)練，很多時(shí)候是自己的先天性結(jié)構(gòu)和外在數(shù)據(jù)之間的互訓(xùn)，相當(dāng)于互相影響。所以我認(rèn)為，現(xiàn)在的人工智能在這方面的探索還比較少，尤其是智能的先天結(jié)構(gòu)對(duì)最終結(jié)果的影響，這是一個(gè)非常有趣的問題。我對(duì)這個(gè)問題也非常感興趣，因?yàn)槲艺J(rèn)為很多 AI 網(wǎng)絡(luò)在初始化時(shí)，其初始化并不那么符合生物學(xué)或物理學(xué)原理。自然界中，實(shí)際上會(huì)用一些更簡(jiǎn)單的物理機(jī)制產(chǎn)生初始結(jié)構(gòu)，然后再演化。雖然這些結(jié)構(gòu)在某些表現(xiàn)上不如機(jī)器學(xué)習(xí)任務(wù)，但它們有一些好處，比如能耗少，不需要那么多能量就能執(zhí)行復(fù)雜任務(wù)，這是智能的另一種體現(xiàn)。比如下圍棋，雖然人下不過機(jī)器，但人腦耗能少。從這個(gè)角度看，自然規(guī)律本身的約束可能在其中起到了重要作用，幫助降低了訓(xùn)練成本或遷移難度，或者擁有了更強(qiáng)的多模態(tài)能力等。這些可能都需要我們有更多的理論解釋和研究。尤亦莊：我覺得現(xiàn)在的 AI 缺乏文化。實(shí)際上，很多知識(shí)是固化在人類社會(huì)文化中的。比如剛才提到的對(duì)稱性，可能是因?yàn)槲覀兪艿搅岁P(guān)于對(duì)稱性教育的影響，被數(shù)學(xué)老師反復(fù)強(qiáng)調(diào)對(duì)稱性的重要性，或者讓我們感受到了它的美。這種文化能夠固化在結(jié)構(gòu)中，一代代傳承下去，成為一種信仰。但現(xiàn)在的 AI 似乎就缺乏這種信仰，數(shù)據(jù)指向哪里，它就往哪里走，它沒有辦法形成自己的信仰。我認(rèn)為這是一個(gè)需要我們?nèi)ニ伎嫉膯栴}，我們?cè)撊绾巫?AI 形成自己的信仰。- 7 - 下一個(gè)諾獎(jiǎng)級(jí)的科學(xué)研究會(huì)是什么？ Q：之前2021年復(fù)雜系統(tǒng)的研究者獲得了諾貝爾物理學(xué)獎(jiǎng)，在這次 AI 研究獲得諾貝爾物理學(xué)獎(jiǎng)之后，我們不禁會(huì)想，在未來是否還會(huì)有更多超乎我們想象的、與復(fù)雜系統(tǒng)和 AI 相關(guān)的研究能夠獲得諾貝爾物理學(xué)獎(jiǎng)？ 張江：我想先談?wù)勎覀€(gè)人的看法。我認(rèn)為目前的 AI 研究雖然非?；馃?，但還相對(duì)局限在單體智能上。即便我們有再大的模型，它也只是一個(gè)公司擁有的大參數(shù)量模型。我認(rèn)為未來很有可能，這些模型本身會(huì)變得更加分布式、更加多體化。為什么這么說呢？因?yàn)槲矣^察到，盡管 AI 發(fā)展迅猛，但它仍然無法解決我們?cè)谖镔|(zhì)世界中面臨的大部分主要問題，比如現(xiàn)在最大的一些問題包括能源危機(jī)、氣候危機(jī)。整個(gè)地球可能會(huì)因?yàn)闇囟壬叩揭欢ǔ潭榷l(fā)生巨大變化，這是非常令人擔(dān)憂的。但目前人工智能的發(fā)展很少有相關(guān)研究朝這個(gè)方向努力，所以我認(rèn)為這個(gè)領(lǐng)域有很大的改進(jìn)空間。比如，今天我開車時(shí)發(fā)現(xiàn)交通問題非常嚴(yán)重。未來，如果自動(dòng)駕駛技術(shù)大規(guī)模應(yīng)用，可能會(huì)使每個(gè)人的出行變得更加優(yōu)化，減少很多能源浪費(fèi)。當(dāng)然，相關(guān)的領(lǐng)域還有很多，包括物流、人們的出行，以及整個(gè)物質(zhì)的生產(chǎn)和消費(fèi)，這些領(lǐng)域都有巨大的改進(jìn)空間。未來的 AI 研究是否有可能更加跨學(xué)科，幫助我們使整個(gè)人類社會(huì)的物理、物質(zhì)、能量的流動(dòng)變得更加高效？我認(rèn)為這將具有重大意義，可能是一個(gè)諾貝爾獎(jiǎng)級(jí)別的研究。不知道大家對(duì)此有什么看法？尤亦莊：我認(rèn)為，如果我們實(shí)現(xiàn)了常溫超導(dǎo)，這無疑是諾貝爾獎(jiǎng)級(jí)別的成就。同樣，如果可控核聚變得以實(shí)現(xiàn)，那也將是諾貝爾獎(jiǎng)的有力候選。從物理學(xué)的角度來看，我認(rèn)為量子信息領(lǐng)域很有可能再次獲得一兩個(gè)獎(jiǎng)項(xiàng)，因?yàn)檫@個(gè)領(lǐng)域的進(jìn)展確實(shí)非常顯著，并且成為了眾多學(xué)科的研究焦點(diǎn)。至于量子引力領(lǐng)域，也有可能獲得獎(jiǎng)項(xiàng)。比如，今年有幾位科學(xué)家，他們提出了引力與量子糾纏和時(shí)空對(duì)偶的觀念，已經(jīng)獲得了一個(gè)僅次于諾貝爾獎(jiǎng)的獎(jiǎng)項(xiàng)。所以，我認(rèn)為在量子力學(xué)、量子信息以及對(duì)時(shí)空認(rèn)識(shí)的深化這些領(lǐng)域，未來很有可能出現(xiàn)更多的諾貝爾獎(jiǎng)級(jí)別的研究。唐乾元：AI 在尋找共同觀點(diǎn)方面的幫助，我認(rèn)為是值得獲得和平獎(jiǎng)的。還有很多各種各樣的可能性，前段時(shí)間我看到一個(gè)文章，可能是在《自然》雜志上，講到我們可以利用 AI 來解決矛盾和促進(jìn)溝通。比如說，當(dāng)雙方存在分歧時(shí)，AI 能夠更便捷地找出雙方觀點(diǎn)中的共同點(diǎn)，幫助我們更好地達(dá)成共識(shí)。在這個(gè)意義上，AI 的貢獻(xiàn)或許可以獲得和平獎(jiǎng)的提名。尤亦莊：那 GPT 完全值得諾貝爾文學(xué)獎(jiǎng)了。張江：目前關(guān)于復(fù)雜性的研究還相對(duì)較少，因?yàn)楝F(xiàn)在基本上我們不需要深入理解復(fù)雜性是什么，AI 的風(fēng)格就是直接干掉。歷史上關(guān)于復(fù)雜性的定量定義不下二十多種，大家對(duì)此爭(zhēng)論不休。但有一個(gè)共同點(diǎn)是，復(fù)雜性與信息、熱力學(xué)以及統(tǒng)計(jì)物理等領(lǐng)域密切相關(guān)。由此可見，復(fù)雜性本身既立足于信息計(jì)算領(lǐng)域，又與物理和統(tǒng)計(jì)學(xué)緊密相關(guān)，因此它與 AI 的關(guān)系也極為密切。Q：既然大模型是對(duì)勢(shì)函數(shù)的構(gòu)建，我們能不能把訓(xùn)練之后的勢(shì)函數(shù)提取出來，對(duì) AI 進(jìn)行解釋？ 尤亦莊：這是一個(gè)挺不錯(cuò)的思路。但是大模型中的參數(shù)太多了，很多時(shí)候我們并不清楚它是如何得出答案的。在這方面，人們已經(jīng)有了一些思考。比如我以前參與合作的項(xiàng)目中，我們提出了一個(gè)想法：或許可以用第二個(gè) AI 來分析第一個(gè) AI 的思考過程。第一個(gè) AI，我們稱之為任務(wù) AI，它的任務(wù)是處理數(shù)據(jù)，只需要完成從數(shù)據(jù) A 到數(shù)據(jù) B 的轉(zhuǎn)換任務(wù)。它在訓(xùn)練過程中會(huì)形成自己的神經(jīng)網(wǎng)絡(luò)參數(shù)，這些參數(shù)以及神經(jīng)網(wǎng)絡(luò)的神經(jīng)元活動(dòng)本身也可以作為訓(xùn)練數(shù)據(jù)，用來訓(xùn)練第二個(gè) AI，以學(xué)習(xí)第一個(gè) AI 的思考方式。比如，第二個(gè) AI 可以嘗試對(duì)第一個(gè) AI 的神經(jīng)元數(shù)據(jù)進(jìn)行壓縮或表示學(xué)習(xí)等。你可以想象，這個(gè)過程可以不斷地嵌套，就像俄羅斯套娃一樣，第二個(gè) AI 可以再嵌套第三個(gè) AI。所以我認(rèn)為，在當(dāng)前的 AI 領(lǐng)域，我們開始看到一些將小 AI 嵌套在大 AI 模型中運(yùn)作的工作，這可能是未來發(fā)展的一個(gè)趨勢(shì)。比如最近比較火的序列模型 TTT（Test-Time Training），就是將小的 transformer 嵌入到大的 transformer 中。我認(rèn)為，用 AI 去分析 AI，而不是靠人來分析 AI，可能是未來提高可解釋性的一個(gè)途徑。Sun, Yu, et al. Learning to (learn at test time): Rnns with expressive hidden states. arXiv preprint arXiv:2407.04620 (2024). https:///abs/2407.04620 ?Q：我們觀察到機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)歷了大數(shù)據(jù)的規(guī)模效應(yīng)，這種效應(yīng)使得大型模型得到了訓(xùn)練。它可能還帶來了推理的規(guī)模效應(yīng)。那么，下一個(gè)規(guī)模效應(yīng)會(huì)出現(xiàn)在哪個(gè)方面呢？會(huì)不會(huì)是 AI 創(chuàng)造 AI，或者是多個(gè) AI 協(xié)同工作？ 張江：如果我們跳出 AI 這個(gè)圈子，從一個(gè)非專業(yè)人士的角度來看，一個(gè)顯著的觀察是它擴(kuò)展了人機(jī)交互的帶寬。傳統(tǒng)上，這個(gè)帶寬受限于屏幕、鼠標(biāo)和鍵盤，非常串行化。但現(xiàn)在，我們有了自然語言處理和多模態(tài)交互，這意味著我們可以用各種各樣的方式與計(jì)算機(jī)進(jìn)行交互。別忘了，站在機(jī)器前的人本身就是一個(gè)天然的、超級(jí)復(fù)雜的智能體，背后隱藏著深?yuàn)W的東西和大規(guī)模的未知。我認(rèn)為，如果未來還有進(jìn)一步的發(fā)展，很可能就出現(xiàn)在這種人機(jī)交互的帶寬上。當(dāng)帶寬擴(kuò)展到一定程度，可能會(huì)引發(fā)某種突變，說不定在某種意義上，心靈感應(yīng)就會(huì)出現(xiàn)。你一個(gè)念頭，機(jī)器就能捕捉到你的微表情，甚至你都不用說話，你自己可能都沒意識(shí)到你的眼睛眨了一下，但機(jī)器已經(jīng)明白了，這時(shí)，它可能會(huì)為你提供一些服務(wù)。我認(rèn)為這才是真正的未來，而不僅僅是單純地開發(fā)機(jī)器的能力，這是非?？岬?。尤亦莊：我非常贊同這個(gè)觀點(diǎn)。我認(rèn)為我們?nèi)祟惿鐣?huì)的一個(gè)重要規(guī)模效應(yīng)就在于此。單個(gè)個(gè)體的力量是有限的，但我們的社會(huì)已經(jīng)發(fā)展出了人類文明，這個(gè)文明的持續(xù)傳承，才是整個(gè)人類社會(huì)智能的真正實(shí)體所在。我認(rèn)為 AI 也是如此，AI 的下一個(gè)規(guī)模效應(yīng)將體現(xiàn)在 AI 網(wǎng)絡(luò)的形成上，即 AI 之間形成一個(gè)相互作用的復(fù)雜網(wǎng)絡(luò)。在這個(gè)復(fù)雜系統(tǒng)中，隨著 AI 數(shù)量 N 趨向于熱力學(xué)極限，即數(shù)量極大時(shí)，AI 將形成一個(gè)社會(huì)，從個(gè)體走向社會(huì)化。同時(shí)，AI 社會(huì)和人類社會(huì)將通過人機(jī)交互緊密聯(lián)系在一起。這種社會(huì)規(guī)模效應(yīng)可能是下一個(gè)規(guī)模效應(yīng)。張江：補(bǔ)充一點(diǎn)，如果你回顧人工智能的發(fā)展歷史，其實(shí)非常有趣。它一直在單體智能和多體智能之間循環(huán)往復(fù)，不斷迭代。早期，比如1956年人工智能學(xué)科創(chuàng)立時(shí)，目標(biāo)是讓機(jī)器單體具備強(qiáng)大的推理能力。到了八九十年代，圣塔菲學(xué)派興起，他們的一個(gè)重要貢獻(xiàn)就是轉(zhuǎn)向多體智能，通過大量智能體的合作來實(shí)現(xiàn)突破?，F(xiàn)在，隨著深度學(xué)習(xí)大模型在單體智能上的突破，未來一定是大規(guī)模多體智能合作的時(shí)代。我們今天的討論實(shí)際上是從物理學(xué)開始的。要描述這樣復(fù)雜的系統(tǒng)，我們肯定需要更新的統(tǒng)計(jì)物理學(xué)，需要統(tǒng)計(jì)物理學(xué)有更多的突破，無論是多模態(tài)信息處理的統(tǒng)計(jì)物理學(xué)，還是多個(gè)智能體互動(dòng)意義上的東西。這里可能還會(huì)帶來許多新的問題，這些問題可能會(huì)被納入物理學(xué)的研究范疇。我們已經(jīng)看到，機(jī)器學(xué)習(xí)領(lǐng)域中的一些難題，或許統(tǒng)計(jì)物理學(xué)可以作為一種工具。在我們剛才設(shè)想的未來，可能還會(huì)有更多的問題出現(xiàn)，統(tǒng)計(jì)物理學(xué)、復(fù)雜系統(tǒng)等各種各樣的工具都可能被應(yīng)用到這個(gè)領(lǐng)域中。閱讀報(bào)告全文，請(qǐng)?jiān)L問歐米伽研究所的“未來知識(shí)庫”
https://wx./group/454854145828 未來知識(shí)庫是“歐米伽未來研究所”建立的在線知識(shí)庫平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢(shì)。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 |
