OpenAI 創(chuàng)始人 Sam Altman 的環(huán)球之旅已經(jīng)進行到第四周，在此期間，他已經(jīng)去到五個大洲的近 20 個國家，與學(xué)生、開發(fā)人員和國家元首會面。今天，北京時間上午 9 點 20 分，Sam 以視頻連線的方式現(xiàn)身于中國北京舉辦的 2023 智源人工智能大會，發(fā)布了演講，并接受了院士張宏江的訪談對話。

演講依然圍繞近期他所呼吁的 AI 安全問題的關(guān)注。Sam 指出，當(dāng)下，AI 正以極快的速度發(fā)展并擴展人類想象的畫布。在此過程中，潛在紅利與危機是并存的。隨著日益強大的 AI 系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之大。考慮到 AI 未來所帶來的問題（如醫(yī)療、農(nóng)業(yè)領(lǐng)域的應(yīng)用）之嚴(yán)峻性，從當(dāng)下開始重視、推進 AI 安全是刻不容緩的。

Sam 特別提到，大國之間分歧常有，但在重要的大事上，還是需要協(xié)調(diào)與合作，尋找共同利益點。他特別引用了老子《道德經(jīng)》中的話：千里之行，始于足下。他認(rèn)為，當(dāng)下可以邁出的最有建設(shè)性的一步，是國際科技界間的通力合作，特別是推動建立提高 AI 安全技術(shù)進步方面的透明度和知識共享的機制。

值得注意的是，此前在周游列國時，在 AI 安全和治理方面，Sam 的主要觀點是：目前 AI 系統(tǒng)還沒有強大到威脅社會安全的地步，因此不必對正在研究的 AI 系統(tǒng)進行嚴(yán)格監(jiān)管，這無疑在減緩創(chuàng)新。此次在中國的演講，Sam 的演講未曾涉及監(jiān)管的討論。但他提出，人們的確需要為迎接超出想象強大的 AI 系統(tǒng)進行監(jiān)管和安全上的討論。

極客公園全程觀看了這場演講，以下內(nèi)容經(jīng)整理編輯后發(fā)布。

每次我訪問中國，我遇到的技術(shù)人才都能使我驚奇和振奮。正如你前面提到的，我現(xiàn)在正處于環(huán)世界之旅的第四個星期。我已經(jīng)去了在五個大洲的近 20 個國家，與學(xué)生、開發(fā)人員和國家元首會面。這次旅行對我是一種激勵。我們看到了世界各地的人們都已經(jīng)在使用 AI 技術(shù)，以令人難以置信的方式改變生活。我們也收到了來自用戶的寶貴反饋，告訴我們?nèi)绾文苁惯@些工具變得更好。

我們還有機會與外國領(lǐng)導(dǎo)人進行有意義的對話，討論需要建立的監(jiān)管安全措施，以確保安全和可靠地部署日益強大的人工智能系統(tǒng)。

整個世界現(xiàn)在都在集中注意力，想要解決當(dāng)今的人工智能問題，這也是非常正確的、值得我們努力解決的重要議題。我們還有很多工作要做，但鑒于我們已經(jīng)取得的進展，我相信我們一定會達到目標(biāo)。

今天，我想談一談未來。具體來說，我想談?wù)勎覀兛吹降?AI 能力的增長速度，以及我們現(xiàn)在需要做什么，才能為將它們部署到世界做負(fù)責(zé)任的準(zhǔn)備。

科學(xué)史告訴我們，技術(shù)進步遵循的是一條指數(shù)型曲線。我們在幾千年來的農(nóng)業(yè)革命、工業(yè)革命和計算革命中都看到了這一點。

但是，我們現(xiàn)在正在見證的人工智能革命影響如此之大的原因，不僅在于其影響的規(guī)模，也是其進展的速度。它正在擴展人類想象力的畫布，并以極快的速度這樣做。

想象一下未來十年的世界，通用人工智能系統(tǒng)，通常稱為 AGI，在幾乎每個領(lǐng)域?qū)I(yè)技能都超過了人類。這些系統(tǒng)產(chǎn)生的生產(chǎn)力最終可以超過我們最大公司所能產(chǎn)出的集體生產(chǎn)力。

潛在的紅利是巨大的。人工智能革命可以創(chuàng)造我們共享的財富，而且可能大幅提高每個人的生活水平。但我們必須共同管理風(fēng)險，才能達到這個目的。

我非常了解，大國之間有時可能會有它們的分歧。從古至今都是如此。但即使在最困難的時期，大國們也找到了在最重要的事情上進行合作的方法。大國之間的合作促進了關(guān)鍵的醫(yī)療和科學(xué)進步，如根除脊髓灰質(zhì)炎和天花等疾病，全球也共同努力減弱了氣候變化風(fēng)險。

隨著日益強大的 AI 系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之大。如果我們不小心行事、建立一個瞄向改善公共衛(wèi)生成果的 AI 系統(tǒng)的宗旨，可能因為對齊出現(xiàn)問題，向人們提供沒有根據(jù)的醫(yī)療建議，反而破壞了整個醫(yī)療體系。同樣，一個旨在優(yōu)化農(nóng)業(yè)實踐的 AI 系統(tǒng)可能會由于缺乏對影響糧食生產(chǎn)和環(huán)境平衡的長期可持續(xù)性的考慮，而無意中耗盡自然資源或破壞生態(tài)系統(tǒng)。我真心希望我們都能同意，推進 AGI 安全是我們需要找到共同利益點的最重要的領(lǐng)域之一。

我想在接下來的發(fā)言中重點談?wù)勎艺J(rèn)為我們可以從哪里開始。

第一個領(lǐng)域是 AGI 治理。AGI 是一種從根本上改變我們文明的強大力量，這意味著有意義的國際合作和協(xié)調(diào)是極其必要的。如果國際間能夠合作治理，那么我們每一個人都能受益。

如果我們安全和負(fù)責(zé)任地對其進行治理，AGI 系統(tǒng)可以為全球經(jīng)濟創(chuàng)造無與倫比的經(jīng)濟財富，能夠解決像氣候變化、健康、安全這樣的共同挑戰(zhàn)，并以無數(shù)其他方式改善社會。我非常相信這樣的未來將會到來。而我們所有居住在這個星球的人，需要共同投資于 AGI 的安全措施，才能到達、享受這樣的未來。要做到這一點，需要大家認(rèn)真合作。AGI 是一個全球性的科技，也有著全球范圍內(nèi)的影響力。出現(xiàn)事故或者不負(fù)責(zé)任地發(fā)展，其代價會影響我們所有人。

國際合作中，我認(rèn)為有兩個關(guān)鍵領(lǐng)域是最重要的。

首先我們需要建立國際規(guī)范和標(biāo)準(zhǔn)，并注意過程中注重包容性。在任何國家使用 AGI 系統(tǒng)，都應(yīng)平等而一致地遵循這樣的國際標(biāo)準(zhǔn)和規(guī)范。在這些安全護欄內(nèi)，我們相信人們有足夠的機會做出自己的選擇。

第二，我們需要國際合作，以可核查的方式建立對安全開發(fā)日益強大的 AI 系統(tǒng)的國際間信任。我并不妄想這是一件容易的事，需要投入大量和持續(xù)的關(guān)注。

道教之書教育我們，千里之行，始于足下。我們認(rèn)為，我們可以邁出的最有建設(shè)性的一步是與國際科技界合作，特別是推動建立提高 AGI 安全技術(shù)進步方面的透明度和知識共享的機制。當(dāng)研究人員發(fā)現(xiàn)新出現(xiàn)的安全問題時，他們應(yīng)為了人類更大的利益分享他們的發(fā)現(xiàn)。我們需要認(rèn)真思考如何在尊重和保護知識產(chǎn)權(quán)的同時，鼓勵這樣的規(guī)范。這可以為我們深化合作打開新的大門。

更廣泛地說，我們應(yīng)該在促進和引導(dǎo) AI 對齊和安全研究方向進行投資。在 OpenAI，在如何讓人工智能系統(tǒng)成為一個更安全有用的系統(tǒng)的技術(shù)問題上，我們進行 AI 對齊研究。這可能指向，我們該如何訓(xùn)練 ChatGPT，使其不進行暴力威脅或協(xié)助用戶進行有害的活動。

但隨著我們?nèi)找娼咏?AGI 的時代，沒有對齊的 AI 系統(tǒng)的潛在影響力和影響規(guī)模將成倍增長?，F(xiàn)在積極主動地解決這些挑戰(zhàn)，能將未來出現(xiàn)災(zāi)難性結(jié)果的風(fēng)險降到最低。

對于目前的系統(tǒng)，我們主要利用人類反饋進行強化學(xué)習(xí)來訓(xùn)練我們的模型，使其成為一個有幫助的安全助手。這只是各種訓(xùn)練后調(diào)整技術(shù)中的一個例子。而且我們也在努力研究新的技術(shù)，其中需要很多艱苦的工程工作。

從 GPT4 完成預(yù)培訓(xùn)到我們部署它，我們專門花了 8 個月的時間來進行對齊方面的工作?？偟膩碚f，我們認(rèn)為我們在這方面做得很好。GPT4 比我們以前的任何模型都更加與人類對齊。

然而，對于更先進的系統(tǒng)，對齊仍然是一個未解決的問題，我們認(rèn)為這需要新的技術(shù)方法，同時增強治理和監(jiān)督。

我們想象一下，未來的 AGI 系統(tǒng)或許具有 10 萬行二進制代碼，人類監(jiān)管人員不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。因此，我們正在致力于研究一些新的和互補的研究方向，希望能實現(xiàn)突破。

其中一個是可擴展監(jiān)督。我們可以嘗試使用 AI 系統(tǒng)來協(xié)助人類監(jiān)督其他 AI 系統(tǒng)。例如，我們可以訓(xùn)練一個模型來幫助人類監(jiān)督發(fā)現(xiàn)其他模型的輸出中的缺陷。

第二個是可解釋性。我們想嘗試更好地了解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用 GPT-4 來解釋 GPT-2 中的神經(jīng)元。 在另一篇論文中，我們使用 Model Internals 來檢測一個模型何時在說謊。我們還有很長的路要走。我們相信，先進的機器學(xué)習(xí)技術(shù)可以進一步提高我們解釋的能力。

最終，我們的目標(biāo)是訓(xùn)練 AI 系統(tǒng)來幫助進行對齊研究。這種方法的好處在于，它可以隨著 AI 的發(fā)展速度而擴展。

獲得 AGI 帶來的非凡好處，同時降低風(fēng)險，是我們這個時代的開創(chuàng)性挑戰(zhàn)之一。我們看到中美兩國和世界各地的研究人員有很大的潛力共同實現(xiàn)共同的目標(biāo)，并致力于努力解決 AGI 對齊帶來的突出技術(shù)挑戰(zhàn)。

如果我們這樣做，我相信我們將能夠利用 AGI 來解決世界上最重要的問題，并極大地改善人類的生活質(zhì)量。非常感謝。