昨晚，「ChatGPT可能已經(jīng)有了意識(shí)」的話題就上了微博熱搜。

OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever在接受采訪時(shí)表示，現(xiàn)在的首要任務(wù)已經(jīng)不是制作下一個(gè)GPT或DALL·E，而是研究如何阻止超級(jí)AI的失控！

他認(rèn)為，ChatGPT可能已經(jīng)有意識(shí)，未來(lái)超級(jí)AI將會(huì)成為一種潛在風(fēng)險(xiǎn)。

文章地址：https://www./2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

而且未來(lái)人類，將會(huì)與機(jī)器融為一體。

而他自己未來(lái)在OpenAI工作的重點(diǎn)，已不是開發(fā)更為強(qiáng)大的AI系統(tǒng)，而是要帶領(lǐng)「超級(jí)對(duì)齊」團(tuán)隊(duì)，為人類與AI共生的世界，保駕護(hù)航。

某種程度上，這才是回歸到OpenAI成立的初心——確保AI能為人類服務(wù)。

在舊金山Mission區(qū)一條不起眼的街道上，OpenAI 的聯(lián)合創(chuàng)始人兼首席科學(xué)家Sutskever在公司一棟不起眼的辦公樓里完成了這次訪談。

他談了很多關(guān)于顛覆世界技術(shù)的下一步發(fā)展，以及為什么構(gòu)建OpenAI的下一代生成模型不再是他工作的重點(diǎn)。

Sutskever說(shuō)，他的工作重心已經(jīng)不是構(gòu)建下一代GPT或DALL-E，而是找出如何阻止人工智能（他認(rèn)為不是目前的AI，而是一種假想的未來(lái)技術(shù)，能夠全面超越人類智能的AI）的失控。

在他看來(lái)，有一天很多人類會(huì)選擇與機(jī)器融合為一體。

Sutskever的談話內(nèi)容很多聽起來(lái)都很瘋狂，但已經(jīng)比前兩年他說(shuō)過(guò)的話聽起來(lái)「理智」多了。

因?yàn)樗X得，ChatGPT已經(jīng)改變了很多人對(duì)技術(shù)的期望，將很多在普通人看來(lái)「永遠(yuǎn)不會(huì)發(fā)生」的事變成了「會(huì)比你想象的更快發(fā)生」。

在預(yù)測(cè)通用人工智能（他指的是像人類一樣聰明的機(jī)器）的發(fā)展之前，他說(shuō)：「重要的是，現(xiàn)在這個(gè)發(fā)展方向已經(jīng)出現(xiàn)了」，「人類在某個(gè)時(shí)間點(diǎn)一定會(huì)擁有AGI。也許OpenAI會(huì)構(gòu)建它。也許其他公司會(huì)建造它?！?/span>

OpenAI的首席執(zhí)行官Sam Altman在夏天的大部分時(shí)間都在環(huán)球訪問(wèn)，熱情地與政客們打交道，并在世界各地?cái)D滿人的禮堂發(fā)表演講。

不過(guò)Sutskever并不是一個(gè)公眾人物，他也不接受太多采訪。

他說(shuō)話時(shí)從容、有條理。當(dāng)他思考自己想說(shuō)的內(nèi)容以及如何表達(dá)時(shí)，他會(huì)停頓很長(zhǎng)時(shí)間，像解謎一樣翻來(lái)覆去地思考問(wèn)題。

他似乎對(duì)談?wù)撟约翰桓信d趣?！肝疫^(guò)著非常簡(jiǎn)單的生活，」他說(shuō)?！肝疑习?，然后回家。我不太做太多其他事情。有人會(huì)參加很多社交活動(dòng)。但我不會(huì)。」

但當(dāng)聊到人工智能，以及他在技術(shù)背后看到的劃時(shí)代的風(fēng)險(xiǎn)和回報(bào)時(shí)，他就變得非常健談「這將是具有里程碑意義的、驚天動(dòng)地的，它的出現(xiàn)會(huì)改變一切?！?/span>

Sutskever是圖靈獎(jiǎng)得主Hinton的學(xué)生，在他2000年拜入Hinton門下之時(shí)，大多數(shù)AI研究人員認(rèn)為神經(jīng)網(wǎng)絡(luò)是死路一條。

但Hinton不這么認(rèn)為。他當(dāng)時(shí)已經(jīng)開始訓(xùn)練微型模型，這些模型可以一次生成一個(gè)字符的短文本字符串。

Sutskever說(shuō)：「這就是生成式人工智能的開始。這真的很酷——只是性能還很一般?！?/span>

和Hinton一樣，他看到了神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的潛力的。

2012年，Sutskever、Hinton和Hinton的另一位研究生Alex Krizhevsky構(gòu)建了一個(gè)名為AlexNet的神經(jīng)網(wǎng)絡(luò)，他們訓(xùn)練該網(wǎng)絡(luò)來(lái)識(shí)別照片中的物體，其效果遠(yuǎn)遠(yuǎn)好于當(dāng)時(shí)的任何其他軟件，這成為了深度學(xué)習(xí)的大爆炸時(shí)刻。

英偉達(dá)的黃老板說(shuō)，當(dāng)多倫多團(tuán)隊(duì)研究AlexNet時(shí)，英偉達(dá)向多倫多團(tuán)隊(duì)提供了一些GPU。

但他們想要最新版本——GTX 580的芯片，不過(guò)這款芯片當(dāng)時(shí)一直處于脫銷狀態(tài)，幾乎買不到。

黃老板說(shuō)，Sutskever開車從多倫多去到了紐約居然買到一車GTX580。

「我不知道他是怎么做到的——我很確定用戶每人只能買一個(gè)。我們有一個(gè)非常嚴(yán)格的銷售政策，每個(gè)玩家只能買一個(gè)GPU，但他顯然裝滿了整個(gè)后備箱。

但這個(gè)裝滿GTX 580的后備箱改變了世界?！?/span>

AlexNet取得成功后，谷歌找上門來(lái)。它收購(gòu)了Hinton的公司DNNresearch，并邀請(qǐng)了Sutskever加入谷歌。

Sutskever在谷歌展示了深度學(xué)習(xí)的模式識(shí)別能力可以應(yīng)用于數(shù)據(jù)序列，例如單詞、句子以及圖像。

「Sutskever一直對(duì)語(yǔ)言很感興趣，」他的前同事、現(xiàn)任谷歌首席科學(xué)家Jeff Dean說(shuō)，「多年來(lái)我們進(jìn)行了很多討論。Sutskever對(duì)技術(shù)的發(fā)展有很強(qiáng)的直覺?！?/span>

但Sutskever并沒有在谷歌呆太久。2014年，他被招募成為OpenAI的聯(lián)合創(chuàng)始人。

在10億美元的支持下，這家新公司從一開始就將目標(biāo)設(shè)定為開發(fā)AGI，但當(dāng)時(shí)，很少有人真的認(rèn)為這目標(biāo)能很快達(dá)到。

但Sutskever加入后，設(shè)定這樣的目標(biāo)似乎就變得合理了起來(lái)。

「Y Combinator 」投資董事總經(jīng)理Dalton Caldwell表示，Sutskever早就名聲在外了。

「我記得Sam Altman稱Sutskever為世界上最受尊敬的研究人員之一，」Caldwell說(shuō)?！杆J(rèn)為Sutskever能夠吸引很多頂尖的人工智能人才加入。

他甚至提到，Yoshua Bengio認(rèn)為，不太可能找到比Sutskever更好的候選人來(lái)?yè)?dān)任OpenAI的首席科學(xué)家?！?/span>

OpenAI的第一個(gè)大語(yǔ)言模型在2016年問(wèn)世。隨后又接著推出了GPT-2和GPT-3，然后是DALL-E。

沒有人建造出如此好的東西。每一次發(fā)布新產(chǎn)品，OpenAI都提高了人們對(duì)AI可能性的認(rèn)知上限。

去年11月，OpenAI發(fā)布了ChatGPT，重新包裝了現(xiàn)有技術(shù)，直接顛覆了整個(gè)行業(yè)。

但是當(dāng)時(shí)，OpenAI并沒有意識(shí)到這一切。

Sutskever表示，公司內(nèi)部的期望已經(jīng)低得不能再低了，「我承認(rèn)，這讓我有點(diǎn)尷尬——我不知道我是否應(yīng)該說(shuō)出來(lái)，但管他呢，事實(shí)就是這樣——當(dāng)我們制作ChatGPT時(shí)，我并不覺得這個(gè)東西到底有啥好的。

當(dāng)你問(wèn)它一個(gè)事實(shí)問(wèn)題時(shí)，它會(huì)給你一個(gè)錯(cuò)誤的答案。我認(rèn)為這應(yīng)該不會(huì)有什么人用。人們會(huì)說(shuō)，你為什么要做這種東西，這東西很無(wú)聊！」

Sutskever說(shuō)，ChatGPT最吸引人的地方就是方便——那時(shí)候，ChatGPT背后的大型語(yǔ)言模型已經(jīng)存在了幾個(gè)月了。

但將它包裝在一個(gè)易于訪問(wèn)的界面中，并免費(fèi)讓所有人用，讓數(shù)十億人第一次意識(shí)到OpenAI和正在構(gòu)建一個(gè)什么產(chǎn)品，這還是第一次。

「第一次的體驗(yàn)真的讓人著迷，」Sutskever說(shuō)。「當(dāng)你第一次使用它時(shí)，我覺得幾乎是一種通靈一樣的體驗(yàn)。你會(huì)說(shuō)：天哪，這臺(tái)計(jì)算機(jī)似乎能理解我在說(shuō)什么?！?/span>

OpenAI在不到兩個(gè)月的時(shí)間里就積累了1億用戶，其中許多人都被這個(gè)令人驚嘆的新玩具弄得眼花繚亂。

存儲(chǔ)公司Box的首席執(zhí)行官Aaron Levie在推特上總結(jié)了ChatGPT發(fā)布后一周后整個(gè)行業(yè)的氛圍：

「ChatGPT是技術(shù)領(lǐng)域罕見的時(shí)刻之一，在這里你可以看到未來(lái)一切都將被顛覆的那一線曙光?！?/span>

「AGI在機(jī)器學(xué)習(xí)領(lǐng)域不再是一個(gè)貶義詞，」他說(shuō)，「這是一個(gè)很大的變化。人們之前的態(tài)度是：人工智能沒啥用，每一步都非常困難，道路會(huì)非常曲折。

當(dāng)人們炒作AGI時(shí)，AI研究人員會(huì)說(shuō)——問(wèn)題太多了，很多問(wèn)題解決不了。但有了ChatGPT，感覺就開始不一樣了?！?br>

這種轉(zhuǎn)變?cè)谝荒昵安砰_始發(fā)生？「這一切的發(fā)生都是因?yàn)镃hatGPT，」他說(shuō)。「ChatGPT讓機(jī)器學(xué)習(xí)研究人員得以實(shí)現(xiàn)自己的夢(mèng)想?！?/span>

而OpenAI的科學(xué)家從一開始就是布道者，他們一直通過(guò)博客文章和巡回演講來(lái)激發(fā)這些夢(mèng)想。

「現(xiàn)在終于有人在談?wù)撊斯ぶ悄軐⒆叨噙h(yuǎn)了——人們?cè)谡務(wù)揂GI，或者說(shuō)超級(jí)智能?！共粌H僅是研究人員?！父鲊?guó)政府正在討論這個(gè)問(wèn)題，」Sutskever說(shuō)?！高@很瘋狂?！?/span>

Sutskever堅(jiān)持認(rèn)為，所有這些關(guān)于還不存在（也可能永遠(yuǎn)不會(huì)存在）的技術(shù)的討論是一件好事，因?yàn)樗尭嗟娜艘庾R(shí)到那些他們自己已經(jīng)認(rèn)為是理所當(dāng)然的未來(lái)。

「你可以用AGI做很多令人驚奇的事情，不可思議的事情：自動(dòng)化醫(yī)療保健，使其便宜一千倍，效果好一千倍，治愈如此多的疾病，真正解決全球變暖問(wèn)題，」他說(shuō)。「但也有很多人擔(dān)心：'天啊，AI公司能成功管理這項(xiàng)巨大的技術(shù)嗎？’」

這樣看來(lái)，AGI聽起來(lái)更像是一個(gè)實(shí)現(xiàn)愿望的精靈，而不是現(xiàn)實(shí)世界中將要發(fā)生的事情。你可以對(duì)它許下任何你的愿望。

當(dāng)Sutskever談?wù)揂GI時(shí)，他到底在談?wù)撌裁?？「AGI并不是一個(gè)科學(xué)術(shù)用語(yǔ)，」他說(shuō)?！杆且粋€(gè)有用的門檻標(biāo)準(zhǔn)，一個(gè)參考點(diǎn)?！?/span>

在他看來(lái)「如果人類可以做到的事，AI也可以做到，那這就是AGI。」

雖然很多研究人員不相信真的會(huì)有AGI，但是這個(gè)愿景一直激勵(lì)著Sutskever。

他將神經(jīng)網(wǎng)絡(luò)和大腦的運(yùn)作方式進(jìn)行了比較。兩者都接收數(shù)據(jù)，聚合來(lái)自該數(shù)據(jù)的信號(hào)，然后基于一些簡(jiǎn)單的過(guò)程來(lái)決定（神經(jīng)網(wǎng)絡(luò)中的數(shù)學(xué)、大腦中的化學(xué)物質(zhì)和生物電）傳播或不傳播這些信號(hào)。

雖然這個(gè)比喻簡(jiǎn)化了很多細(xì)節(jié)，但核心就是這樣。

「如果你相信這一點(diǎn)——如果你允許自己相信這一點(diǎn)——那么就會(huì)產(chǎn)生很多有趣的衍生想法，」Sutskever說(shuō)。

「如果你有一個(gè)非常大的人工神經(jīng)網(wǎng)絡(luò)，它應(yīng)該做很多事情。如果人腦可以做某事，那么大型人工神經(jīng)網(wǎng)絡(luò)也可以做類似的事情?！?/span>

「如果你足夠認(rèn)真地意識(shí)到到這一點(diǎn)，那么一切都會(huì)水到渠成，」他說(shuō)?！肝业拇蟛糠止ぷ鞫伎梢杂眠@句話這個(gè)來(lái)解釋?！?/span>

2022年2月，Sutskever發(fā)帖稱，「今天的大型神經(jīng)網(wǎng)絡(luò)可能具有輕微的意識(shí)」

（谷歌DeepMind首席科學(xué)家、倫敦帝國(guó)理工學(xué)院教授、電影《機(jī)械姬》的科學(xué)顧問(wèn)Murray Shanahan在下面回復(fù)到「你這好像是在說(shuō)，這一大片麥田里已經(jīng)有了輕微的蘭州拉面」）。

當(dāng)其他人苦苦思索如何讓機(jī)器能夠與人類智能相媲美時(shí)，Sutskever卻在為能夠超越人類能力的機(jī)器做準(zhǔn)備了。

他將這種現(xiàn)象稱為超級(jí)人工智能：「他們會(huì)更深入地看待事物。他們會(huì)看到我們看不到的東西?！?/span>

他所說(shuō)的比人類聰明的智能是什么意思？

「我們?cè)贏lphaGo中看到了一個(gè)的超級(jí)智能的影子，」他說(shuō)。

2016年，DeepMind的下棋人工智能以4-1擊敗了世界上最好的圍棋棋手之一李世石。

「它弄清楚了如何以不同于人類方式下圍棋」Sutskever說(shuō)?！杆岢隽巳碌南敕?。」

Sutskever提到了AlphaGo最有名的第37步棋。在與李世石的第二場(chǎng)比賽中，人工智能的一步棋讓評(píng)論員感到困惑。

他們認(rèn)為AlphaGo下了一步昏招。但事實(shí)上，它下了棋史上從未見過(guò)的一步制勝棋。

「想象一下這種程度的洞察力，出現(xiàn)在社會(huì)所有領(lǐng)域時(shí)會(huì)發(fā)生什么」Sutskever說(shuō)。

這個(gè)想法導(dǎo)致Sutskever做出了他職業(yè)生涯中最大的轉(zhuǎn)變。

他與OpenAI的科學(xué)家同事Jan Leike一起成立了一個(gè)團(tuán)隊(duì)，專注于他們所謂的「超級(jí)對(duì)齊」。

對(duì)齊意思是讓人工智能模型做你想做的事，僅此而已。

「超級(jí)對(duì)齊」是OpenAI自己提出的概念，意思是控制超級(jí)智能做人類想讓它做的事情。

OpenAI的目標(biāo)是提出一套用于構(gòu)建和控制這種未來(lái)技術(shù)的故障安全程序。OpenAI表示將分配其計(jì)算資源的五分之一來(lái)解決該問(wèn)題，希望能在四年內(nèi)解決它。

「現(xiàn)有的對(duì)齊方法不適用于比人類更聰明的模型，因?yàn)樗鼈儚母旧霞僭O(shè)人類可以可靠地評(píng)估人工智能系統(tǒng)正在做什么，」Jan Leike說(shuō)，「隨著人工智能系統(tǒng)變得更加強(qiáng)大，它們將承擔(dān)更艱巨的任務(wù)?！?/span>

這將使人類更難評(píng)估它們。

「在與Ilya一起組建超級(jí)對(duì)齊團(tuán)隊(duì)時(shí)，我們已經(jīng)著手解決這些未來(lái)的對(duì)齊挑戰(zhàn)，」他說(shuō)。

谷歌首席科學(xué)家Dean表示：「不僅要關(guān)注大型語(yǔ)言模型的潛在機(jī)遇，還要關(guān)注其風(fēng)險(xiǎn)和缺點(diǎn)，這一點(diǎn)非常重要。」

對(duì)于Sutskever來(lái)說(shuō)，「超級(jí)對(duì)齊」遲早要做的事情?！高@是一個(gè)未解決的問(wèn)題，」他說(shuō)。

他認(rèn)為，像他這樣的核心機(jī)器學(xué)習(xí)研究人員正在致力于解決這個(gè)問(wèn)題?！肝疫@樣做是為了我自己的利益，」，「任何人構(gòu)建的任何超級(jí)智能都不能失控，這一點(diǎn)顯然很重要?！?/span>

超對(duì)準(zhǔn)的工作才剛剛開始。Sutskever表示，這需要研究機(jī)構(gòu)進(jìn)行廣泛的變革。但他心中有一個(gè)想要設(shè)計(jì)的保障措施的理想標(biāo)準(zhǔn)：一個(gè)像父母對(duì)待孩子一樣對(duì)待人類的系統(tǒng)。

「在我看來(lái)，這是黃金標(biāo)準(zhǔn)，」他說(shuō)?！溉藗冋娴暮荜P(guān)心自己的孩子，沒有人會(huì)否認(rèn)這一點(diǎn)?！?/span>

「一旦你克服了流氓人工智能的挑戰(zhàn)，然后呢？在一個(gè)擁有更智能的人工智能的世界里，人類還有生存空間嗎？」

「一種可能性——以今天的標(biāo)準(zhǔn)來(lái)看可能很瘋狂，但以未來(lái)的標(biāo)準(zhǔn)來(lái)看不會(huì)那么瘋狂——就是許多人會(huì)選擇成為人工智能的一部分?！筍utskever表示， 「一開始，只有最勇敢、最有冒險(xiǎn)精神的人才會(huì)嘗試這樣做。也許其他人會(huì)效仿，也可能不會(huì)」

參考資料：

https://www./2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/