個人使用的體會：谷歌為代表的的搜索引擎正在迅速被替代。 這幾個月，我用谷歌的頻率已經(jīng)越來越少，最近一個多月基本已經(jīng)不用了，只有當(dāng)ChatGPT給出的答案讓我有疑問，或者要搜某個網(wǎng)站才會去谷歌。因?yàn)樗o出答案要快捷省事得多，而且，還能幫我做很多事情。 譬如寫郵件，它不僅能根據(jù)對象寫出一份流暢和得體的郵件，而且可以寫出不同的版本，如禮貌一點(diǎn)的，語氣強(qiáng)硬一些的，如果對其中的遣詞造句有疑問，可以讓它修改替換。 又譬如最近鬧得很兇的那個平流層氣球，它能簡略而準(zhǔn)確的給出解釋，如果需要了解更詳細(xì)的內(nèi)容，可以針對答案中某一個知識點(diǎn)不斷地問它，它就能一步一步把氣球背后的科學(xué)原理解釋的非常清晰。 與谷歌這類傳統(tǒng)搜索引擎只能給予信息來源相比，使用ChatGPT的整個過程，感覺它不是一個機(jī)器，而是一個全知全能的學(xué)者坐在我對面，非常耐心的一步一步給我答疑解惑，給出的內(nèi)容是經(jīng)過篩選和整合的內(nèi)容。  人與機(jī)器人最大的區(qū)別之一，是語言習(xí)得。人類制造AI的終極目標(biāo)，是要讓機(jī)器人像人一樣能對話、思考，有智慧，甚至有情感。ChatGPT就是這樣一個雛形。 當(dāng)我們看波士頓動力公司的機(jī)器人，他們的外形更像人，可以騰空跳躍翻轉(zhuǎn)，做各種高難度動作，但我們不會覺得有多恐怖。但當(dāng)ChatGPT跟我聊天時，剛開始會有一股毛骨悚然的感覺。它太像我們了，它已經(jīng)獲得了人類獨(dú)有的使用語言的高級能力 。 它是怎么做到的？ 這要從人類怎么習(xí)得語言開始。 盡管對人類如何學(xué)習(xí)語言有很多未解之謎，但絕大部分人認(rèn)可至少有兩個基本途徑，天生獲得和后天學(xué)習(xí)。 人類的技術(shù)目前還沒法掃描嬰兒大腦，來記錄其學(xué)習(xí)語言過程。但一些特異情況給了我們一個窗口：譬如中風(fēng)后的語言恢復(fù)。 當(dāng)大腦缺血損傷后，病人會失去語言能力，但如果治療及時加上科學(xué)的訓(xùn)練，又能恢復(fù)語言能力。這是一個不幸但又很神奇的過程。 而ChatGPT就像給中風(fēng)病人做康復(fù)訓(xùn)練一樣，習(xí)得了人類的語言。 但它學(xué)習(xí)的方式跟人類又不同，是用機(jī)器深度學(xué)習(xí)，來搞明白人類語言中，字、詞、句之間的模式（patterns）和關(guān)系，從而獲得像人類一樣的語言能力。 它的第一個突破性的階段是大型語言模型（LLM）。也就是通過讀取分析大量的文字，來推斷出字詞之間的關(guān)系。 這跟我們小時候?qū)W語言是一樣，遣詞造句，譬如先學(xué)了“我”字，然后再學(xué)習(xí)能搭配的詞，“我們，我的，愛我”等等。 其實(shí)我們早就用到了這種模式。譬如你在微信上打字，輸入“我”，后面就會跳出一串提示，“們，們的，在，們在”，這就是大語言模型在做預(yù)測，預(yù)測你想說什么。這也是ChatGPT這類人工智能的起點(diǎn)：預(yù)測。 AI有兩種基本的預(yù)測， 一是補(bǔ)充，譬如“我要吃---” 二是填白，譬如“我---吃藥” 前者叫做生成型的預(yù)測，后者叫做判別型的預(yù)測。從我們考試時做完形填空的經(jīng)驗(yàn)就知道，在兩個詞中間填空的難度，是小于在它后面填空的難度的。因?yàn)楹竺嫣钍裁?，只有前面的語境作為參考，其余部分都要靠AI自己來生成。所以，對AI來說，如果它學(xué)會了補(bǔ)充，就一定會做填白。但反過來卻不一定。 那早期的AI是如何做完形填空，知道要填哪個詞呢？ 用最笨的辦法，通過統(tǒng)計(jì)來如何預(yù)測下一個詞最接近的結(jié)果，也就是統(tǒng)計(jì)平時用的最多的那個詞。然后通過校正誤差來調(diào)整，讓它的預(yù)測更接近人的意圖。 這個做法有個嚴(yán)重的局限，它只考慮它前后的詞，遠(yuǎn)一點(diǎn)就不行了，因?yàn)樗皇前颜Z言作為一個整體來學(xué)習(xí)。所以，它只能預(yù)測簡單的常用詞，而無法理解復(fù)雜語言環(huán)境，譬如第二種補(bǔ)充預(yù)測中，AI把我“要”吃藥，和我“不”吃藥這兩個字填進(jìn)去，語法上都是正確的，但含義相反。因此，要讓它寫出符合邏輯的長句和文章就太難了。 我在2020年寫過兩篇GPT-3的文章，與人工智能的謝博士對談中提到了這個問題，AI還不能更深入理解語言的復(fù)雜環(huán)境（顛覆！硅谷正在內(nèi)測秒殺人腦的機(jī)器人，背后又是伊隆.馬斯克）。 關(guān)鍵性飛躍 為了解決這個問題，2017年，谷歌的一個團(tuán)隊(duì)引入了轉(zhuǎn)化器（Transformer）。這是人工智能的一次關(guān)鍵性突破。 這是一個在谷歌翻譯基礎(chǔ)上發(fā)展起來的神器，它通過編碼和解碼，來追蹤上下文信息，可以處理較長的文本串，準(zhǔn)確地捕捉到單詞的含義。例如，火辣這個詞，在“她有著火辣的身材”，和“她覺得嘴巴里火辣辣的”，能察覺出不同的含義。 這種方法有一個關(guān)鍵的部分：自注意力機(jī)制（self-attention mechanisms）。大白話就是，讓AI能就像人一樣，能意識到一個詞語在不同的環(huán)境下有不同分量的含義，然后再與其他詞語進(jìn)行匹配。就像前面的例句，在空白處填“吃飯”還是“吃藥”，不僅取決于前后詞語的含義，而要考慮整句話，整篇文章的含義。 簡單的解釋，讓單詞實(shí)現(xiàn)自注意力的方法是根據(jù)不同的語境，對語言的輸入和輸出進(jìn)行編碼和解碼，給每個詞打分再加權(quán)，以推斷出意義和背景。譬如火辣的含義，要放在是整個人類的語料庫中去理解其含義。 語言的準(zhǔn)確含義源于比較。比如說，一個人是不是富有，不是用一個數(shù)字就能說明的，而是要把他與別人進(jìn)行比較。當(dāng)大家都只賺10萬一年時，年入百萬顯然就屬于富有。但大家都賺100萬的時候，就不能說百萬年薪富有了。 自我注意力機(jī)制就是用來解決這個問題的。它通過打分比較，來讓機(jī)器人明白人類語言的確切含義，一個詞，一句話，在整個語言環(huán)境中意味著什么。 回到最開始的例句，當(dāng)“我要吃---”這句話放在一篇背景是早晨的文章中，我要“吃飯”的這個詞的權(quán)重會高于我要吃“辣”，然后是高于我要吃“零食”，更高于“吃冰激凌”。因?yàn)榻^大部分人早上起來說話會說吃飯，而不是零食，更少會說吃冰激凌。 而在第二句話，在一個人生病的語境下，“想吃藥”的權(quán)重會增加，“不想”吃藥的權(quán)重會降低。再復(fù)雜一點(diǎn)，把人細(xì)分成大人和小孩，那小孩“不想”吃藥，比大人的“不想”吃藥的權(quán)重會更高。 當(dāng)然，文章越長，考量的因素會越來越多，譬如現(xiàn)在的兒童藥都加了各種香甜好吃的口味，有的小孩會喜歡吃藥，那在這種語境下，AI也會把小孩“不想”吃藥的權(quán)重降低。 這是ChatGPT借助轉(zhuǎn)換器等模型，做出的一個令人震驚的突破，從只會做判別型的預(yù)測到做生成式的預(yù)測，這是里程碑式的突破。這意味著它不但學(xué)會了做完形填空，還能根據(jù)人的指令，生成新的內(nèi)容。所以，當(dāng)我們跟它對話時，即使不提供語境，它也能自己生成答案。 而且，它的這種自我生成式的能力，讓它不單能自己生產(chǎn)文本內(nèi)容，還能生成圖像。這在計(jì)算機(jī)視覺技術(shù)上也是巨大的突破。 此外，ChatGPT還使用了記憶、反饋學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等等各種復(fù)雜的模型，不斷的讓預(yù)測變得更加準(zhǔn)確。譬如無監(jiān)督學(xué)習(xí)模型，能讓軟件自己找出數(shù)據(jù)中的模式，而不必告訴它在看什么。而反饋學(xué)習(xí)模型，則能讓我們每個人跟ChatGPT 的每一次對話，都成為一個幫它校正錯誤的過程，以盡量減少有害的、不真實(shí)的和有偏見的輸出，循環(huán)往復(fù)。 當(dāng)ChatGPT解決了每一個字、詞、句在人類整個語境中的角色關(guān)系，就明白了人類是如何說話的，當(dāng)它被投入互聯(lián)網(wǎng)，與上億人進(jìn)行對話，它就在日以繼夜的不斷的學(xué)習(xí)和進(jìn)步，越來越接近人類的語言。這就是科學(xué)家如何訓(xùn)練AI變得能思考的。 簡而言之，ChatGPT是通過搜羅分析人類龐大的語言庫，通過給語言在不同語境下編碼、解碼、打分這樣的手段，來理解其邏輯關(guān)系，再給予大量訓(xùn)練、反饋、校正，終于學(xué)會了像人一樣說話。 ChatGPT的能力有沒有被夸大？ 當(dāng)然沒有！ 也不要拿元宇宙那玩意來跟它比較，完全沒有可比性。ChatGPT所代表的是一個革命性的變革，它正在發(fā)生，而且我們所有人都在參與。 我們可以用孩子來類比，想象下它的潛力有多可怕。 一個幼兒園年齡段的孩子，就像我家老二，一天時間里有多少人在訓(xùn)練她？學(xué)校老師同學(xué)、動畫片的人物、父母和哥哥，她的朋友們，平均一天不會超過50個人。這已經(jīng)是很好的人類訓(xùn)練環(huán)境了。 再想想ChatGPT，每天的活躍用戶早已經(jīng)超過一億了，如果投入足夠的錢和人力算力，十億日活恐怕也是可以實(shí)現(xiàn)的。這是多么可怕的事情！一個最聰明的人日以繼夜不知疲倦的學(xué)習(xí)，幾億人在訓(xùn)練它，它最終會變得多聰明？ 所以，在它擅長的領(lǐng)域，它一定會超過人類的，至少是絕大部分人類。 舉一個很小的例子。我問它：為什么女司機(jī)開車容易出事？ 這是中文版的回答。  英文版回答更精準(zhǔn)：
這個答案已經(jīng)秒殺掉了地球上一半以上的人。我們可以試試在大街上隨機(jī)問這個問題，多少人會犯基本的邏輯錯誤？ 大部分人類是不夠聰明的，有各種偏見和狹隘，但AI沒有這個問題。在很多方面，它會遠(yuǎn)遠(yuǎn)超過人類。 但ChatGPT確實(shí)又有還不夠聰明的地方。 一是犯錯，給出的風(fēng)馬牛不相及甚至完全錯誤的答案。 這是最不需要擔(dān)心的事情，因?yàn)榧m錯對齊就是它天生的功能之一。它已經(jīng)發(fā)展出了各種復(fù)雜的模型，譬如獎勵機(jī)制、微調(diào)機(jī)制、反饋機(jī)制等等，其目標(biāo)都是讓AI的表現(xiàn)最大可能的接近人類的真實(shí)感受和需求，像人一樣說話。它每天都會犯很多錯，但會有一天無限接近真人。 有人擔(dān)心，如果很多人故意輸入大量錯誤或虛假有害信息，譬如種族滅絕有理。會不會將AI訓(xùn)練成認(rèn)為種族滅絕有理的惡魔？ 理論上是有可能，但ChatGPT已經(jīng)加入了大量的人工干預(yù)。但我認(rèn)為這不是AI的問題，而是人類的問題：如果人類想讓它成為一個混蛋，那它就真的會成為一個混蛋。 第二個顯得很傻的地方，是它的數(shù)學(xué)能力。很多人在網(wǎng)上吐槽，它的算術(shù)能力有時候還不如一個幾塊錢的計(jì)算器。 當(dāng)我們理解了前面所說的原理，就能理解這其實(shí)不是它 的問題。因?yàn)镃hatGPT作為一個文本處理的AI，只是選擇了訓(xùn)練語言作為突破口，讓它做數(shù)學(xué)題當(dāng)然不行，這就像拿恐龍跟食人魚比較誰更強(qiáng)壯。 事實(shí)上，它也可以用來訓(xùn)練數(shù)學(xué)的規(guī)則，只是需要更多時間。OpenAI說它的模型目前能處理小學(xué)數(shù)學(xué)題目，也有其他AI公司說已經(jīng)訓(xùn)練到能做大學(xué)數(shù)學(xué)題目了。 但這一點(diǎn)也暴露出人工智能真正的局限和難點(diǎn)：強(qiáng)大的學(xué)習(xí)能力，相對較弱的理解能力（至少目前是這樣的）。 ChatGPT能很好地學(xué)習(xí)記憶對比文本數(shù)據(jù)，但他們不能從數(shù)據(jù)中推斷出'規(guī)則'。也就是說，ChatGPT能寫一篇好文章，但它不知道人類為什么要這樣寫。它能做1+1=2 這樣的運(yùn)算，但它不知道為什么1+1=2 。它的設(shè)計(jì)不是為了學(xué)習(xí)“如果——否則”這樣的邏輯推理。 從這一點(diǎn)上看，它距離人類的邏輯推理和思考能力還差得遠(yuǎn)，這也是我們不需要恐懼它的原因。我們可以把它訓(xùn)練成解決最復(fù)雜的數(shù)學(xué)運(yùn)算，但還沒法把它訓(xùn)練的像牛頓一樣，發(fā)展了微分學(xué)的原理，或者頓悟出更高階的、人類無法理解的數(shù)學(xué)或物理學(xué)定律。 ChatGPT真正的挑戰(zhàn)，是“黑盒子”問題。 如今的機(jī)器學(xué)習(xí)模型大多是“黑盒”，也就是說，當(dāng)我們把海量數(shù)據(jù)和文本扔進(jìn)去，用各種復(fù)雜的算法和模型進(jìn)行大量的訓(xùn)練后，到某個階段，我們已經(jīng)搞不明白AI是怎么得出某個結(jié)果的，AI的進(jìn)化成了人類無法理解的“黑盒子”。  這個特性被認(rèn)為是人工智能技術(shù)最大問題之一，它讓機(jī)器決策變得不透明，甚至專家或開發(fā)人員自己也常常難以理解。如果在醫(yī)療、安全、軍事等領(lǐng)域使用這種模型訓(xùn)練的AI，就會有巨大的隱患。 這一點(diǎn)讓我想起《侏羅紀(jì)公園》關(guān)在籠子里的暴龍?？蒲腥藛T把它孵化出來后，每天投喂牛羊讓它長大，它到底會長成什么樣，到某一天，它會不會攻擊人類？不知道。 ChatGPT還有一個很有意思的問題，它犯錯經(jīng)常并不是因?yàn)樗苛耍蔷W(wǎng)上東西太雜，很多沖突。它依靠用戶以及某些參與訓(xùn)練的專家試圖找到正確答案，但用戶和專家也會犯錯，信息有真有假，如何從海量魚龍混雜的信息中提取到真信息？如果ChatGPT能做到這一點(diǎn)，那經(jīng)過億萬人類共同訓(xùn)練后，它會成為全知全能的“神”。 盡管有各種隱憂，很多人已經(jīng)在暢想ChatGPT開啟的人工智能的新時代。 設(shè)想波士頓動力公司的機(jī)器人，如果在它的腦袋里裝上ChatGPT，它就能不知疲倦地走在大街上，觀察人類社會各個角落，學(xué)習(xí)一切知識和技能，與各個階層的人交流互動，模仿我們的喜怒哀樂。某一天，或許他還會好奇地敲開你家的門，跟你聊幾句。想一想這是一種讓人多么興奮而又有點(diǎn)恐懼的場景？ 這一天很快會到來的。 
|
|
|
