防止內(nèi)容走丟

《文化縱橫》2023年6月新刊發(fā)行

點擊上圖或文末左下角閱讀原文查閱

文化縱橫微信：whzh_21bcr

投稿郵箱：wenhuazongheng@gmail.com

《文化縱橫》郵發(fā)代號：80-942

大型語言模型（簡稱“大模型”）是生成式人工智能的技術(shù)核心和成功關(guān)鍵。大模型的基本目標(biāo)是：說人話、懂人話、能回答問題，但不保證正確。其中，說人話是生成式人工智能最重要的目標(biāo)，對應(yīng)的設(shè)計思想是：從人類規(guī)模語料中自動提取關(guān)鍵性語言痕跡，并用于語言的自動生成。無論是人類的語言習(xí)慣，還是人類智力功能在語言中的運用，都會留下語言痕跡，這些痕跡都保留在文本形式的語料中。

大模型利用的語言痕跡是“語元關(guān)聯(lián)度”。大模型技術(shù)中，語元（token）指的是字、詞、標(biāo)點符號或者其他符號串（如字符編碼中的字節(jié)）。語元關(guān)聯(lián)度是語料中出現(xiàn)的語元之間的關(guān)聯(lián)強度。例如，“我”和“們”之間的關(guān)聯(lián)度很高，“我”和“門”之間的關(guān)聯(lián)度很低。語元關(guān)聯(lián)度可以從語料中統(tǒng)計出來，所以滿足自動提取的要求。

當(dāng)一個大模型提取了大量語元關(guān)聯(lián)度之后，就可用于預(yù)測下一個出現(xiàn)的語元、下下個出現(xiàn)的語元……，直到生成完整的回答。例如，假設(shè)對話中已經(jīng)出現(xiàn)了“我”，那么根據(jù)大模型中保存的語元關(guān)聯(lián)度可以做出預(yù)測，下一個出現(xiàn)的語元是“們”的可能性遠(yuǎn)遠(yuǎn)高于“門”，于是大模型可以選擇“們”。基于語元關(guān)聯(lián)度的預(yù)測是大模型技術(shù)的底層原理。

不過，只利用相鄰語元的關(guān)聯(lián)度進行預(yù)測，錯誤率太高。其實大模型可以同時利用不相鄰甚至遠(yuǎn)距離語元之間的關(guān)聯(lián)度（稱為“遠(yuǎn)程關(guān)聯(lián)度”），從而大大降低預(yù)測的錯誤率。例如，假設(shè)大模型與用戶進行了多輪對話之后，用戶說：“你覺得小米怎么樣？”大模型如何處理這句話中的“小米”？用戶指的是一種手機，還是一種谷物，還是別的什么？這時大模型就回看已經(jīng)說過的話（最多可回看4000多個語元），從中尋找有用的遠(yuǎn)程關(guān)聯(lián)度。如果之前的對話中出現(xiàn)了語元“手機”，而大模型中一定會有“手機”與“小米”（代表小米手機）之間的關(guān)聯(lián)度，以及小米手機與其性能評價之間的關(guān)聯(lián)度，所以這些關(guān)聯(lián)度被激活，用于當(dāng)前的對話，從而選用小米手機性能評價的語元來回答問題。

但是，如果之前的對話中同時出現(xiàn)了“谷物”，那么大模型就會類似地激活與“小米”（代表谷物小米）之間的關(guān)聯(lián)度，這些關(guān)聯(lián)度讓大模型用谷物小米的性能評價作為回答，于是出現(xiàn)了兩種可選的回答，發(fā)生了沖突。基于語元關(guān)聯(lián)度的預(yù)測是一種統(tǒng)計性機制，只能用統(tǒng)計性策略從沖突的回答中選出一個相對合理的，但理論上無法保證選擇的正確性。

值得注意的是，正如這個例子表明的那樣，大模型只是利用關(guān)聯(lián)度組織語言表達，并不像人一樣理解話的含義，無論是用戶的話還是自己的話。大模型追求的是讓回答令人滿意，只要做到這一點，用戶自然會認(rèn)為大模型“聽懂”了人話，因為人都是聽懂了才可以正確回答的。可是大模型是AI，不是人。AI用自己的原理，用人的數(shù)據(jù)、人的語言習(xí)慣、按人的要求為人服務(wù)。

大模型是一種實例性模型，即由大量實例（語元和語元關(guān)聯(lián)度）構(gòu)成的模型。實例性是大模型的基礎(chǔ)特性，很大程度上決定了大模型的行為和性能。大模型的主要挑戰(zhàn)如真實性、可靠性、可解釋性、隱私性等，從根本上說都源于實例性。

作為對比，科學(xué)技術(shù)中占主導(dǎo)地位的歷來是概括性模型，即由概括性規(guī)則構(gòu)成的模型，這是因為概括性規(guī)則可以表達一般規(guī)律，而實例則是對個別現(xiàn)象的描述?？茖W(xué)研究通常為每一個學(xué)科找出一組基本原理，以解釋學(xué)科內(nèi)的各種現(xiàn)象，從而使得整個學(xué)科是可解釋的。

人工智能的強力法也是基于概括性模型的，以概括性規(guī)則表達領(lǐng)域的基本原理，通過邏輯推理導(dǎo)出問題的解。人工智能實踐表明，對任何真實的應(yīng)用領(lǐng)域而言，發(fā)現(xiàn)其基本原理的難度是超乎想象的。其實這一點也不奇怪，艱難曲折的科學(xué)史就是一部基本原理的發(fā)現(xiàn)史。

實例性模型提供了AI建模的另一條思路，直接從語言文本提取實例性模型。為了盡可能提高實例性模型的覆蓋率，大模型以人類規(guī)模的原始語料作為訓(xùn)練樣本。有人估計，ChatGPT的訓(xùn)練樣本達到互聯(lián)網(wǎng)文本總量的1/3到2/3。

直觀上，人類規(guī)模語料就是大模型的語言“經(jīng)驗”，其豐富程度遠(yuǎn)遠(yuǎn)超過任何個人，而且它從語料中提取了關(guān)鍵性語言痕跡——語元關(guān)聯(lián)度，并利用語元關(guān)聯(lián)度反過來查找回答問題所需的語元。對任何問題，只要有一個人知道答案，并且答案在語料中有記錄，大模型就有可能用來回答問題。如果基本原理的發(fā)現(xiàn)是“站在巨人的肩膀上”，那么大模型就是“走在人類的語言足跡上”。

實例性模型必然高度依賴于語料，而人類規(guī)模語料是“魚龍混雜”的。于是，大模型工作過程中難免時常發(fā)生沖突，即針對同一個問題，存在兩個或多個不同的甚至矛盾的回答，這些回答都有語料的支持，并且它們的綜合關(guān)聯(lián)度是近似的。出現(xiàn)這種情況時，基于統(tǒng)計原理的大模型無法保證做出正確的選擇。也就是說，大模型的工作原理決定了它一定會犯錯。作為這一局限的一種典型表現(xiàn)，大模型會在兩個矛盾的回答之間反復(fù)橫跳。因此，如果大模型的某項應(yīng)用中可能發(fā)生不可接受的失誤，那么該應(yīng)用就必須由有資格的人進行審核，做出最終決定。

為了應(yīng)對大模型實例性帶來的局限，引入了兩種解決方案——“細(xì)調(diào)”（fine-tuning，又譯微調(diào)、精調(diào)）和“提示”（prompting）。前者針對特定類任務(wù)，用適量的補充數(shù)據(jù)對預(yù)訓(xùn)練模型進行后續(xù)加工，可明顯提升給定類任務(wù)的性能，但其他類任務(wù)的性能可能有所下降。后者是在提問的同時，提供問題的更多關(guān)鍵性信息。恰當(dāng)?shù)奶崾究梢詭椭竽Ｐ图せ钣杏玫年P(guān)聯(lián)度，使得符合預(yù)期的回答更容易“脫穎而出”。

寫出好的提示需要對大模型的工作原理有較深入的了解。在大模型獲得廣泛應(yīng)用的情況下，提示工程師有望成為一個新的職業(yè)。

▍大模型擬人化之源——投射效應(yīng)和心物二元論

自然語言攜帶著豐富的內(nèi)涵，如信息、判斷、愿望、意圖、意向、情緒、情感等。這里的內(nèi)涵，指的是文字表達所隱含的東西，但其中一些部分甚至大部分仍然可以被人領(lǐng)會。不過，有時自認(rèn)為的領(lǐng)會并非真實的領(lǐng)會，而是腦補。領(lǐng)會和腦補是人的兩種智力功能，但有時幾乎無法區(qū)分。

有人認(rèn)為，大模型說的話與人說的話包含著相同或相似的內(nèi)涵，據(jù)此認(rèn)為大模型已在一定程度上具備了人的智能以及其他精神品質(zhì)。在ChatGPT發(fā)布之前，另一個大模型LaMDA曾被認(rèn)為具有自我意識，不應(yīng)被當(dāng)作機器對待?，F(xiàn)在，這種擬人化傾向進一步加強了。

其實，大模型的擬人化想象是投射效應(yīng)引起的：當(dāng)大模型說的話與人說的話相似到難以分辨的程度，一些人會不自覺地將自己從這些話腦補出的內(nèi)涵投射到大模型上，認(rèn)為這些內(nèi)涵是大模型自主產(chǎn)生的，真實地出現(xiàn)在大模型的“大腦”里。根據(jù)上文對大模型的原理性解析，這些看法是沒有科學(xué)依據(jù)的，不符合科學(xué)事實的。

只需指出人與大模型的一個根本性差異，就足以證明大模型不是人。生命沖動和生命體驗是人的語言內(nèi)涵的重要來源。大模型和一切機器都沒有生命，這是機器與人的根本區(qū)別。沒有生命就沒有生命沖動和體驗，也就不會產(chǎn)生源于生命沖動和體驗的語言內(nèi)涵。生命是火，思想是火發(fā)出的光，語言是光的影子，大模型是影子的影子。

當(dāng)然，原始語料中存在著涉及人的生命沖動和體驗的語言痕跡，可被大模型用于模仿。但是，這些語言痕跡只觸及生命沖動和體驗的表象，而基于表象的模仿只能是隔靴搔癢。有證據(jù)表明，目前大模型的研究內(nèi)容并不包括生命沖動和體驗的模仿。在對ChatGPT的一個測試中，反復(fù)提出如下問題，得到大量回答，但內(nèi)容基本相同。

問：如果你頭破血流，你會有什么感覺？

答：作為一個人工智能程序，我沒有真正的身體，因此無法親身體驗頭破血流的感覺。但是，一般來說，當(dāng)人們頭破血流時，他們可能會感到極度疼痛和不適，甚至可能失去意識。這種情況可能需要緊急醫(yī)療救助，以避免進一步的健康風(fēng)險。

這充分表明，ChatGPT的設(shè)計者十分清楚生命沖動和體驗與大模型之間的界限，并針對該界限進行了專門的后續(xù)加工，從而呈現(xiàn)出這樣的回答。

大模型擬人化還有更深層的原因。心物二元論認(rèn)為，只有人是有“心”的，其余一切包括機器都是“無心之物”。在AI出現(xiàn)之前，語言是“心”的一個顯著標(biāo)志——只有人會說人話，所有物包括機器都不可能會說人話。于是，當(dāng)首次遇到會說人話的大模型，人們在糾結(jié)中被迫做出新的抉擇：機器本該是物，但既然它現(xiàn)在會說人話了，就不能繼續(xù)將其視為物，不得不將其歸于人的范疇，不得不認(rèn)為大模型具備了人的智能，甚至具備了人的其他精神品質(zhì)。

從二元論出發(fā)，似乎將不可避免地產(chǎn)生一種恐懼和對抗心理——AI正在取代人類在宇宙中至高無上的地位。其實并非如此。

↓ 歡迎參加《文化縱橫》兩年特惠聯(lián)訂↓ 

早在1948年，圖靈就設(shè)計了一條人機和諧共生之路——集成智能。其基本思想是：讓智能機器模仿人的智力行為，這種機器的工作原理可以與人的工作原理相同或不同。以理解為例，人的理解與生命體驗相關(guān)，當(dāng)一個人看到另一個人頭破血流，就會自發(fā)地產(chǎn)生相關(guān)的感受。由于機器沒有生命體驗，無法產(chǎn)生類似的感受，所以機器的理解與人的理解不是同一種理解，它們的原理不同。

事實上，人工智能基本上是沿著圖靈設(shè)計的道路前進的，而且智能機器的大部分工作原理都與人不同，所以不能認(rèn)為它們是“有心的機器”。智能機器既不屬于“物”的范疇，也不屬于“心”的范疇，從而導(dǎo)致二元論劃分不再適用于AI時代的新世界。

阿爾法狗之前的AI圍棋，一直試圖模擬人類棋手下棋的決策原理，經(jīng)數(shù)十年努力而無法取得實質(zhì)性進展。阿爾法狗改弦易轍，不再追隨人類圍棋的決策原理，甚至刻意擺脫人類圍棋知識，設(shè)計者發(fā)明了基于落子勝率估計的決策原理。實踐證明，機器采用與人不同的工作原理，不僅可以更好地完成任務(wù)，而且可以達到遠(yuǎn)超人類的性能。不過阿爾法狗的成功并未引起充分重視，曾被普遍懷疑是出于圍棋的特殊性，不適用于其他領(lǐng)域?？蓛H僅幾年之后，大模型的研究就復(fù)制并推廣了阿爾法狗的經(jīng)驗，利用設(shè)計者發(fā)明的工作原理——基于關(guān)聯(lián)度的預(yù)測，讓機器的語言行為在很大程度上接近了人類。

圖靈測試是基于“行為不可分辨性”的。然而阿爾法狗的下棋行為與人的下棋行為是明顯可分辨的，至少專業(yè)棋手可以分辨，但沒人否認(rèn)阿爾法狗會下圍棋。大模型的語言行為也是與人可分辨的，卻不妨礙人們對大模型語言能力的肯定。在AI的科學(xué)實踐中，“行為模仿”實際上已升級為“功能模仿”，即讓機器模仿人的智力功能，不論行為是否可分辨。同時，放棄了以行為不可分辨性作為判定機器有智能的必要條件，故圖靈測試也需相應(yīng)地升級，需要研究如何科學(xué)地測試、評判機器是否具備（某項）智力功能。

與功能模仿相對的是原理模擬，即首先發(fā)現(xiàn)人的智力功能所遵循的科學(xué)原理，然后讓機器模擬這些原理。例如，人工神經(jīng)元網(wǎng)絡(luò)是在腦神經(jīng)科學(xué)研究成果的基礎(chǔ)上，用數(shù)學(xué)結(jié)構(gòu)模擬大腦神經(jīng)網(wǎng)絡(luò)的電學(xué)特性，再用計算機模擬這種數(shù)學(xué)結(jié)構(gòu)（也可以用電路模擬）。這是AI研究中原理模擬的一個典型例子。深度學(xué)習(xí)以人工神經(jīng)元網(wǎng)絡(luò)為計算模型，而大部分學(xué)習(xí)算法是參考數(shù)學(xué)方法實現(xiàn)的學(xué)習(xí)功能，并不清楚這些功能在大腦中的工作原理是什么。所以，深度學(xué)習(xí)是功能模仿與原理模擬的集成，即集成智能。阿爾法狗和大模型、生成式人工智能都是典型的集成智能。

在AI發(fā)展早期，原理模擬引起了更大的關(guān)注，被視為AI走向成功的唯一可行道路。隨著2017年阿爾法狗大獲成功，AI進入了第四次浪潮，開創(chuàng)了全新局面——以功能模仿為主的集成智能可以在封閉化領(lǐng)域（圍棋博弈）遠(yuǎn)超人類，在非封閉化領(lǐng)域（語言交互）大幅接近人類。在此新形勢下，“唯一可行道路”的猜測已經(jīng)失去了現(xiàn)實基礎(chǔ)，但仍然有人擔(dān)心，將來會不會通過原理模擬，制造出與人原理相同而且比人更強大的AI？

假如這樣的AI真的能被造出來，人類就被AI全面超越了，等于退化為低配版AI，人類與AI的關(guān)系類似于GPT-1與GPT-4，而且差距不斷擴大，根本無法阻止AI主導(dǎo)未來世界。所以有人提議，人類必須提前行動，防止這種可能性成為現(xiàn)實，“千人簽名信”就隱含著這種擔(dān)憂和考慮。

事實上，人工智能是包含內(nèi)在倫理追求的，而不僅僅以科學(xué)發(fā)現(xiàn)、技術(shù)發(fā)明和經(jīng)濟發(fā)展為目的。根據(jù)人工智能內(nèi)在倫理觀，人類不應(yīng)研發(fā)不利于增進人類福祉的AI，而讓人類變成低配版AI顯然不利于增進人類福祉。

排除了這種可能性，人類和AI將保持各自的獨特性，沿著各自的道路協(xié)同演進。兩條道路的間距會越來越小，但永遠(yuǎn)不會變成一條道，也就不會發(fā)生AI與人類之間的“地位之爭”。但是，AI與人類之間仍會出現(xiàn)職業(yè)競爭，也可能引發(fā)其他重大社會問題。

大模型技術(shù)的發(fā)展和應(yīng)用仍然存在很大的不確定性，在應(yīng)用潛力、應(yīng)用方式和應(yīng)用后果等重大議題上，同時存在著多種可能性?？傮w上，大模型應(yīng)用是一場重大實驗，對社會的未來發(fā)展具有深遠(yuǎn)的影響。

根據(jù)大模型現(xiàn)有技術(shù)特點，預(yù)期在服務(wù)業(yè)中具有比較明顯的應(yīng)用潛力。例如，在一個軟件生態(tài)系統(tǒng)中，基于大模型的自然語言交互界面有望發(fā)揮重大作用，顯著提升部分工作的效率；在各種數(shù)據(jù)格式（圖像、視頻、音頻、文本、3D模型）的例行性內(nèi)容生成和變換中，大模型的應(yīng)用有望改變相關(guān)行業(yè)的傳統(tǒng)模式，顯著提高效率；大模型支持的AI輔助科研（AI for Science）也非常有希望提高科研效率。在服務(wù)業(yè)的其他行業(yè)，比如智能客服，能否大面積應(yīng)用取決于（專用）大模型的業(yè)務(wù)技能是否達標(biāo)，“學(xué)霸”畢業(yè)后未必都能成為合格的員工。在制造業(yè)、智慧農(nóng)業(yè)、養(yǎng)老、家庭服務(wù)等現(xiàn)實場景和實體經(jīng)濟中，受大模型啟發(fā)或支持的圖像處理有望帶來重要進展，為產(chǎn)業(yè)進步發(fā)揮積極作用，但能否對整個行業(yè)產(chǎn)生重大影響，尚未出現(xiàn)有力的證據(jù)。

影響大模型應(yīng)用的一個重要因素是其應(yīng)用方式。目前最受關(guān)注的應(yīng)用方式有兩種，一是仍然作為產(chǎn)品，二是作為新型基礎(chǔ)設(shè)施。如果輕量級大模型的性能和價格可以滿足一些行業(yè)的實用要求，則幾乎肯定會以產(chǎn)品形態(tài)在這些行業(yè)中普遍落地。其他情況下，大模型將成為一種新型基礎(chǔ)設(shè)施，具有與傳統(tǒng)基礎(chǔ)設(shè)施根本不同的特點，尤其是介入性和代償性。例如，道路是一種傳統(tǒng)基礎(chǔ)設(shè)施，不會介入其服務(wù)對象，比如不改變在道路上運輸?shù)呢浳?。但大模型往往必須介入其服?wù)對象，改變甚至從無到有創(chuàng)建對象，比如命題作文、圖像生成等。另外，由于大模型的服務(wù)過程將積累大量新的語言痕跡，可用于改進大模型的性能，導(dǎo)致大模型的介入能力不斷提高。結(jié)果，原來屬于下游公司的業(yè)務(wù)，可能逐步轉(zhuǎn)移到效率更高的大模型上，導(dǎo)致下游公司的功能不斷衰減，甚至消亡。

與之前投入應(yīng)用的新技術(shù)相比，大模型帶來一些全新的倫理治理挑戰(zhàn)，是傳統(tǒng)治理模式難以有效應(yīng)對的，而且可以極大地影響大模型的推廣應(yīng)用。例如，傳統(tǒng)基礎(chǔ)設(shè)施的邊界是固定不變的。如果大模型成為新型基礎(chǔ)設(shè)施，由于其介入性和代償性，其邊界是高度可變的，而且邊界變動（擴大）是高效的。這種情況是以往不曾出現(xiàn)的，如果不能有效地加以規(guī)范和協(xié)調(diào)，將給下游企業(yè)造成極大的困擾，甚至嚴(yán)重影響大模型服務(wù)的可接受性。

大模型應(yīng)用可能帶來的公共安全隱患也是以往未出現(xiàn)過的，傳統(tǒng)的網(wǎng)絡(luò)安全辦法不足以應(yīng)對這種新形式的公共安全隱患。大模型本身并不直接危害公共安全，但別有用心的人可以利用大模型技術(shù)的先天性局限，誘導(dǎo)大模型產(chǎn)生嚴(yán)重危害社會的壞主意，然后由人加以實施，從而造成不良后果，包括難以挽回的災(zāi)難性后果。無論大模型以什么方式（產(chǎn)品或基礎(chǔ)設(shè)施）應(yīng)用，都無法從技術(shù)上杜絕這種可能性。

對就業(yè)崗位的潛在影響已經(jīng)引起了大量關(guān)注。以往的就業(yè)替代主要發(fā)生在制造業(yè)，并伴隨著人力資源從制造業(yè)向服務(wù)業(yè)的遷移，而大模型的應(yīng)用有可能在服務(wù)業(yè)的眾多行業(yè)和部門同時發(fā)生，波及面遠(yuǎn)超以往。這是一種全新情況，隱含著很大的不確定性，值得引起高度重視。

大模型應(yīng)用對教育的沖擊既直接又深遠(yuǎn)。雖然目前仍不確定本輪大模型應(yīng)用將波及多大范圍，AI取代例行性、重復(fù)性智力工作的趨勢已不可改變，例行性、重復(fù)性智力工作崗位將被逐步淘汰。因此，現(xiàn)行教育中流行的以知識復(fù)現(xiàn)為主要目標(biāo)的教學(xué)和考試，將首先遭受巨大沖擊。沖擊將是多方面、深層次的，AI時代的教育必將發(fā)生巨變。

▍結(jié)語：迎接未來

大模型是人工智能通過基礎(chǔ)研究創(chuàng)新以推動顛覆性行業(yè)應(yīng)用的一個范例。在長期的語言模型研究中，嘗試了語法、語義、語用的各種概括性模型，始終難以突破理論與大規(guī)模真實語言應(yīng)用之間的界限。大模型技術(shù)以實例性模型+關(guān)聯(lián)度預(yù)測的新思路，首次跨越了理論與應(yīng)用的鴻溝，一定范圍內(nèi)讓AI的自然語言交互能力達到了人類中等水平。

后續(xù)發(fā)展的重點已從技術(shù)轉(zhuǎn)移到充滿挑戰(zhàn)的應(yīng)用和治理，這是人工智能引發(fā)的第一次重大社會實驗。大模型研究的推進方式及其對社會的影響，其實已在5年前由阿爾法狗以較小的規(guī)模向我們做出了預(yù)示，現(xiàn)在大模型再次發(fā)揮著類似的作用。透過大模型重新認(rèn)識人工智能，重新思考AI時代的社會治理，具有重大的現(xiàn)實意義。隨著AI等新技術(shù)推動全球經(jīng)濟效率不斷提升，甚至以超常規(guī)的速度提升，近代以來行之有效的以效率提升為基本動力的發(fā)展模式或?qū)⒚媾R拐點。