一場(chǎng)還不入局就會(huì)被淘汰的游戲，已經(jīng)在全球拉開(kāi)帷幕。

去年底，自ChatGPT這個(gè)略顯拗口的名字在全球引爆對(duì)話式風(fēng)潮，微軟、亞馬遜、谷歌等大廠入局其中的消息，就像接連丟進(jìn)水中的石子，不斷在科技領(lǐng)域激起浪花。

其中，微軟作為ChatGPT背后母公司的投資人最早押下重注，于本周宣布在所有產(chǎn)品線內(nèi)集成ChatGPT能力。而當(dāng)ChatGPT將取代搜索引擎的論調(diào)甚囂塵上，谷歌也坐不住了，于北京時(shí)間2月7日宣布將推出自己的對(duì)話式機(jī)器人"Bard"（吟游詩(shī)人）。

就在同天，百度官宣將基于自家的文心大模型，推出類(lèi)ChatGPT的產(chǎn)品"文心一言"。當(dāng)日下午，國(guó)內(nèi)搜索引擎市場(chǎng)的第二名360緊隨其后，披露自家已在內(nèi)部使用這類(lèi)產(chǎn)品，同樣計(jì)劃盡快推出類(lèi)ChatGPT的Demo版產(chǎn)品。消息發(fā)出兩小時(shí)后，其股價(jià)應(yīng)聲漲停。

新消息還在持續(xù)。北京時(shí)間2月8日凌晨，微軟在媒體發(fā)布會(huì)上宣布開(kāi)放ChatGPT支持的搜索引擎Bing。

而在官宣消息紛飛的背后，不難發(fā)現(xiàn)幾乎每個(gè)追趕ChatGPT的大廠，都在提及"大模型"的概念。

百度在短短數(shù)行的官宣中，專(zhuān)門(mén)花去一段介紹自家的AI四層架構(gòu)布局，并重點(diǎn)提及文心大模型。谷歌CEO桑達(dá)爾·皮查伊也表示，自家的AI對(duì)話式機(jī)器人"Bard"（吟游詩(shī)人），由大模型LaMDA提供支持。

360的披露十分坦率，表示自家布局ChatGPT類(lèi)產(chǎn)品的優(yōu)勢(shì)在于數(shù)據(jù)和語(yǔ)料，在預(yù)訓(xùn)練大模型方面還存在短板。

ChatGPT和大模型是一體兩面的關(guān)系。表面看，ChatGPT是一個(gè)具備聊天、咨詢、撰寫(xiě)詩(shī)詞作文等能力的對(duì)話式機(jī)器人。但本質(zhì)上，它是基于AI大模型而產(chǎn)生的應(yīng)用——如果沒(méi)有大模型的能力支撐，如今引爆全球的ChatGPT或?qū)⒉粫?huì)誕生。

一. 爆火背后：由大模型打開(kāi)的ChatGPT魔盒

ChatGPT能達(dá)到如今"上知天文、下知地理"的效果，離不開(kāi)基于海量數(shù)據(jù)而生的大模型——是大模型，讓它理解并使用人類(lèi)語(yǔ)言，并近乎真實(shí)地進(jìn)行對(duì)話和互動(dòng)。

海量數(shù)據(jù)是大模型的基礎(chǔ)。顧名思義，這是一種通過(guò)億級(jí)的語(yǔ)料或者圖像進(jìn)行知識(shí)抽取、學(xué)習(xí)，進(jìn)而產(chǎn)生的億級(jí)參數(shù)模型。而ChatGPT，是OpenAI GPT-3模型的升級(jí)。在參數(shù)量上，GPT-3模型擁有1750億參數(shù)。

這帶來(lái)超乎想象的突破——基于大量文本數(shù)據(jù)（包括網(wǎng)頁(yè)、書(shū)籍、新聞等等），ChatGPT獲得了對(duì)不同類(lèi)型的話題進(jìn)行回答的能力。再加上學(xué)習(xí)方法的差異性，ChatGPT能夠發(fā)散式地解答問(wèn)題。

大模型不是新鮮事物，在2015年左右業(yè)內(nèi)已有討論。但在大模型出現(xiàn)的背后，其實(shí)蘊(yùn)藏著一場(chǎng)人工智能落地模式的變革。

作為人工智能最重要的組成部分之一，機(jī)器學(xué)習(xí)的落地長(zhǎng)期依賴(lài)數(shù)據(jù)模型。它需要大量的數(shù)據(jù)來(lái)訓(xùn)練模型，以便讓計(jì)算機(jī)系統(tǒng)得以從數(shù)據(jù)中進(jìn)行學(xué)習(xí)。

簡(jiǎn)單從效果總結(jié)，當(dāng)數(shù)據(jù)量越大，機(jī)器學(xué)習(xí)得以學(xué)習(xí)的基礎(chǔ)越多，讓效果更精準(zhǔn)、更智能的可能性就越高。

這也意味著，在數(shù)據(jù)量不夠大的過(guò)去，機(jī)器學(xué)習(xí)的發(fā)展會(huì)受到阻礙。而伴隨著PC和移動(dòng)互聯(lián)的進(jìn)展，機(jī)器學(xué)習(xí)生存的基礎(chǔ)——數(shù)據(jù)量也呈幾何式增長(zhǎng)。由此產(chǎn)生的一個(gè)現(xiàn)象是，從1950年到2018年，模型參數(shù)增長(zhǎng)了7個(gè)數(shù)量級(jí)。而在2018年之后的4年內(nèi)，模型參數(shù)增長(zhǎng)了5個(gè)數(shù)量級(jí)，從數(shù)億個(gè)達(dá)到超千億水平。

也就是說(shuō)，當(dāng)數(shù)據(jù)量充足，機(jī)器學(xué)習(xí)就具備進(jìn)一步升級(jí)的可能，而這個(gè)可能性在2018年已經(jīng)存在。

但是，僅有數(shù)據(jù)還不夠，伴隨著數(shù)據(jù)使用而來(lái)的，還有遞增的成本——機(jī)器學(xué)習(xí)環(huán)節(jié)中使用的數(shù)據(jù)量越大，所需的數(shù)據(jù)標(biāo)注、數(shù)據(jù)清洗、人工調(diào)參等成本也就越高。高質(zhì)量的標(biāo)注數(shù)據(jù)難以獲得，讓整件事的投入產(chǎn)出比打了折。

為了解決這個(gè)問(wèn)題，機(jī)器學(xué)習(xí)的落地方式也發(fā)生變化。

如今，機(jī)器學(xué)習(xí)主要分為監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)三種學(xué)習(xí)方法。大模型，與無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)息息相關(guān)。

早前，構(gòu)建機(jī)器學(xué)習(xí)的主流方法是監(jiān)督學(xué)習(xí)。也就是先收集數(shù)據(jù)，再通過(guò)強(qiáng)人工干預(yù)/監(jiān)督的方式，喂給模型一套經(jīng)過(guò)人工校驗(yàn)的輸入和輸出組合，讓模型通過(guò)模仿，完成學(xué)習(xí)。

“在完成標(biāo)注、清洗環(huán)節(jié)后，我會(huì)給機(jī)器輸入一組數(shù)據(jù)，并反饋學(xué)習(xí)結(jié)果的正確或者錯(cuò)誤，讓它找到參數(shù)之間的關(guān)聯(lián)并進(jìn)行優(yōu)化?！币晃辉鴧⑴c過(guò)算法調(diào)優(yōu)的產(chǎn)品經(jīng)理表示。

而無(wú)監(jiān)督學(xué)習(xí)不需要打標(biāo)，而且在訓(xùn)練數(shù)據(jù)中，只給定輸入，沒(méi)有人工給出正確的輸出，目的是讓模型開(kāi)放式地、自己學(xué)習(xí)數(shù)據(jù)之間的關(guān)系。

半監(jiān)督學(xué)習(xí)則處于兩者之間。在這種學(xué)習(xí)方式中，模型會(huì)嘗試從未標(biāo)記的數(shù)據(jù)中提取信息來(lái)改進(jìn)它的預(yù)測(cè)能力，同時(shí)也會(huì)使用已標(biāo)記的數(shù)據(jù)來(lái)驗(yàn)證它的預(yù)測(cè)結(jié)果。

也就是說(shuō)，相比過(guò)去的監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)節(jié)省了更多成本，降低了對(duì)高質(zhì)量標(biāo)注數(shù)據(jù)的依賴(lài)。

“如果沒(méi)有無(wú)監(jiān)督學(xué)習(xí)，大模型很可能是訓(xùn)練不出來(lái)的。”一位橫跨學(xué)術(shù)、商業(yè)兩界的AI專(zhuān)家不久前告訴36氪。

當(dāng)然，ChatGPT能橫空出世，降低成本并不是最重要的。

在監(jiān)督學(xué)習(xí)的模式下，人工"調(diào)教"的數(shù)據(jù)經(jīng)常來(lái)自于一些屬于屬于特定領(lǐng)域、整體數(shù)量不大的數(shù)據(jù)集。這會(huì)導(dǎo)致，一旦某個(gè)領(lǐng)域的模型要應(yīng)用到其他領(lǐng)域，就會(huì)出現(xiàn)難以適應(yīng)的情況，也就是所謂的"模型泛化能力不佳"。

舉個(gè)例子，在問(wèn)答數(shù)據(jù)集上表現(xiàn)不錯(cuò)的模型，用到閱讀理解上很可能產(chǎn)生不盡如人意的結(jié)果。

而大模型的誕生，能夠相對(duì)解決"泛化能力"不佳的問(wèn)題，也就是變得更通用。

這背后也是因?yàn)?，大模型基于互?lián)網(wǎng)公開(kāi)的海量數(shù)據(jù)進(jìn)行訓(xùn)練，沒(méi)有以特定的小數(shù)量數(shù)據(jù)作為基礎(chǔ)。這種方式，更可能訓(xùn)練出一套適用多個(gè)場(chǎng)景的通用基礎(chǔ)模型——這同樣是ChatGPT能回答各種五花八門(mén)問(wèn)題的重要原因。

總而言之，大模型的落地是機(jī)器學(xué)習(xí)的一個(gè)里程碑，也是打開(kāi)ChatGPT魔盒的關(guān)鍵鑰匙。

二. GPT系列：落地大模型的"自我革命"

回顧C(jī)hatGPT的迭代，可以看到一部大模型自我升級(jí)的歷史。在這個(gè)過(guò)程里，OpenAI至少進(jìn)行了三次技術(shù)路線的"自我革命"。

前文提到，ChatGPT基于OpenAI的第三代大模型GPT-3升級(jí)而來(lái)，也就是在GPT3.5上進(jìn)行微調(diào)而誕生。

從名稱(chēng)也能看出，OpenAI此前還發(fā)布了GPT-1、GPT-2和GPT-3。這幾代GPT的落地方式不盡相同。

第一代生成式預(yù)訓(xùn)練模型GPT-1于2018年被推出。GPT-1的學(xué)習(xí)方式是半監(jiān)督學(xué)習(xí)，也就是先用無(wú)監(jiān)督學(xué)習(xí)的方式，在8個(gè)GPU上花費(fèi)1個(gè)月從大量未標(biāo)注數(shù)據(jù)中學(xué)習(xí)，然后再進(jìn)行有監(jiān)督的微調(diào)。

這樣做的好處是，只需要少量微調(diào)，就可以增強(qiáng)模型的能力，減少對(duì)資源和數(shù)據(jù)的需求。

但問(wèn)題在于，GPT-1的數(shù)據(jù)較少，和如今的動(dòng)輒千億對(duì)比，當(dāng)時(shí)1億多的參數(shù)量似乎少的可憐。這使得，GPT-1模型整體對(duì)世界的認(rèn)識(shí)不夠全面和準(zhǔn)確，并且泛化性依然不足，在一些任務(wù)中的性能表現(xiàn)不佳。

在GPT-1推出一年后，GPT-2正式面世。這一代的GPT在底層架構(gòu)上和"前輩"沒(méi)有差別，但在數(shù)據(jù)集方面，GPT-2有著40GB的文本數(shù)據(jù)、800萬(wàn)個(gè)文檔，參數(shù)量也大幅突破到了15億個(gè)。

有研究顯示，參數(shù)量爆發(fā)的GPT-2，生成的文本幾乎與《紐約時(shí)報(bào)》的真實(shí)文章一樣令人信服。這也讓更多人意識(shí)到無(wú)監(jiān)督學(xué)習(xí)下，大模型的價(jià)值所在。

伴隨著每年一更新的頻率，2020年，GPT-3如約而至。這次的GPT-3，在模型參數(shù)上達(dá)到了1750億個(gè)，類(lèi)型上也包含了更多的主題文本。相對(duì)GPT-2，這次的新版本已經(jīng)可以完成答題、寫(xiě)論文、文本摘要、語(yǔ)言翻譯和生成計(jì)算機(jī)代碼等任務(wù)。

需要指出的是，此時(shí)的GPT-3依然走的是無(wú)監(jiān)督學(xué)習(xí)、大參數(shù)量的路線，而到了2022年，情況發(fā)生了不小的變化。

這一年，在GPT-3的基礎(chǔ)上，OpenAI推出了InstructGPT。OpenAI表示，InstructGPT 是 GPT3 的微調(diào)版本，在效果上降低了有害的、不真實(shí)的和有偏差的輸入。而ChatGPT與InstructGPT除卻訓(xùn)練模型的數(shù)據(jù)量不同，并無(wú)太大差異。

問(wèn)題來(lái)了，為什么InstructGPT和ChatGPT可以進(jìn)一步提升智能性，優(yōu)化人們的交互體感？

背后原因在于，OpenAI在2022年發(fā)布的這兩個(gè)模型，從技術(shù)路線上又開(kāi)始看重人工標(biāo)注數(shù)據(jù)和強(qiáng)化學(xué)習(xí)——也就是從人類(lèi)反饋(RLHF) 中強(qiáng)化學(xué)習(xí)。據(jù)介紹，這一次OpenAI使用一小部分人工標(biāo)記的數(shù)據(jù)來(lái)構(gòu)建獎(jiǎng)勵(lì)模型。

粗看下來(lái)，無(wú)監(jiān)督學(xué)習(xí)下的大模型路線特點(diǎn)在于數(shù)據(jù)量大，和降低數(shù)據(jù)標(biāo)注和人工依賴(lài)——這是GPT-2和GPT-3的核心。

而InstructGPT和ChatGPT的路線，則像是階段性重回了人工路線。

這種變化看似劇烈，但其實(shí)是為了讓AI產(chǎn)品更好用而產(chǎn)生的調(diào)整。拆解背后邏輯，ChatGPT的訓(xùn)練離不開(kāi)GPT-3.5的大模型基礎(chǔ)，但其中引入的人工標(biāo)注數(shù)據(jù)和強(qiáng)化學(xué)習(xí)，則可以讓大模型更理解信息的含義，并進(jìn)行自我判斷——也就是更貼近理想中的人工智能效果。

也就是說(shuō)，之前的無(wú)監(jiān)督學(xué)習(xí)給定輸入，不給出正確的輸出，讓模型得以在海量數(shù)據(jù)的基礎(chǔ)上"自由發(fā)展"，具備人工智能的基本素質(zhì)。

但此時(shí)加入人類(lèi)對(duì)大模型學(xué)習(xí)結(jié)果的反饋，會(huì)讓模型更理解輸入自身的信息和自身輸出的信息，變得更好用。落在具體場(chǎng)景中，經(jīng)過(guò)人類(lèi)反饋的ChatGPT，可以提升判斷用戶提問(wèn)意圖（即輸入）和自身答案質(zhì)量（即輸出）的能力。

為了達(dá)成更好的效果，有信息顯示，OpenAI招聘了40個(gè)博士來(lái)進(jìn)行人工反饋工作。

對(duì)人工智能中的人力工作先拋棄再撿回，這看似前后矛盾的做法，也得到不少行業(yè)人士肯定。

比如，京東集團(tuán)副總裁、IEEE Fellow何曉冬不久前對(duì)媒體表示，相較之前大量使用無(wú)監(jiān)督深度學(xué)習(xí)算法，ChatGPT模型背后的算法和訓(xùn)練過(guò)程更加新穎。如果沒(méi)有人的數(shù)據(jù)甄選，模型參數(shù)即便大十幾倍，也很難達(dá)到如今效果。

“在某種意義上，這其實(shí)是對(duì)過(guò)去一味追求（參數(shù)）大和追求無(wú)監(jiān)督學(xué)習(xí)的一個(gè)路線修正?！焙螘远偨Y(jié)。

當(dāng)然，即使重新重視人工反饋，也不意味著OpenAI完全放棄此前的堅(jiān)持。有分析指出，ChatGPT的訓(xùn)練主要分為了三個(gè)階段，前兩個(gè)階段人工反饋非常重要，但在最后一公里上，ChatGPT只需要學(xué)習(xí)在第二階段訓(xùn)練好的反饋模型，并不需要強(qiáng)人工參與。

無(wú)論是 GPT-1、2、3還是InstructGPT和ChatGPT，OpenAI這五年的模型迭代之路似乎也是一場(chǎng)自我改革。

這同樣說(shuō)明，把某類(lèi)技術(shù)推演到極致，并不是這家公司的堅(jiān)持——不論是無(wú)監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)還是半監(jiān)督學(xué)習(xí)，從來(lái)不是為了煉就大模型，而是想讓AI更智能。

三. 大廠收割大模型，但"煉"模型不是終點(diǎn)

即便大模型的能力隨著ChatGPT的爆紅而走向臺(tái)前，但業(yè)界的爭(zhēng)議依舊無(wú)法掩飾。

從商業(yè)模式來(lái)看，當(dāng)大模型變得更通用，更多企業(yè)可以依賴(lài)大模型的基礎(chǔ)，進(jìn)行更偏自身業(yè)務(wù)屬性的微調(diào)。這樣做在理論上的好處是，不少企業(yè)可以省去很多訓(xùn)練模型的成本，而推出大模型的公司，可以向前者收取調(diào)取大模型的費(fèi)用。

但36氪發(fā)現(xiàn)，這一思路當(dāng)前也在被一些產(chǎn)業(yè)人士"吐槽"。

一家AIGC公司的創(chuàng)始人告訴36氪，這件事不僅是錢(qián)和成本的問(wèn)題，重點(diǎn)是調(diào)用第三方大模型存在很多限制，會(huì)對(duì)自家業(yè)務(wù)造成影響。

"比如，你很難針對(duì)一些應(yīng)用場(chǎng)景來(lái)做優(yōu)化。"他舉例，如果想做聲音模擬和形象模擬的綜合型需求，需要模型提供方提供綜合能力，而一旦有一個(gè)技術(shù)點(diǎn)不到位，就會(huì)導(dǎo)致產(chǎn)品效果不佳。

吐槽效果之外，36氪還了解到業(yè)內(nèi)有公司在通過(guò)算法優(yōu)化的方式，期望降低大模型落地的成本。

但本質(zhì)上，大模型無(wú)疑是一個(gè)天生適合巨頭的生意——這從其成本投入上可見(jiàn)一斑。

從流程上拆解，構(gòu)建一個(gè)大模型至少需要足夠的數(shù)據(jù)處理、計(jì)算和網(wǎng)絡(luò)能力。

拿流程上游的數(shù)據(jù)處理來(lái)說(shuō)，無(wú)監(jiān)督學(xué)習(xí)能解決一部分?jǐn)?shù)據(jù)標(biāo)注的成本，但此前的數(shù)據(jù)收集、數(shù)據(jù)清洗成本依然難以降低。而且這些工作經(jīng)常需要依賴(lài)人工，難以完全工具化，

再看計(jì)算和網(wǎng)絡(luò)，大模型的訓(xùn)練任務(wù)場(chǎng)景動(dòng)輒需要幾百甚至幾千張GPU卡的算力。這意味著在算力之外，當(dāng)服務(wù)器節(jié)點(diǎn)眾多，跨服務(wù)器通信需求大，網(wǎng)絡(luò)帶寬性能亦成為GPU集群瓶頸，高性能計(jì)算網(wǎng)絡(luò)也隨之成為一個(gè)話題。

具體的數(shù)字更具說(shuō)服力。有報(bào)道指出，Stability AI此前僅計(jì)算就需要花費(fèi)約2000萬(wàn)美元。而如果僅拿大模型去做微調(diào)和推理，本地也需要好幾千GB的內(nèi)存。潞晨科技創(chuàng)始人尤洋也曾提及，想把大模型部署到生產(chǎn)線，若一個(gè)企業(yè)從零開(kāi)始自己做會(huì)需要70人左右的人力。而在歐美地區(qū)光是養(yǎng)活70個(gè)人，成本就需要2000萬(wàn)美金。

大廠對(duì)大模型的高價(jià)入場(chǎng)券并不諱言。去年年底，一位國(guó)內(nèi)頭部互聯(lián)網(wǎng)公司的數(shù)據(jù)部門(mén)負(fù)責(zé)人對(duì)36氪直言，如果中型公司想要復(fù)刻大模型之路，在他看來(lái)是一個(gè)十分不經(jīng)濟(jì)、不理性的行為。他進(jìn)一步表示，就算是這家市值早超百億美元的公司，做大模型的初衷也是為服務(wù)自身內(nèi)部的業(yè)務(wù)——也就是讓需要AI能力的各業(yè)務(wù)部門(mén)擁有統(tǒng)一的能力支撐，避免多重內(nèi)耗。

所以，大廠收割底層大模型，中小公司選取更適合自己業(yè)務(wù)特點(diǎn)的大模型，并基于此建立起行業(yè)應(yīng)用，是相對(duì)合理的路線。換言之，AI領(lǐng)域會(huì)重現(xiàn)國(guó)內(nèi)云計(jì)算的格局。

大廠熱情勃發(fā)，帶來(lái)另一個(gè)有趣現(xiàn)象，就是自2020年起，中國(guó)的大模型數(shù)量驟增。根據(jù)統(tǒng)計(jì)，僅在2020年到2021年，中國(guó)大模型數(shù)量就從2個(gè)增至21個(gè)，和美國(guó)量級(jí)同等，大幅領(lǐng)先于其他國(guó)家。

來(lái)源：IDC

即便剔除大廠的勁頭，這一現(xiàn)象的出現(xiàn)也有著國(guó)情合理性。首先，大模型底層更依賴(lài)工程能力，再加上中國(guó)作為人口和移動(dòng)互聯(lián)大國(guó)，數(shù)據(jù)量天然眾多。這兩個(gè)前提，讓中國(guó)天生具備打造大模型的優(yōu)勢(shì)。

然而不論是國(guó)內(nèi)還是國(guó)外，大模型都同時(shí)面臨著一個(gè)靈魂拷問(wèn)——當(dāng)數(shù)據(jù)量越疊越大，底層算力又無(wú)法承載時(shí)，大模型之路是否還能走通？這一問(wèn)題對(duì)中國(guó)來(lái)說(shuō)更需重視，畢竟國(guó)內(nèi)對(duì)底層硬件能力的突破，還處于漫漫征途中。

或許對(duì)中國(guó)的從業(yè)者而言，這次ChatGPT的爆紅只是一個(gè)表面現(xiàn)象，更深的啟示在于看到OpenAI對(duì)大模型落地的"自我迭代"。

畢竟，這家公司已用至少五年的自我博弈過(guò)程告訴所有人，一味"煉"就大模型不是目的，讓AI真正可用好用，才是終章。

參考文獻(xiàn)：

《透過(guò)ChatGPT的進(jìn)化足跡，OpenAI傳達(dá)了哪些信號(hào)？》，腦極體

《百度類(lèi)ChatGPT產(chǎn)品將在3月完成內(nèi)測(cè) 業(yè)內(nèi)人士：謹(jǐn)慎樂(lè)觀》，財(cái)聯(lián)社

《ChatGPT爆火，揭秘AI大模型背后的高性能計(jì)算網(wǎng)絡(luò)》，InfoQ