趕緊學(xué)習(xí)起來吧！

OpenAI 的風(fēng)波暫時告一段落，員工也忙著「干活了」。

年初回歸 OpenAI 的 Andrej Karpathy 最近做了一場關(guān)于大型語言模型（LLM）的 30 分鐘入門講座，但該講座當(dāng)時沒錄制。因此，他基于這場講座重新錄制了一個長達(dá) 1 小時的視頻，希望讓更多人看到和學(xué)習(xí)。

視頻的主題為《大型語言模型入門》，涵蓋了 LLM 的推理、訓(xùn)練、微調(diào)以及新出現(xiàn)的 LLM 操作系統(tǒng)和 LLM 安全。視頻主打「非技術(shù)性」，偏科普，所以更加容易理解。

想要了解更詳細(xì)內(nèi)容，大家可觀看原視頻。

我們接下來整體了解一下 Karpathy 都講到了哪些內(nèi)容。視頻主要分為三大部分展開，分別是 LLMs、LLMs 的未來和 LLM 安全。

在第一部分，Karpathy 首先介紹了 LLM 的一些入門知識，并以 Meta 推出的開源大模型 Llama 2-70b 為例講解。該模型有 700 億參數(shù)，它主要包含兩個文件，分別是參數(shù)文件（文件大小為 140GB）和運(yùn)行這些參數(shù)的代碼（以 C 語言為例需要約 500 行代碼）。

因此，在 LLM 推理階段，Karpathy 表示只要有這兩個文件再加上一臺 MacBook，我們就可以構(gòu)建一個獨(dú)立的系統(tǒng)，無需聯(lián)網(wǎng)或其他設(shè)施。這里他展示了跑 70 億參數(shù)大模型的例子。

LLM 訓(xùn)練比推理復(fù)雜得多。Karpathy 表示，模型推理可以在一臺 MacBook 上運(yùn)行，但模型訓(xùn)練過程耗費(fèi)的計(jì)算量就非常大了。因此，我們需要對互聯(lián)網(wǎng)內(nèi)容進(jìn)行壓縮。他以 Llama 2-70b 為例來說明，訓(xùn)練該模型需要從網(wǎng)絡(luò)爬取約 10TB 的文本，大約需要 6000 個 GPU 訓(xùn)練約 12 天，耗資 200 萬美元，參數(shù)文件大小約為 140GB。

顯然 Llama 2-70b 并不是最大的，如果訓(xùn)練 ChatGPT、Claude 或 Bard，這些數(shù)字可能會增加 10 倍或者更多，耗資可能高達(dá)千萬甚至上億美元。

不過，一旦擁有了這些參數(shù)，運(yùn)行神經(jīng)網(wǎng)絡(luò)的計(jì)算成本就相對較低了。Karpathy 解釋了什么是神經(jīng)網(wǎng)絡(luò)，它的基本任務(wù)是預(yù)測序列中的下一個單詞。他將訓(xùn)練過程視為一種互聯(lián)網(wǎng)的壓縮，如果可以準(zhǔn)確地預(yù)測下一個單詞，則能夠用來壓縮數(shù)據(jù)集。

神經(jīng)網(wǎng)絡(luò)是如何預(yù)測下一個單詞的呢？Karpathy 介紹稱，正如以下 Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)示意圖，1000 億參數(shù)分布在整個神經(jīng)網(wǎng)絡(luò)中。這就需要迭代地調(diào)整這些參數(shù)，使網(wǎng)絡(luò)作為一個整體來更好地執(zhí)行預(yù)測下一個單詞的任務(wù)。

上面這些是訓(xùn)練的第一階段，稱為預(yù)訓(xùn)練，顯然還不足以訓(xùn)練出一個真正的助理模型。這就要進(jìn)入微調(diào)階段。預(yù)訓(xùn)練階段需要大量來自互聯(lián)網(wǎng)的文本數(shù)據(jù)，這些數(shù)據(jù)可能質(zhì)量不高。但微調(diào)階段看重?cái)?shù)據(jù)的質(zhì)量而非數(shù)量，比如需要非常高質(zhì)量的對話文檔。

Karpathy 總結(jié)了如何訓(xùn)練自己的 ChatGPT。預(yù)訓(xùn)練階段獲得基礎(chǔ)模型，微調(diào)階段則需要編寫標(biāo)簽指令、雇人收集高質(zhì)量的 QA 響應(yīng)、對基礎(chǔ)模型進(jìn)一步微調(diào)、進(jìn)行大量評估以及部署等步驟。

第二部分講的是 LLMs 的未來，包括 LLM 縮放法則、工具使用、多模態(tài)、思考及 System 1/2、自我改進(jìn)及 LLM AlphaGo、LLM 定制、GPTs Store 以及 LLM 操作系統(tǒng)等。

所謂 LLM 縮放法則，即 LLM 的性能可以表示為非常平滑、表現(xiàn)良好且可以預(yù)測的兩個變量函數(shù)，分別是網(wǎng)絡(luò)中的參數(shù)量（N）和要訓(xùn)練的文本量（D）。我們可以根據(jù)這兩個變量通過縮放來預(yù)測下一個單詞預(yù)測任務(wù)中的準(zhǔn)確率。

至于工具使用，Karpathy 提到了瀏覽器、計(jì)算器、解釋器和 DALL-E。這里著重講一下 DALL-E，它是 OpenAI 開發(fā)的文生圖工具。目前，最新版本 DALL-E 3 已經(jīng)集成到了 ChatGPT 中，可以輸入自然語言描述來生成圖像。

多模態(tài)也是近來領(lǐng)域關(guān)注的重點(diǎn)，比如視覺、音頻等。在視覺領(lǐng)域，大模型不僅可以生成圖像，還可以看到（See）圖像。Karpathy 提到了 OpenAI 聯(lián)合創(chuàng)始人 Greg Brockman 的一個演示，后者向 ChatGPT 展示了一張 MyJoke 網(wǎng)站的手寫小圖。結(jié)果 ChatGPT 看明白了這張圖，并創(chuàng)建一個 MyJoke 網(wǎng)站。我們可以訪問這個網(wǎng)站，還可以看到笑話。

在談到 LLM 的未來發(fā)展時，Karpathy 提到了 System 1 和 System 2 的思維模式。System 1 是快速、本能和自動的思維過程，System 2 則是有意識、有思考的思維過程?，F(xiàn)在，人們希望為 LLM 引入更多類似 Sytem 2 的思維能力。此外 LLM 的自我改進(jìn)也是需要關(guān)注的重點(diǎn)問題之一。

LLMs 的定制化更是近來的熱點(diǎn)。OpenAI CEO Sam Altman 在開發(fā)者日上宣布推出的 GPTs 商店走出了模型定制化的第一步。用戶可以創(chuàng)建自己的 GPT，根據(jù)需求進(jìn)行定制，或者添加更多知識。未來對 LLM 進(jìn)行微調(diào)和定制的可能性越來越大。

至于 LLM 操作系統(tǒng)，與當(dāng)前的傳統(tǒng)操作系統(tǒng)有很多相似之處。在未來幾年，LLM 可以閱讀和生成文本，擁有比任何個人都豐富的知識，瀏覽互聯(lián)網(wǎng)，使用現(xiàn)有軟件基礎(chǔ)架構(gòu)，具備查看和生成圖像、視頻的能力，聽到、發(fā)出并創(chuàng)作音樂，利用 System 2 進(jìn)行深入思考，能夠自我改進(jìn)，針對特有任務(wù)微調(diào)和定制，等等。

第三部分是 LLM 安全性。Karpathy 講了越獄（Jailbreak）、提示注入（Prompt injection）、數(shù)據(jù)投毒或后門攻擊（Data poisoning or Backdoor atteck）等三種攻擊方式。