根據(jù)OpenAI的解釋，ChatGPT 是InstructGPT的兄弟模型，兩者非常相似，不同之處僅在于訓(xùn)練模型的數(shù)據(jù)量。目前關(guān)于InstructGPT的技術(shù)文檔比ChatGPT多一些，因此，我們從InstructGPT文檔中關(guān)于數(shù)據(jù)部分的描述可以看看ChatGPT。關(guān)于ChatGPT、InstructGPT和GPT-3的關(guān)系及技術(shù)差別見本文最后，這里先將模型的訓(xùn)練數(shù)據(jù)，包括互聯(lián)網(wǎng)大數(shù)據(jù)和對(duì)話相關(guān)的數(shù)據(jù)集。下面分別介紹數(shù)據(jù)集、處理方法、以及爬蟲作用。

互聯(lián)網(wǎng)大數(shù)據(jù)及處理

模型最主要的數(shù)據(jù)是互聯(lián)網(wǎng)大數(shù)據(jù)，是來(lái)Common Crawl 的部分?jǐn)?shù)據(jù)，共1萬(wàn)億個(gè)詞匯、570G，覆蓋了2016-2019年間的互聯(lián)網(wǎng)文本數(shù)據(jù)，包括HTML、word、pdf等等各類型。這些數(shù)據(jù)可通過(guò)亞馬遜的云計(jì)算服務(wù)進(jìn)行訪問，據(jù)說(shuō)只需25美元就可以設(shè)置一個(gè)亞馬遜帳戶獲取這些抓取數(shù)據(jù)。從頁(yè)面語(yǔ)言來(lái)看，最多的是英文，共有15億個(gè)頁(yè)面（根據(jù)2022年某個(gè)月抓取的頁(yè)面統(tǒng)計(jì)）。截至2021年12月,我國(guó)網(wǎng)頁(yè)數(shù)量為3350億個(gè)，2021年比2020年增加195億個(gè)頁(yè)面，每個(gè)月新增加16.2億，因此Common Crawl 收錄的中文頁(yè)面大概不超過(guò)總數(shù)的10%。除此以外，還有來(lái)自英文Wikipedia和基于互聯(lián)網(wǎng)的兩個(gè)圖書庫(kù)（具體未知）。

從這里，我們也可以看出，由于訓(xùn)練數(shù)據(jù)將近50%是英文，InstructGPT在經(jīng)過(guò)多層模型學(xué)習(xí)后，最終也可能學(xué)習(xí)到一些所謂“價(jià)值觀”的高層特征，因此在新的AI時(shí)代文化安全更加富有挑戰(zhàn)性。

ChatGPT對(duì)CommonCrawl數(shù)據(jù)集進(jìn)行了兩個(gè)主要的處理，即低質(zhì)量頁(yè)面過(guò)濾、頁(yè)面相似性去重，以避免過(guò)擬合。這也是采用互聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)不可少的步驟。頁(yè)面質(zhì)量過(guò)濾時(shí)，采用的是機(jī)器學(xué)習(xí)方法。選擇WebText作為高質(zhì)量文檔類，訓(xùn)練一個(gè)文檔質(zhì)量分類器（邏輯回歸分類器+Spark的標(biāo)準(zhǔn)切分和HashingTF作為特征表示），訓(xùn)練好的分類器用于對(duì)CommonCrawl的文檔進(jìn)行質(zhì)量過(guò)濾。頁(yè)面去重時(shí)，使用和該質(zhì)量分類器相同的文檔特征表示，利用Spark的MinHashLSH進(jìn)行文檔相似性計(jì)算，大概排除了10%的相似頁(yè)面，有利于減小相似文檔導(dǎo)致的模型過(guò)擬合，以及降低模型訓(xùn)練復(fù)雜度。

支持對(duì)話的相關(guān)數(shù)據(jù)集

GPT-3有很強(qiáng)的上下文表示能力，但缺乏用戶交互行為的學(xué)習(xí)。InstructGPT模型引入了強(qiáng)化學(xué)習(xí)和監(jiān)督學(xué)習(xí)來(lái)理解用戶意圖，正是由于有了很好的意圖理解能力，我們和ChatGPT的對(duì)話才能顯得自如。相應(yīng)的支持訓(xùn)練數(shù)據(jù)主要有：

（1） SFT數(shù)據(jù)集：由標(biāo)注人員對(duì)用戶輸入提示行為進(jìn)行標(biāo)注，共13K個(gè)訓(xùn)練提示，該數(shù)據(jù)集用于微調(diào)GPT-3，采用監(jiān)督學(xué)習(xí)方法Supervised fine-tuning (SFT)。

（2） RM數(shù)據(jù)集：標(biāo)注者對(duì)給定輸入的預(yù)期輸出進(jìn)行排序，共33K個(gè)記錄，數(shù)據(jù)集用于訓(xùn)練獎(jiǎng)勵(lì)模型Reward modeling (RM)以預(yù)測(cè)人類想要的輸出。

（3） PPO數(shù)據(jù)集：沒有標(biāo)注，用于RLHF（reinforcementlearning from human feedback，從人類反饋中獲得的強(qiáng)化學(xué)習(xí)）微調(diào)。

正是由于這些數(shù)據(jù)集的引入，使得ChatGPT在多輪會(huì)話中，能夠有效地理解我們的意圖，這點(diǎn)倒是AI一個(gè)很大的進(jìn)步。這里我們也可以看到在AI時(shí)代標(biāo)注之類的勞動(dòng)密集型工作留給人類來(lái)做，按此趨勢(shì)人類大腦退化不是沒有可能的，哈哈~

InstructGPT、GPT-2、ChatGPT關(guān)系介紹

InstructGPT是OpenAI于2022年初發(fā)布的語(yǔ)言模型，可以看作是一個(gè)經(jīng)過(guò)微調(diào)的新版本GPT-3，它的新在于可以盡量減少有害的、不真實(shí)的和有偏差的輸出。吸取了Microsoft 的Tay在使用來(lái)自 Twitter 的開放數(shù)據(jù)進(jìn)行訓(xùn)練后出現(xiàn)的種族傾向錯(cuò)誤。這個(gè)是人工智能安全的視角，在信息化進(jìn)入智能化后，安全升級(jí)為第一要位，沒有安全也就沒有AI應(yīng)用，自動(dòng)駕駛就是很好的例子。當(dāng)然目前ChatGPT這個(gè)架構(gòu)，還很容易受到數(shù)據(jù)投毒攻擊，后續(xù)有空我再寫一篇人工智能安全視角下的ChatGPT。

這個(gè)模型比GPT-3小了100多倍，僅有13億個(gè)參數(shù)，比GPT-2還少。與之前各類語(yǔ)言模型不同的是，ChatGPT 是為對(duì)話構(gòu)建的大型語(yǔ)言模型，也可以稱之為對(duì)話語(yǔ)言模型吧，因此該模型的設(shè)計(jì)目標(biāo)之一是能夠讓模型知道人類的意圖。因此，主要技術(shù)是通過(guò)結(jié)合監(jiān)督學(xué)習(xí)+從人類反饋中獲得的強(qiáng)化學(xué)習(xí)（RLHF，reinforcementlearning from human feedback），提高GPT-3的輸出質(zhì)量。

爬蟲的作用

盡管目前ChatGPT還是利用他人爬蟲數(shù)據(jù)集，但是作為一個(gè)獨(dú)立成長(zhǎng)的AI系統(tǒng)，將來(lái)免不了自己采集，否則難于跟上用戶變化。雖然進(jìn)入了AIGC時(shí)代，但是UGC仍然長(zhǎng)期存在，否組用AIGC去訓(xùn)練AI，那就相當(dāng)于自己拉的si自己吃了，最終免不了病態(tài)。當(dāng)然并非否定AIGC，它作為一種輔助數(shù)據(jù)增強(qiáng)的手段還是非常受到大家的歡迎。

從這個(gè)角度看它和搜索引擎有一定相似地方，才會(huì)有很多人認(rèn)為它是搜索引擎的增強(qiáng)或者將來(lái)要代替搜索引擎了。搜索引擎只是將爬蟲抓來(lái)的頁(yè)面提取、解析后進(jìn)行逆向索引，然后存儲(chǔ)關(guān)鍵詞和頁(yè)面的對(duì)應(yīng)關(guān)系即可為用戶提供匹配服務(wù)，而ChatGPT技術(shù)手段要更深刻很多了，語(yǔ)義理解、大數(shù)據(jù)技術(shù)、監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)以及意圖理解等等。不過(guò)搜索引擎公司所擁有的頁(yè)面數(shù)據(jù)比ChatGPT所使用的大數(shù)據(jù)集要大很多，將來(lái)自己定制一個(gè)對(duì)話語(yǔ)言模型是很有基礎(chǔ)的，希望不久baidu能出品。