前言

核心知識(shí)點(diǎn)

AI大模型是“人工智能預(yù)訓(xùn)練大模型”的簡(jiǎn)稱，一種機(jī)器學(xué)習(xí)模型，包含了“預(yù)訓(xùn)練”和“大模型”兩層含義，二者結(jié)合產(chǎn)生了一種新的人工智能模式。即模型在大規(guī)模數(shù)據(jù)集上完成了預(yù)訓(xùn)練后無需微調(diào)，或僅需要少量數(shù)據(jù)的微調(diào)，就能直接支撐各類應(yīng)用。

大模型一般指1億以上參數(shù)的模型，但是這個(gè)標(biāo)準(zhǔn)一直在升級(jí)，目前萬億參數(shù)以上的模型也有了。大語言模型（Large Language Model，LLM）是針對(duì)語言的大模型。

2021年8月，李飛飛、Percy Liang等百來位學(xué)者聯(lián)名發(fā)布了文章：On the Opportunities and Risks of Foundation Models[1]，提出“基礎(chǔ)模型”(Foundation Models)的概念：基于自監(jiān)督學(xué)習(xí)的模型在學(xué)習(xí)過程中會(huì)體現(xiàn)出來各個(gè)不同方面的能力，這些能力為下游的應(yīng)用提供了動(dòng)力和理論基礎(chǔ)，稱這些大模型為“基礎(chǔ)模型”。簡(jiǎn)單理解就是智能化模型訓(xùn)練的底座。具體應(yīng)用場(chǎng)景不同分為小模型和大模型。

大模型也從2012年的萌芽期，發(fā)展到2016年的AI1.0時(shí)期，再到2022年ChatGPT帶來的AI2.0時(shí)期，模型參數(shù)均較前一代有數(shù)量級(jí)的飛躍，如OpenAI最新發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4約有超過2000億參數(shù)，谷歌最新推出“通才”大模型PaLM-E，擁全球已公開的最大規(guī)模的5620億參數(shù)，能夠表現(xiàn)出更優(yōu)秀的性能和應(yīng)用價(jià)值。目前，國內(nèi)AI大模型研發(fā)和應(yīng)用領(lǐng)域也正迎來高速發(fā)展熱潮，科技部新一代人工智能發(fā)展研究中心也隨即發(fā)布了《中國人工智能大模型地圖研究報(bào)告》，各類 AI 大模型產(chǎn)品層出不窮，“千模大戰(zhàn)”已經(jīng)打響。

AI大模型可以學(xué)習(xí)和處理更多的信息，比如圖像、文字、聲音等，也可以通過訓(xùn)練，完成各種復(fù)雜的任務(wù)。比如智能語音助手和圖像識(shí)別軟件都會(huì)用到AI大模型。

國內(nèi)外有哪些大模型

OpenAI：OpenAI是一家人工智能研究公司，擁有多個(gè)大型語言模型，包括GPT等。

Google：Google擁有很多大型深度學(xué)習(xí)模型，包括BERT、Transformer等。

Facebook：Facebook擁有很多大型深度學(xué)習(xí)模型，包括XLM-R、RoBERTa等。

Microsoft：Microsoft擁有很多大型深度學(xué)習(xí)模型，包括Turing-NLG、DialoGPT等。

特斯拉：成立X.AI公司，為了探索宇宙的奧秘

蘋果：正式官宣加入大模型陣營，建立自己的框架來創(chuàng)建大語言模型“Ajax”,蘋果還創(chuàng)建了一個(gè)聊天機(jī)器人服務(wù)“Apple GPT”，股價(jià)再次突破新高

    一面狂熱，一面冷峻是最好的形容。在過去的幾個(gè)月里，各大廠相繼出招，先是3月16日，百度率先發(fā)布“文心一言”，期望對(duì)標(biāo)ChatGPT；再到阿里巴巴旗下超大規(guī)模語言模型“通義千問”開放內(nèi)測(cè)，萬維和商湯科技分別發(fā)布大模型產(chǎn)品；創(chuàng)新工場(chǎng)CEO李開復(fù)、前搜狗CEO王小川、前京東AI掌門人周伯文、前美團(tuán)聯(lián)合創(chuàng)始人王慧文等行業(yè)大佬紛紛宣布下場(chǎng)，國產(chǎn)大模型賽道競(jìng)爭(zhēng)激烈。

    大模型的建造離不開綜合算力資源、算法人才、數(shù)據(jù)積累及產(chǎn)品先發(fā)幾大核心要素。事實(shí)也正是如此，只有大廠才有大量資金和人才發(fā)展算力、算法、數(shù)據(jù)，也最有機(jī)會(huì)率先落地大模型。

專業(yè)名詞大全

1. 算法：類比碳基物種，硅基物種的大腦就是模型。我們現(xiàn)在說的算法（比如Transformer）代表大腦（模型）的能力，Transformer的出現(xiàn)確實(shí)極大程度地推動(dòng)了AI的發(fā)展。但現(xiàn)階段，在處理多模態(tài)數(shù)據(jù)時(shí)還有很大挑戰(zhàn)，在算法層面未來一定會(huì)有新的突破。

2、模型參數(shù)：一個(gè)剛出生的人類幼崽隨著年齡的增長，大腦本身在增長，模型參數(shù)的數(shù)量增加可以類比人類大腦本身的成長和成熟；隨著人類幼崽成長中接觸的事物增加，大腦的認(rèn)知在改變，參數(shù)的數(shù)值可以類比人類利用外界信息給自己構(gòu)建的認(rèn)知。

3、訓(xùn)練數(shù)據(jù)：人類成長過程中對(duì)認(rèn)知的構(gòu)建，70%是通過視覺，20%是通過聽覺，其他包括味覺、觸覺、嗅覺等等，通過這些感官接受這個(gè)世界的信息來構(gòu)建對(duì)世界的了解。模型的訓(xùn)練數(shù)據(jù)某種程度類比于這些信息，你讓模型看到了多少和什么質(zhì)量的數(shù)據(jù)，決定了他未來的認(rèn)知，即參數(shù)的數(shù)量和數(shù)值。

4、Token：我們常常會(huì)聽到Token這個(gè)詞，Token的概念相當(dāng)于文字，一個(gè)中文文字對(duì)應(yīng)一個(gè)token，比如冰激凌，對(duì)應(yīng)三個(gè)token：冰+激+凌；一個(gè)英文的字符對(duì)應(yīng)一個(gè)token，比如icecream，對(duì)應(yīng)兩個(gè)token：ice+cream。

5、175B、60B、540B等：這些一般指參數(shù)的個(gè)數(shù)，B是Billion/十億的意思，175B是1750億參數(shù)，這是ChatGPT大約的參數(shù)規(guī)模。

6、強(qiáng)化學(xué)習(xí)：（Reinforcement Learning）一種機(jī)器學(xué)習(xí)的方法，通過從外部獲得激勵(lì)來校正學(xué)習(xí)方向從而獲得一種自適應(yīng)的學(xué)習(xí)能力。

7、 基于人工反饋的強(qiáng)化學(xué)習(xí)（RLHF）：（Reinforcement Learning from Human Feedback）構(gòu)建人類反饋數(shù)據(jù)集，訓(xùn)練一個(gè)激勵(lì)模型，模仿人類偏好對(duì)結(jié)果打分，這是GPT-3后時(shí)代大語言模型越來越像人類對(duì)話核心技術(shù)。

8、涌現(xiàn)：（Emergence）或稱創(chuàng)發(fā)、突現(xiàn)、呈展、演生，是一種現(xiàn)象。許多小實(shí)體相互作用后產(chǎn)生了大實(shí)體，而這個(gè)大實(shí)體展現(xiàn)了組成它的小實(shí)體所不具有的特性。研究發(fā)現(xiàn)，模型規(guī)模達(dá)到一定閾值以上后，會(huì)在多步算術(shù)、大學(xué)考試、單詞釋義等場(chǎng)景的準(zhǔn)確性顯著提升，稱為涌現(xiàn)。

9、泛化：（Generalization）模型泛化是指一些模型可以應(yīng)用（泛化）到其他場(chǎng)景，通常為采用遷移學(xué)習(xí)、微調(diào)等手段實(shí)現(xiàn)泛化。

10、微調(diào)：（FineTuning）針對(duì)大量數(shù)據(jù)訓(xùn)練出來的預(yù)訓(xùn)練模型，后期采用業(yè)務(wù)相關(guān)數(shù)據(jù)進(jìn)一步訓(xùn)練原先模型的相關(guān)部分，得到準(zhǔn)確度更高的模型，或者更好的泛化。

11、指令微調(diào)：（Instruction FineTuning），針對(duì)已經(jīng)存在的預(yù)訓(xùn)練模型，給出額外的指令或者標(biāo)注數(shù)據(jù)集來提升模型的性能。

12、思維鏈：（Chain-of-Thought，CoT）。通過讓大語言模型（LLM）將一個(gè)問題拆解為多個(gè)步驟，一步一步分析，逐步得出正確答案。需指出，針對(duì)復(fù)雜問題，LLM直接給出錯(cuò)誤答案的概率比較高。思維鏈可以看成是一種指令微調(diào)。