（圖片來(lái)源：Pixabay）

李志飛將AIGC看得很透，他可能是行業(yè)里“最不著急”的人。

“幾乎每一個(gè)行業(yè)，從業(yè)者都是國(guó)外的2倍，利潤(rùn)又是同行的1/5，讓中國(guó)的創(chuàng)業(yè)難度提升了10倍”。李志飛的這句話適用于廣大行業(yè)，也可看成AIGC行業(yè)所面臨的現(xiàn)狀。

在2023年，AIGC行業(yè)開(kāi)局即炸裂。“被離職”、泛互聯(lián)網(wǎng)從業(yè)者及創(chuàng)業(yè)者扎根其中，保守估計(jì)已逾百萬(wàn)之眾。熱鬧中裹挾著焦慮，熙熙攘攘的人群中到處可聽(tīng)見(jiàn)“chat、chat”。

第二季度，國(guó)內(nèi)企業(yè)動(dòng)作頻出，百度、360、阿里、商湯相繼發(fā)布自研大模型，創(chuàng)業(yè)圈也熱情不減，王慧文、李開(kāi)復(fù)、賈揚(yáng)清、王小川相繼下場(chǎng)宣布入局大模型，當(dāng)大家的關(guān)注點(diǎn)都聚焦在5000萬(wàn)美元能買(mǎi)多少?gòu)埧?，可以支持幾次?xùn)練的時(shí)候，李志飛和出門(mén)問(wèn)問(wèn)卻走出了另外一條路。自研大模型+AIGC產(chǎn)品矩陣，底層技術(shù)和應(yīng)用落地并行是這家公司的特色，他可能是這個(gè)行業(yè)“最不著急”的人。

01

什么是大模型

在李志飛看來(lái)，大模型本質(zhì)上是序列模型。

以GPT為代表的大模型起源于文本，?本是簡(jiǎn)單線性序列，從這個(gè)角度看，大模型本質(zhì)上是一個(gè)序列模型。

他認(rèn)為，序列本身是很通用的，語(yǔ)言是一種序列，天氣溫度、股票價(jià)格也是序列。任何一個(gè)序列都有所謂的Prefix（前綴）、中綴（Infix）和 Suffix（后綴），這些元素構(gòu)成短語(yǔ)后就能形成具有遞歸能力的層次式表示，就像語(yǔ)言的語(yǔ)法樹(shù)一樣。大模型現(xiàn)在已經(jīng)學(xué)會(huì)快速表達(dá)序列，這一能力是以前的AI在機(jī)器翻譯、語(yǔ)音識(shí)別等序列任務(wù)里都不具備的。而且語(yǔ)言序列只是一種非常簡(jiǎn)單的序列，因?yàn)樗蔷€性的。

這似乎并不難理解，在數(shù)科星球（ID：digital-planet）多方印證下，找到了序列模型的一些解釋?zhuān)海℅PT、BERT等）之所以被稱(chēng)為序列模型，是因?yàn)樗鼈兪窃谛蛄袛?shù)據(jù)上進(jìn)行預(yù)訓(xùn)練的。在自然語(yǔ)言處理領(lǐng)域，大模型的輸入通常是一句話或一篇文章，這些輸入可以被看作是一個(gè)序列。因此，在訓(xùn)練這些模型時(shí)，它們通常會(huì)以序列方式處理輸入，并使用一系列技術(shù)來(lái)建立記憶和理解上下文之間的關(guān)系，以提供更好的預(yù)測(cè)能力。

在數(shù)科星球（ID：digital-planet）的研究中發(fā)現(xiàn)，如今，序列模型在業(yè)界已被廣泛采用。例如，Google的BERT模型可以通過(guò)在大量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，理解單詞和短語(yǔ)之間的關(guān)系，從而實(shí)現(xiàn)對(duì)復(fù)雜自然語(yǔ)言處理任務(wù)的卓越表現(xiàn)。同樣，OpenAI的GPT-3模型是基于序列到序列的轉(zhuǎn)換模型，以多種方式訓(xùn)練，使用Transformer架構(gòu)來(lái)學(xué)習(xí)計(jì)算機(jī)生成的文本與真實(shí)的人類(lèi)生成的文本之間的關(guān)系。

值得注意的是，大模型較之以往AI產(chǎn)品的好處是顯而易見(jiàn)的。以往，問(wèn)題在通過(guò)AI生成結(jié)果之前，需要定義語(yǔ)義模板，而這通常是指一種用于描述和表示語(yǔ)言語(yǔ)義信息的結(jié)構(gòu)化模板。這些模板描述了一些常見(jiàn)的語(yǔ)言結(jié)構(gòu)和句式，在生成文本時(shí)可以根據(jù)這些模板來(lái)指引生成過(guò)程。但缺點(diǎn)是，當(dāng)問(wèn)題發(fā)生變化，AI的程序也需變化，這讓模型本身變得“不那么通用”。

“而大模型訓(xùn)練過(guò)程中并不會(huì)預(yù)設(shè)問(wèn)題，只在最后Fine Tuning階段給模型一些范例數(shù)據(jù)（而非按照格式去標(biāo)注數(shù)據(jù)），然后就可以直接提問(wèn)模型并得出答案。”這意味著，大模型產(chǎn)品不需要特意標(biāo)注數(shù)據(jù)和重新訓(xùn)練系統(tǒng)，在通用性角度上，是一種極大的進(jìn)步。

02

參數(shù)不是越多越好

隨著ChatGPT在全球越來(lái)越火爆，大模型的基本原理已逐漸被世人熟知。在一個(gè)個(gè)大模型推向市場(chǎng)的同時(shí)，數(shù)科星球（ID：digital-planet）看到，大模型的參數(shù)量變成了人們關(guān)注的焦點(diǎn)。對(duì)此，人工智能科班出身的李志飛認(rèn)為，大模型不只是”大“。

他提到，參數(shù)量超千億的語(yǔ)言模型并非近年才發(fā)展起來(lái)，早在2007年，Google Translate的語(yǔ)言模型就已在2萬(wàn)億文本token里進(jìn)行學(xué)習(xí)，并達(dá)到3000億參數(shù)。但那時(shí)的大模型都是基于文本里的n-grams構(gòu)建，只是對(duì)互聯(lián)網(wǎng)文本的表層建模，至多只能往前看六個(gè)詞，主要用于在翻譯過(guò)程中判斷哪些句子更加符合目標(biāo)語(yǔ)言習(xí)慣，并不具備泛化任務(wù)的能力。

所以大模型不只是「大」，更多是需要對(duì)互聯(lián)網(wǎng)文本深度地建模。

在數(shù)科星球（ID：digital-planet）對(duì)話相關(guān)業(yè)內(nèi)人士后，也得出了相似結(jié)論：即大模型并不是參數(shù)越多越好——大模型確實(shí)需要參數(shù)到達(dá)一定的量級(jí)才會(huì)出現(xiàn)“涌現(xiàn)“能力，增加參數(shù)量也的確可以提升模型表現(xiàn)，但也會(huì)帶來(lái)以下一些潛在問(wèn)題：

訓(xùn)練時(shí)間和計(jì)算資源：參數(shù)越多，訓(xùn)練模型所需的時(shí)間和計(jì)算資源就越多。這可能導(dǎo)致開(kāi)發(fā)周期變長(zhǎng)，并需要更強(qiáng)大的硬件設(shè)備才能支持。

過(guò)擬合：較多參數(shù)的大模型可能面臨過(guò)擬合問(wèn)題。當(dāng)一個(gè)模型具有太多參數(shù)時(shí)，它可能過(guò)于復(fù)雜，以至于對(duì)訓(xùn)練數(shù)據(jù)捕捉過(guò)多細(xì)節(jié)，而無(wú)法很好地泛化到新的、未見(jiàn)過(guò)的數(shù)據(jù)。

優(yōu)化挑戰(zhàn)：參數(shù)較多的模型在尋找最優(yōu)解時(shí)具有更大的搜索空間，從而使優(yōu)化過(guò)程更為復(fù)雜和困難。

易用性和部署：大模型可能導(dǎo)致較大的存儲(chǔ)和內(nèi)存需求，這可能影響模型的易用性和部署。在資源受限的設(shè)備上（如移動(dòng)設(shè)備），部署大模型可能存在挑戰(zhàn)。

因此，在設(shè)計(jì)和選擇模型時(shí)，應(yīng)該根據(jù)任務(wù)需求和資源限制來(lái)平衡模型的大小和復(fù)雜度。在實(shí)際應(yīng)用中，往往需要找到模型大小和性能之間的最佳平衡點(diǎn)。有時(shí)候，使用更小的模型加上合適的正則化方法、數(shù)據(jù)增強(qiáng)等技術(shù)，也能達(dá)到不錯(cuò)的效果。

03

關(guān)鍵在于把如何大模型用起來(lái)

4月20日，出門(mén)問(wèn)問(wèn)在2023AIGC戰(zhàn)略發(fā)布會(huì)上內(nèi)測(cè)自研大模型“序列猴子”，展示了其在知識(shí)儲(chǔ)備、多步推理等方面的能力，李志飛本人甚至做了一場(chǎng)“人機(jī)交互”的live demo。

此外，出門(mén)問(wèn)問(wèn)還推出了四款A(yù)IGC產(chǎn)品形成產(chǎn)品矩陣，分別為AI寫(xiě)作平臺(tái)“奇妙文”、AI繪畫(huà)平臺(tái)“言之畫(huà)”、AI配音平臺(tái)“魔音工坊”、數(shù)字人視頻與直播平臺(tái)“奇妙元”，涵蓋了劇本生成、解說(shuō)講稿、文本工具、創(chuàng)意想法、視頻制作和制圖配圖等多個(gè)使用場(chǎng)景。

自2012年成立，出門(mén)問(wèn)問(wèn)這家公司在語(yǔ)音識(shí)別、TTS和NLP等領(lǐng)域均有嘗試。2020年6月，GPT-3出現(xiàn)之后其強(qiáng)大的通用能力讓人李志飛非常震撼，一個(gè)單一的模型便可以完成多種特定任務(wù)，甚至能夠完成從來(lái)沒(méi)有接觸過(guò)的任務(wù)。驚艷于GPT-3的表現(xiàn)，出門(mén)問(wèn)問(wèn)開(kāi)始探索中國(guó)GPT-3之路，并于2021年發(fā)布大模型「UCLAI」，但由于其商業(yè)化落地過(guò)于艱難，出門(mén)問(wèn)問(wèn)便停止了對(duì)大模型的投入。

隨后的一年多時(shí)間里，出門(mén)問(wèn)問(wèn)開(kāi)始布局生成式AI，做出了一系列AIGC產(chǎn)品，如「魔音工坊」和「奇妙元」。同時(shí)在美國(guó)，以Jasper為代表的AIGC產(chǎn)品迎來(lái)爆發(fā)式發(fā)展，成為GPT落地應(yīng)用的最佳場(chǎng)景之一。

2022年10月，出門(mén)問(wèn)問(wèn)重啟大模型業(yè)務(wù)。歷經(jīng)6個(gè)月，出門(mén)問(wèn)問(wèn)在發(fā)布會(huì)中連發(fā)4款A(yù)IGC產(chǎn)品，涵蓋劇本生成、解說(shuō)講稿、文本工具、創(chuàng)意想法、視頻制作和制圖配圖等多個(gè)使用場(chǎng)景形成覆蓋創(chuàng)作者全流程的生成式產(chǎn)品矩陣。

厚積薄發(fā)之下，大模型技術(shù)以及AIGC落地場(chǎng)景和產(chǎn)品應(yīng)用的積累徹底打通了出門(mén)問(wèn)問(wèn)的“任督二脈”，讓產(chǎn)品-數(shù)據(jù)和用戶之間形成了飛輪效應(yīng)。

客觀地說(shuō)，出門(mén)問(wèn)問(wèn)的模式可以成為大模型和AIGC企業(yè)的成長(zhǎng)樣板，在可預(yù)期的未來(lái)，AIGC產(chǎn)品之間也將在進(jìn)一步提升語(yǔ)義語(yǔ)境理解、垂直模型和個(gè)性化之間展開(kāi)。在數(shù)科星球（ID：digital-planet）看來(lái)這場(chǎng)技術(shù)革命才剛剛開(kāi)始，遠(yuǎn)沒(méi)到終局之時(shí)。

不過(guò)面對(duì)OpenAI引發(fā)的這場(chǎng)技術(shù)浪潮，相比于年初的滿腔熱血，李志飛理性了很多。

“跟ChatGPT差距是16個(gè)月 ”是李志飛對(duì)國(guó)內(nèi)大模型技術(shù)水平的判斷，他認(rèn)為，目前國(guó)內(nèi)各家大模型的平均水平大概處于谷歌FLAN階段（FLAN開(kāi)啟了大模型的指令學(xué)習(xí)Instruction Tuning范式），

做大模型不能太著急，它是個(gè)長(zhǎng)期主義的事情。

如今，在琳瑯滿目的AIGC類(lèi)產(chǎn)品推向市場(chǎng)的同時(shí)，數(shù)科星球（ID：digital-planet）認(rèn)為，創(chuàng)業(yè)企業(yè)在構(gòu)建技術(shù)底座的同時(shí)，還應(yīng)該明確落地場(chǎng)景和商業(yè)模式。畢竟目前，國(guó)內(nèi)外差距展現(xiàn)出來(lái)的只是技術(shù)問(wèn)題，而中國(guó)擁有全球難以企及的應(yīng)用優(yōu)勢(shì)。技術(shù)和商業(yè)并行，兩條腿走路或許是最適合國(guó)內(nèi)大模型企業(yè)的發(fā)展路線，就像李志飛所說(shuō)，發(fā)展大模型的關(guān)鍵在于把如何大模型用起來(lái)。

結(jié)尾：在對(duì)話多家AIGC企業(yè)后，數(shù)科星球（ID：digital-planet）覺(jué)得，李志飛和出門(mén)問(wèn)問(wèn)可能是行業(yè)中“最不著急”的人。他本人對(duì)AIGC的態(tài)度是長(zhǎng)期看好，但并不焦慮。

現(xiàn)在，AIGC的子彈飛翔兩個(gè)多月，并攪得行業(yè)“天下大亂”。在未來(lái)，數(shù)科星球（ID：digital-planet）希望看到更多更扎實(shí)、更能沉得住氣的企業(yè)加入AIGC大潮。有理由相信，倘若再給行業(yè)多些時(shí)間，那么將會(huì)有更多的企業(yè)給大眾帶來(lái)更多驚喜。