會上，傅盛宣布“為企業(yè)應(yīng)用而生”的開源百億參數(shù)獵戶星空大模型正式發(fā)布，他強(qiáng)調(diào)，在企業(yè)應(yīng)用場景中，獵戶星空大模型在結(jié)合企業(yè)私有數(shù)據(jù)和應(yīng)用時，即可實(shí)現(xiàn)千億參數(shù)級別的模型效果。

獵戶星空百億參數(shù)大模型，企業(yè)標(biāo)配

獵戶星空大模型（Orion-14B）是由獵戶星空研發(fā)的預(yù)訓(xùn)練多語言大語言模型，以其140億參數(shù)規(guī)模展現(xiàn)出了卓越的性能。

Orion-14B模型在一個龐大且多樣化的數(shù)據(jù)集上進(jìn)行訓(xùn)練，數(shù)據(jù)集規(guī)模達(dá)到了2.5萬億token。這一規(guī)模不僅覆蓋了常見語言，還涵蓋了專業(yè)術(shù)語和特定領(lǐng)域知識，確保模型能夠理解和生成多種語境下的文本。

百億參數(shù)大模型基座能力行業(yè)領(lǐng)先。Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方測試集上，均為同級別模型SOTA。

基于第三方機(jī)構(gòu)OpenCompass獨(dú)立評測結(jié)果

140億參數(shù)，以小博大。第三方OpenCompass綜合測評總分中，700億以下參數(shù)基座模型中文數(shù)據(jù)集排名第一。

實(shí)現(xiàn)長文本中「大海撈針」。最長可支持 320K token 超長文本，一次性讀入一本小說。在三十萬文字中任意位置隨機(jī)隱藏關(guān)鍵信息，對模型進(jìn)行提問，結(jié)果全部正確。

量化性能幾乎無損。 通過AWQ Q4量化技術(shù)，模型大小減少70%，推理速度提升30%，性能幾乎無損(損失小于1%)，可在千元級顯卡可以流暢運(yùn)行。在NVIDIA RTX 3060顯卡實(shí)測，推理速度可達(dá)31 token/s (約每秒50漢字)

多語言能力極強(qiáng)。超越了市面上許多更大參數(shù)的模型，尤其日語和韓語能力表現(xiàn)優(yōu)秀，評測全球第一。

日文為JNLI等8項(xiàng)評測集平均得分；韓文為COPA等4項(xiàng)評測集平均得分；中文英文為OpenCompass對應(yīng)語言評測集平均得分

獨(dú)家推出微調(diào)模型全家桶

為了更好地滿足企業(yè)的應(yīng)用需求，獵戶星空獨(dú)家推出了微調(diào)全家桶。在專業(yè)應(yīng)用場景層面，Orion-14B也表現(xiàn)出了顯著的可塑性和廣泛的應(yīng)用潛力，可以與千億級模型媲美。

企業(yè)數(shù)字員工應(yīng)用最牛套件

針對不同的應(yīng)用需求，進(jìn)一步擴(kuò)展了獵戶星空大模型（Orion-14B）的功能和實(shí)用性，著重打磨的兩個方向，檢索增強(qiáng)生成（RAG）和Agent。

所有基于大模型搭建好的應(yīng)用，想要獲取實(shí)時數(shù)據(jù)，都需要建立在檢索增強(qiáng)生成（RAG）技術(shù)之上，RAG能力微調(diào)模型 （Orion-14B-RAG）使企業(yè)能夠快速整合自身知識庫，構(gòu)建定制化的應(yīng)用。獵戶星空通過針對知識邊界控制、問答對生成、幻覺控制、結(jié)構(gòu)化數(shù)據(jù)提取等能力進(jìn)行專項(xiàng)微調(diào)，使之成為最適合開發(fā)RAG應(yīng)用的底座模型。

通過對比，可以看到獵戶星空大模型RAG套件與普通RAG套件在專業(yè)領(lǐng)域的區(qū)別。

除了RAG，大模型應(yīng)用可能拓寬的另一條重要路徑，便是Agent。

插件能力微調(diào)模型（Orion-14B-Plugin）的關(guān)鍵在于增強(qiáng)模型根據(jù)用戶問題調(diào)用最適配工具的能力，并將插件的結(jié)果與模型的處理相結(jié)合，以解決更復(fù)雜的問題。我們通過針對意圖識別、函數(shù)調(diào)用、缺槽反問、單輪抽參、多輪抽參、ReAct 等能力進(jìn)行專項(xiàng)微調(diào)，使之成為最適合構(gòu)建Agent應(yīng)用的底座模型。

這里不得不說，獵戶星空大模型的Agent應(yīng)用所需的五項(xiàng)能力包括意圖識別、首輪抽參、多輪抽參、缺槽反問、插件調(diào)用，都已經(jīng)接近了GPT-4的水平。

數(shù)字老板：獨(dú)一無二的大模型應(yīng)用交鑰匙解決方案

大模型浪潮中，做好應(yīng)用，依然是創(chuàng)業(yè)者最好的機(jī)會。

獵戶星空推出大模型深度應(yīng)用「聚言」，面向企業(yè)客戶提供大模型咨詢與服務(wù)一站式解決方案?；凇妇垩浴勾蛟斐龅?“數(shù)字老板”，可以幫助企業(yè)老板全面掌握經(jīng)營細(xì)節(jié)、不留遺漏，包括人力資產(chǎn)，云資產(chǎn)，數(shù)字資產(chǎn)等。幫助企業(yè)運(yùn)營提效，領(lǐng)先同行目標(biāo)。

在實(shí)踐中獵戶星空發(fā)現(xiàn)，企業(yè)需要的不是「大模型」，而是能夠結(jié)合業(yè)務(wù)流并解決自身痛點(diǎn)的大模型應(yīng)用?！妇垩浴咕鸵垣C戶星空大模型為基座，結(jié)合場景應(yīng)用微調(diào)套件，通過全鏈條的AI大模型咨詢定制，為客戶提供AI輔助決策交鑰匙解決方案。

人力助手：一口氣看完2000份周報，發(fā)掘潛力員工

插視頻

云資產(chǎn)助手：成本直降30%，立省85萬刀

插視頻

聚言創(chuàng)意助手：N個專家，直接為你出謀劃策

插視頻

AI大模型創(chuàng)新，以終為始的思考：尋找破局點(diǎn)

“做出自己的千億大模型，就一定能取得商業(yè)上的成功嗎？如果技術(shù)沒有和產(chǎn)品、應(yīng)用形成閉環(huán)，再多技術(shù)投入都不能形成壁壘?！备凳⒈硎尽，F(xiàn)在大模型之路主流的模式，是砸錢預(yù)訓(xùn)練千億級模型，微調(diào)，然后尋找應(yīng)用場景。而獵戶星空AI大模型創(chuàng)新以Think Different思維邏輯，在已知應(yīng)用場景后，再微調(diào)，然后尋找合適的模型。

七年磨一劍

2016年，獵戶星空成立并提出'All in AI'戰(zhàn)略藍(lán)圖，自研AI全鏈條技術(shù)，并緊密跟隨行業(yè)技術(shù)演進(jìn)的步伐。我們從DNN、Attention、Bert到LLM，全面追蹤ASR/TTS/NLP全棧的算法演進(jìn)，不斷提升我們的技術(shù)實(shí)力。

為了實(shí)現(xiàn)這一目標(biāo)，我們投入了巨資，打造了一個博士團(tuán)隊，團(tuán)隊成員來自Meta、Yahoo、百度等全球頂級大廠，擁有數(shù)百名頂級算法科學(xué)家。這個頂級團(tuán)隊為我們的技術(shù)研發(fā)提供了強(qiáng)大的支持。

我們的優(yōu)勢不僅在于頂級團(tuán)隊，還在于我們擁有過去全球20億用戶級應(yīng)用的經(jīng)驗(yàn)和應(yīng)用打磨基因。這使得我們能夠更好地理解和滿足用戶的需求，將我們的AI技術(shù)應(yīng)用于實(shí)際場景中。

此外，我們在過去近7年的時間里，積累了百億級真實(shí)用戶Query數(shù)據(jù)和數(shù)十萬億級別的token數(shù)據(jù)。這些寶貴的數(shù)據(jù)為我們的研究和開發(fā)提供了堅實(shí)的基礎(chǔ)，使我們能夠更準(zhǔn)確地訓(xùn)練和優(yōu)化我們的模型。

獵戶星空大模型下一個里程碑

獵戶星空正在基于MoE架構(gòu)訓(xùn)練混合專家模型，百億參數(shù)智能水平可全方位媲美千億參數(shù),獵戶星空大模型專注百億，敬請期待！