---

  新智元報道  

前些年國內(nèi)盛傳一句話：「互聯(lián)網(wǎng)競爭進(jìn)入了下半場」。

歷史正在重演：「大模型競爭已經(jīng)進(jìn)入了下半場」。

現(xiàn)在大模型賽道的競爭，已經(jīng)遠(yuǎn)不止訓(xùn)個模型、刷個榜單那么簡單了，而是考驗一家公司在商業(yè)層面全方位的戰(zhàn)略競爭，具體體現(xiàn)在以下幾方面：

1. 技術(shù)形態(tài)上，從單純的底座大模型的競爭衍生到了到智能體（Agent）的競爭；

2. 商業(yè)成熟度上，從技術(shù)demo衍生到了應(yīng)用生態(tài)的競爭；

3. 交互入口上，從網(wǎng)頁端衍生到了交互最頻繁最自然的手機(jī)端；

4. 價值深度上，從千人一面衍生到了千人千面。

一句話來總結(jié)，大模型競爭下半場的核心就是：大模型應(yīng)用生態(tài)（智能體開源（AgentStore）+交互入口（手機(jī)端）。

如今，大部分公司還在做上半場的競爭，但筆者眾里尋她千百度，驀然回首，驚喜發(fā)現(xiàn)，有一家公司已經(jīng)全面擁抱大模型競爭下半場了——那就是國內(nèi)頭部的手機(jī)廠商OPPO。

就在昨天，2023 OPPO開發(fā)者大會上，OPPO官宣發(fā)布了自主訓(xùn)練的個性專屬大模型與智能體——安第斯大模型（AndesGPT）。

另外，為了更好地促進(jìn)大模型及智能體生態(tài)發(fā)展，AndesGPT后續(xù)將開源智能體框架，便于開發(fā)者打造自己的智能體。

一是面向開發(fā)者建立智能體開發(fā)平臺，二是打造Agent Store，支持Agent的高效孵化、托管與應(yīng)用。?通過智能體開發(fā)平臺，OPPO希望在未來，能讓所有人，就算不懂代碼的普通用戶，也能輕松定義和分享AI大模型的應(yīng)用。

你可能會好奇，作為一家手機(jī)廠商，OPPO為啥會做大模型和智能體呢？

背后的答案關(guān)乎著OPPO長期堅持的價值理念——始終堅持以用戶需求為中心，以用戶體驗為先。

比如，為何今年上半年，OPPO能以2400多萬臺出貨量穩(wěn)居國內(nèi)智能手機(jī)市場銷量第一？

在這銷量引領(lǐng)市場的背后，其實正是OPPO近二十年間不斷從用戶需求和用戶體驗出發(fā)的價值理念下，持續(xù)地深耕底層技術(shù)，以技術(shù)創(chuàng)新作為驅(qū)動力，通過持續(xù)打造極致的體驗贏得用戶的信賴和認(rèn)可。

遵循著同樣的理念，在大模型范式作為技術(shù)驅(qū)動的新時代，對于擁有6億C端用戶的OPPO來說，積極擁抱大模型AI智能體新時代，為手機(jī)端用戶帶來全面革新的智能終端交互體驗就成了一個很順其自然的決定。

目前行業(yè)內(nèi)已經(jīng)存在非常多的開源與閉源大模型，能否直接拿來應(yīng)用解決產(chǎn)品體驗升級問題呢？

OPPO的答案是NO，并選擇了自主訓(xùn)練的路線。

為什么呢？

以信息獲取需求為例，用戶最核心的訴求是獲得專業(yè)、可信、安全的內(nèi)容，而目前的大模型普遍存在“幻覺”，也容易產(chǎn)生不符合內(nèi)容安全規(guī)定的輸出，這讓用戶帶來很大的信任和安全困擾：到底什么時候可以采信大模型的結(jié)果？

作為國內(nèi)Top的智能終端廠商，OPPO在端和云的協(xié)作配合上具有天然的系統(tǒng)級優(yōu)勢，因此，OPPO公司以「對話增強(qiáng)、個性專屬、端云協(xié)同」為核心技術(shù)特點，自主訓(xùn)練更能符合產(chǎn)品體驗升級訴求的大模型是一個非常水到渠成的事情。

而我們知道，訓(xùn)練出來一個厲害的大模型，除了必須的算力之外，關(guān)鍵要素還包括：

1. 大規(guī)模高質(zhì)量的語料數(shù)據(jù)

2. 領(lǐng)先的AI算法能力

近5年來，OPPO已經(jīng)完成了這些關(guān)鍵成功要素的積累：

在數(shù)據(jù)方面，在構(gòu)建月活過億的C端產(chǎn)品小布助手的過程，OPPO已經(jīng)完成了大規(guī)模高質(zhì)量語料數(shù)據(jù)的積累；

在AI算法能力方面，在2021年OPPO的預(yù)訓(xùn)練算法模型就處于行業(yè)第一梯隊，并在大規(guī)模知識圖譜問答方面獲得行業(yè)Top-1的成績；

依托以上積累與沉淀，OPPO在今年3月啟動了持續(xù)創(chuàng)新的大模型技術(shù)探索，并成為公司安第斯智能云戰(zhàn)略的新一代技術(shù)核心。

作為驅(qū)動OPPO公司AI戰(zhàn)略的核心引擎，安第斯大模型全面賦能OPPO智慧終端，持續(xù)構(gòu)建「知識、記憶、工具、創(chuàng)作」的核心能力，并通過與終端結(jié)合的AI智能體和多模態(tài)對話范式，給用戶帶來全新的個性專屬智能體驗。

上面是AndesGPT的整體架構(gòu)。在云計算基礎(chǔ)設(shè)施和高質(zhì)量數(shù)據(jù)支撐下，OPPO主要訓(xùn)練三種規(guī)格的模型：AndesGPT-Tiny、AndesGPT-Turbo和AndesGPT-Titan；因此可以靈活適配不同的業(yè)務(wù)場景。

令人驚喜的是，盡管OPPO是一家手機(jī)廠商，但其在大模型方面的技術(shù)研發(fā)實力不容小覷。

首先，AndesGPT在行業(yè)主流的網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上，在位置編碼問題上探索了RoPE的base的最優(yōu)值，并結(jié)合log-scale和attention加bias，極大的提升了上下文擴(kuò)展能力，使得8k窗口可以擴(kuò)展到512k，大幅提升外推能力。

此外，AndesGPT還通過GQA技術(shù)結(jié)合膨脹注意力（Dilated Attention）加速了訓(xùn)練和推理，實現(xiàn)了O(Nd)的線性計算復(fù)雜度。

AndesGPT不僅僅大幅提升了context窗口和計算效率，其還通過長時記憶機(jī)制，支持了無限長度的上下文！

這里的長時記憶主要包括用戶交互過程中產(chǎn)生的交互歷史、個人數(shù)據(jù)，以及從中提取的結(jié)構(gòu)化信息等。

對大模型技術(shù)研究的比較深入的小伙伴都知道，長時記憶的引入會導(dǎo)致多輪對話的首字推理延遲大大增加，這其實是一個很傷用戶體驗的現(xiàn)象。

而OPPO針對這個難題，成功地自研了一套解決方案——SwappedAttention，其可以在多種復(fù)雜場景中有效減少計算延遲問題。

從機(jī)制上來說，SwappedAttention是通過內(nèi)存空間與計算交換的思想來大幅減少首字生成場景中的計算量，尤其在需要對長歷史序列進(jìn)行編碼計算時顯著提升效率。

當(dāng)遇到歷史序列較長的情況時，普通技術(shù)可能遭遇計算瓶頸，導(dǎo)致計算耗時長、并發(fā)度低；而SwappedAttention則可以通過緩存歷史的鍵值對（KV值）顯著縮短首字計算時間。

此外，SwappedAttention的多層級緩存機(jī)制包括GPU顯存、主機(jī)內(nèi)存和通過GDS（GPUDirect Storage）連接外部存儲設(shè)備，按照不同的緩存時長和對話頻率采用分級存儲和管理策略，以最優(yōu)化資源利用。這一技術(shù)是對前代PagedAttention的進(jìn)一步的演進(jìn)和擴(kuò)展，是一種更加高效的解決方案。

在應(yīng)用場景上，SwappedAttention對處理多輪對話和FileChat文檔對話有很大的幫助。例如，在多輪對話中，隨著對話輪數(shù)累積，Prompt變得越來越長，每一次查詢的首字生成時間顯著增長。使用SwappedAttention，系統(tǒng)能夠?qū)v史KV值存儲在多級緩存中，有效降低每次對話時的首字推理時間，從而加速用戶獲得響應(yīng)的速度。

而在FileChat文檔對話場景中，它則能夠存儲并讀取文檔的Attention KV值信息，避免對長文本的KV值進(jìn)行重復(fù)計算。舉例來說，對于一個100,000字的文檔對話，SwappedAttention能顯著減少計算需求，縮短首字推理的時間，并同時提升首字計算的并發(fā)能力。此外，在非首字推理過程中，它還能夠動態(tài)壓縮KV值，以進(jìn)一步減少顯存占用和提高整體的處理能力。

除了以上技術(shù)改進(jìn)外，數(shù)據(jù)層面的工作也可圈可點。

例如，AndesGPT還引入了千億條知識與對話數(shù)據(jù)，大幅強(qiáng)化了大模型知識問答的精準(zhǔn)性。并且融合海量中文對話數(shù)據(jù)、精品知識圖譜、高質(zhì)量QA問答數(shù)據(jù)，結(jié)合對預(yù)訓(xùn)練、指令微調(diào)、人類反饋強(qiáng)化學(xué)習(xí)等技術(shù)的定制優(yōu)化，大語言模型知識與百科能力的覆蓋面和準(zhǔn)確性有顯著提升。

這直接帶來的效果改善便是——大幅減少幻覺。

此外，AndesGPT在對話交互時，還深度融合了用戶的畫像和個人數(shù)據(jù)，從而給出了千人千面、個性專屬的大模型產(chǎn)品體驗。

以上，AndesGPT解決了「記憶」這個當(dāng)前大模型領(lǐng)域最大的痛點之一，除了「記憶」這個核心能力之外，AndesGPT在知識、工具與創(chuàng)作三大核心能力也都覆蓋了不少深入的優(yōu)化：

• ?在知識能力方面，AndesGPT融合了知識圖譜及通用搜索能力，為用戶提供更專業(yè)的問答。通過知識增強(qiáng)技術(shù)，將外部知識與模型融合生成結(jié)果，降低幻覺。

• ?在工具使用方面，AndesGPT可以更好的理解設(shè)備控制與服務(wù)API，端到端生成可執(zhí)行指令，且目前已支持使用系統(tǒng)設(shè)置、一方應(yīng)用、三方服務(wù)、代碼解釋器等各類工具。

• ?在創(chuàng)作方面，AndesGPT已全面支持文生圖與圖生圖場景。?這點可以通過新版小布助手來體驗；?另外預(yù)告一下12月份即將推出的小布照相館，通過使用安第斯大模型生成不同風(fēng)格的肖像照，可以達(dá)到“在家拍寫真”的效果。

什么是端云協(xié)同呢？

端云協(xié)同是指在信息技術(shù)中，設(shè)備端（客戶端、移動端等）與云端服務(wù)器之間的密切協(xié)作。這種協(xié)作關(guān)系旨在將計算任務(wù)、數(shù)據(jù)處理和服務(wù)能力在本地設(shè)備和遠(yuǎn)程云端之間有效分配和調(diào)度，以利用兩端的優(yōu)勢，并提高整體系統(tǒng)的性能、效率和用戶體驗。

舉個例子，這次開發(fā)者大會上，OPPO還發(fā)布了每個用戶的“專屬AI伙伴”——全新小布。

全新小布進(jìn)一步強(qiáng)化了端云協(xié)同能力，在終端和云端分別部署Tiny和Turbo模型，根據(jù)使用場景和網(wǎng)絡(luò)狀態(tài)做智能分流。特別是離線可運行，大大提升了可用性。

在AndesGPT的賦能下，全新小布內(nèi)置了豐富的智能體，不同的智能體為用戶提供不同的場景體驗。

以內(nèi)容摘要為例，AndesGPT-Tiny模型在手機(jī)端支持單次最大2048tokens輸入長度。在圖片生成時間上，文生圖單張圖片生成耗時5.5秒，圖生圖單張圖生成6.6秒，具備可落地應(yīng)用條件。

在這個AI生成摘要或圖片的過程中，「端」的智能設(shè)備提供即時的響應(yīng)和執(zhí)行，保證了操作的便捷性和實時性，而「云」則提供了智能計算和大規(guī)模的設(shè)備管理能力。所有的指令和數(shù)據(jù)通過端與云的緊密協(xié)作被有效處理，并且還可以根據(jù)數(shù)據(jù)分析調(diào)優(yōu)你的設(shè)定。此外，如果你的設(shè)備從云端下載了最近的更新，它們甚至可以在本地做出更智能的決策，而無需每次都與云端通信。

AndesGPT便是通過這樣的原理，充分發(fā)揮端和云各自優(yōu)勢，通過「端云分工、端云互補、端云協(xié)作」方式，實現(xiàn)全場景智能調(diào)度。

筆者一直在思考：

• 為什么OPPO致力于為每個人打造有用的、個性專屬的大模型與智能體？

• 為什么AndesGPT可以全面賦能OPPO整體的ColorOS?態(tài)和智慧終端？

筆者總結(jié)了兩點：

一是OPPO長久以來在科技硬實力上的投入，以鉆研技術(shù)的實力和打造生態(tài)的眼光將潘塔納爾系統(tǒng)和安第斯大模型深度協(xié)同，共同升級ColorOS智慧體驗。

二是在人員構(gòu)建、資源投入、算法研究等多個方面，OPPO一直是穩(wěn)扎穩(wěn)打，OPPO做大模型不是盲目跟風(fēng)、不是突如其來，而是一直堅持著自己的判斷，背后的底蘊是OPPO將AI這一領(lǐng)域作為戰(zhàn)略級投入賽道的認(rèn)知。

最后筆者想說：「不以競爭為導(dǎo)向，而是真正地從消費者的需求出發(fā)，用關(guān)鍵的技術(shù)解決關(guān)鍵的問題，真正帶給用戶有價值感的產(chǎn)品和體驗——這便是OPPO領(lǐng)跑大模型下半場的原因吧。」