▼最近直播超級(jí)多，預(yù)約保你有收獲

架構(gòu)設(shè)計(jì)模式已成為程序員的重要技能。然而，當(dāng)我們轉(zhuǎn)向大模型應(yīng)用領(lǐng)域，情況可能會(huì)有所不同。面對(duì)新興技術(shù)，比如：生成式 AI，我們尚缺乏成熟的設(shè)計(jì)模式來(lái)支撐這些解決方案。

根據(jù)多年的架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)，我在這里整理總結(jié)了一些針對(duì)大模型應(yīng)用的設(shè)計(jì)方法和架構(gòu)模式，試圖應(yīng)對(duì)和解決大模型應(yīng)用實(shí)現(xiàn)中的一些挑戰(zhàn)，比如：成本問(wèn)題、延遲問(wèn)題以及生成的幻覺(jué)等問(wèn)題。

 —1—

路由分發(fā)架構(gòu)模式

如果 Prompt 查詢(xún)是可以識(shí)別的，那么它會(huì)被路由到小模型進(jìn)行處理，這通常是一個(gè)更準(zhǔn)確、響應(yīng)更快且成本更低的操作。然而，如果 Prompt 查詢(xún)無(wú)法被識(shí)別，那么它將由大模型來(lái)處理。盡管大模型的運(yùn)行成本較高，但它能夠成功返回更多種類(lèi)型查詢(xún)的答案。通過(guò)這種方式，大模型應(yīng)用產(chǎn)品可以在成本、性能和用戶(hù)體驗(yàn)之間實(shí)現(xiàn)平衡。

—2—

大模型代理架構(gòu)模式

在任何一個(gè)生態(tài)系統(tǒng)中，都會(huì)有多個(gè)針對(duì)特定任務(wù)領(lǐng)域的專(zhuān)家，并行工作以處理特定類(lèi)型的查詢(xún)，然后將這些響應(yīng)整合在一起，形成一個(gè)全面的答案。

 —3—

基于緩存的微調(diào)架構(gòu)模式

通過(guò)緩存初始結(jié)果，能夠在后續(xù)查詢(xún)中迅速提供答案，從而顯著提高了效率。

當(dāng)我們累積了足夠的數(shù)據(jù)后，微調(diào)層將啟動(dòng)，利用早期交互的反饋，進(jìn)一步完善一個(gè)更為專(zhuān)業(yè)化的私有大模型。

 —4—

面向目標(biāo)的 Agent 架構(gòu)模式

對(duì)于用戶(hù)的 Prompt 提示詞，Agent 會(huì)基于大模型先做規(guī)劃（Planning），拆解成若干子任務(wù)，然后對(duì)每個(gè)子任務(wù)分別執(zhí)行（Action），同時(shí)對(duì)每一步的執(zhí)行結(jié)果進(jìn)行觀測(cè)（Observation），如果觀測(cè)結(jié)果合格，就直接返回給用戶(hù)最終答案，如果觀測(cè)結(jié)果不合格或者執(zhí)行出錯(cuò)，會(huì)重新進(jìn)行規(guī)劃（Replanning）。

這種面向目標(biāo)的 Agent 架構(gòu)模式非常常見(jiàn)，也是 AGI 大模型時(shí)代，每一個(gè)程序員同學(xué)都需要掌握的架構(gòu)設(shè)計(jì)模式。

 —5—

Agent 智能體組合架構(gòu)模式

該架構(gòu)設(shè)計(jì)模式強(qiáng)調(diào)了靈活性，通過(guò)模塊化 AI 系統(tǒng)，能自我重新配置以?xún)?yōu)化任務(wù)性能。這就像一個(gè)多功能工具，可以根據(jù)需求選擇和激活不同的功能模塊，對(duì)于需要為各種客戶(hù)需求或產(chǎn)品需求定制解決方案的企業(yè)來(lái)說(shuō)，這是非常有效的。

 —6—

雙重安全架構(gòu)設(shè)計(jì)模式

用戶(hù) Proxy 代理在查詢(xún)發(fā)出和返回的過(guò)程中對(duì)用戶(hù)的 Prompt 查詢(xún)進(jìn)行攔截。該代理負(fù)責(zé)清除個(gè)人身份信息和知識(shí)產(chǎn)權(quán)信息，記錄查詢(xún)的內(nèi)容，并優(yōu)化成本。

—7—