谷歌內(nèi)部文件泄漏：谷歌、OpenAI都沒有護(hù)城河，大模型門檻正被開源踏破

風(fēng)霜一劍1w4brj 2023-05-05 發(fā)布于廣東

展開全文

機(jī)器之心報(bào)道

機(jī)器之心編輯部

開源社區(qū)的能量是否被低估了？

「我們沒有護(hù)城河，OpenAI 也沒有。」在最近泄露的一份文件中，一位谷歌內(nèi)部的研究人員表達(dá)了這樣的觀點(diǎn)。

這位研究人員認(rèn)為，雖然表面看起來 OpenAI 和谷歌在 AI 大模型上你追我趕，但真正的贏家未必會(huì)從這兩家中產(chǎn)生，因?yàn)橐粋€(gè)第三方力量正在悄然崛起。

這個(gè)力量名叫「開源」。圍繞 Meta 的 LLaMA 等開源模型，整個(gè)社區(qū)正在迅速構(gòu)建與 OpenAI、谷歌大模型能力類似的模型，而且開源模型的迭代速度更快，可定制性更強(qiáng)，更有私密性……「當(dāng)免費(fèi)的、不受限制的替代品質(zhì)量相當(dāng)時(shí)，人們不會(huì)為受限制的模型付費(fèi)?！棺髡邔懙?。

這份文件最初由一位匿名人士在公共 Discord 服務(wù)器上分享，獲得轉(zhuǎn)載授權(quán)的產(chǎn)業(yè)媒體 SemiAnalysis 表示，他們已經(jīng)驗(yàn)證了這份文件的真實(shí)性。

這篇文章在推特等社交平臺(tái)上得到了大量轉(zhuǎn)發(fā)。其中，得克薩斯大學(xué)奧斯汀分校教授 Alex Dimakis 發(fā)表了如下觀點(diǎn)：

開源 AI 正在取得勝利，我同意，對(duì)于全世界來說，這是件好事，對(duì)于構(gòu)建一個(gè)有競爭力的生態(tài)系統(tǒng)來說也是好事。雖然在 LLM 領(lǐng)域，我們還沒有做到這一點(diǎn)，但我們剛剛讓 OpenClip 擊敗了 openAI Clip，并且 Stable Diffusion 比封閉模型更好。
你不需要龐大的模型，高質(zhì)量的數(shù)據(jù)更有效、更重要，API 背后的羊駝模型進(jìn)一步削弱了護(hù)城河。
你可以從一個(gè)好的基礎(chǔ)模型和參數(shù)高效微調(diào)（PEFT）算法開始，比如 Lora 在一天內(nèi)就能運(yùn)行得非常好。算法創(chuàng)新終于開始了！
大學(xué)和開源社區(qū)應(yīng)該組織更多的工作來管理數(shù)據(jù)集，訓(xùn)練基礎(chǔ)模型，并像 Stable Diffusion 那樣建立微調(diào)社區(qū)。

當(dāng)然，并非所有研究者都同意文章中的觀點(diǎn)。有人對(duì)開源模型是否真能擁有媲美 OpenAI 的大模型的能力和通用性持懷疑態(tài)度。

不過，對(duì)于學(xué)術(shù)界來說，開源力量的崛起總歸是件好事，意味著即使沒有 1000 塊 GPU，研究者也依然有事可做。

以下是文件原文：

谷歌、OpenAI 都沒有護(hù)城河

我們沒有護(hù)城河，OpenAI 也沒有。

我們一直在關(guān)注 OpenAI 的動(dòng)態(tài)和發(fā)展。誰將跨越下一個(gè)里程碑？下一步會(huì)是什么？

但令人不安的事實(shí)是，我們沒有能力贏得這場軍備競賽，OpenAI 也是如此。在我們爭吵不休的時(shí)候，第三個(gè)派別一直在漁翁得利。

這個(gè)派別就是「開源派」。坦率地說，他們正在超越我們。我們所認(rèn)為的那些「重要的待解決問題」如今已經(jīng)被解決了，而且已經(jīng)送到了人們的手中。

我舉幾個(gè)例子：

能在手機(jī)上運(yùn)行的大型語言模型：人們可以在 Pixel 6 上運(yùn)行基礎(chǔ)模型，速度為 5 tokens / 秒。
可擴(kuò)展的個(gè)人 AI：你可以花一個(gè)晚上在你的筆記本電腦上微調(diào)一個(gè)個(gè)性化的 AI。
負(fù)責(zé)任的發(fā)布：這個(gè)問題與其說是「被解決了」，不如說是「被忽略了」。有的網(wǎng)站整體都是沒有任何限制的藝術(shù)模型，而文字也不例外。
多模態(tài)：目前的多模態(tài)科學(xué) QA SOTA 是在一個(gè)小時(shí)內(nèi)訓(xùn)練完成的。

雖然我們的模型在質(zhì)量方面仍然保持著輕微的優(yōu)勢，但差距正在以驚人的速度縮小。開源模型的速度更快，可定制性更強(qiáng)，更有私密性，而且在同等條件下能力更強(qiáng)大。他們正在用 100 美元和 130 億的參數(shù)做一些事情，而我們?cè)?1000 萬美元和 540 億的參數(shù)上卻很難做到。而且他們?cè)趲字軆?nèi)就能做到，而不是幾個(gè)月。這對(duì)我們有深遠(yuǎn)的影響：

我們沒有秘密武器。我們最大的希望是向谷歌以外的其他人學(xué)習(xí)并與他們合作。我們應(yīng)該優(yōu)先考慮實(shí)現(xiàn) 3P 整合。
當(dāng)免費(fèi)的、不受限制的替代品質(zhì)量相當(dāng)時(shí)，人們不會(huì)為受限制的模型付費(fèi)。我們應(yīng)該考慮我們的附加值到底在哪里。
巨大的模型拖慢了我們的速度。從長遠(yuǎn)來看，最好的模型是那些可以快速迭代的模型。既然我們知道 200 億以下參數(shù)的模型能做什么，那我們應(yīng)該在一開始就把它們做出來。

LLaMA 掀起的開源變革

三月初，隨著 Meta 的 LLaMA 模型被泄露給公眾，開源社區(qū)得到了第一個(gè)真正有用的基礎(chǔ)模型。該模型沒有指令或?qū)υ捳{(diào)整，也沒有 RLHF。盡管如此，開源社區(qū)立即把握住了 LLaMA 的重要性。

隨之而來的是源源不斷的創(chuàng)新，主要進(jìn)展出現(xiàn)的間隔只有幾天（如在樹莓派 4B 上運(yùn)行 LLaMA 模型、在筆記本上對(duì) LLaMA 指令微調(diào)、在 MacBook 上跑 LLaMA 等）。僅僅一個(gè)月之后，指令微調(diào)、量化、質(zhì)量改進(jìn)、多模態(tài)、RLHF 等變體都出現(xiàn)了，其中很多都是在彼此的基礎(chǔ)上構(gòu)建的。

最重要的是，他們已經(jīng)解決了規(guī)?；瘑栴}，這意味著任何人都可以自由地修改和優(yōu)化這個(gè)模型。很多新想法都出自普通人。訓(xùn)練和實(shí)驗(yàn)門檻已經(jīng)從主要研究機(jī)構(gòu)下放到一個(gè)人、一個(gè)晚上和一臺(tái)功能強(qiáng)大的筆記本電腦。

LLM 的 Stable Diffusion 時(shí)刻

從很多方面來說，任何人都不應(yīng)該對(duì)此感到意外。開源 LLM 當(dāng)前的復(fù)興緊隨圖像生成的復(fù)興出現(xiàn)，很多人稱這是 LLM 的 Stable Diffusion 時(shí)刻。

在這兩種情況下，低成本的公眾參與是通過一種成本低得多的低秩適應(yīng)（low rank adaptation, LoRA）微調(diào)機(jī)制實(shí)現(xiàn)的，并結(jié)合了 scale 上的重大突破。高質(zhì)量模型的易得幫助世界各地的個(gè)人和機(jī)構(gòu)孕育了一系列想法，并讓他們得以迭代想法，并很快超過了大型企業(yè)。

這些貢獻(xiàn)在圖像生成領(lǐng)域至關(guān)重要，使 Stable Diffusion 走上了與 Dall-E 不同的道路。擁有一個(gè)開放的模型促成了 Dall-E 沒有出現(xiàn)的產(chǎn)品集成、市場、用戶界面和創(chuàng)新。

效果是顯而易見的：與 OpenAI 解決方案相比，Stable Diffusion 的文化影響迅速占據(jù)主導(dǎo)地位。LLM 是否會(huì)出現(xiàn)類似的發(fā)展趨勢還有待觀察，但廣泛的結(jié)構(gòu)要素是相同的。

谷歌錯(cuò)過了什么？

開源項(xiàng)目使用的創(chuàng)新方法或技術(shù)直接解決了我們?nèi)栽谂?yīng)對(duì)的問題。關(guān)注開源工作可以幫助我們避免重蹈覆轍。其中，LoRA 是功能極其強(qiáng)大的技術(shù)，我們應(yīng)當(dāng)對(duì)其投入更多的關(guān)注。

LoRA 將模型的更新展現(xiàn)為低秩因式分解，能夠使更新矩陣的大小縮減幾千倍。如此一來，模型的微調(diào)只需要很小的的成本和時(shí)間。將在消費(fèi)級(jí)硬件上對(duì)語言模型進(jìn)行個(gè)性化調(diào)整的時(shí)間縮減至幾個(gè)小時(shí)非常重要，尤其是對(duì)于那些希望在近乎實(shí)時(shí)的情況下整合新的、多樣化知識(shí)的愿景而言。雖然該技術(shù)對(duì)一些我們想要完成的項(xiàng)目有很大影響，但它并未在谷歌內(nèi)部得到充分的利用。

LoRA 的神奇力量

LoRA 如此高效的一個(gè)原因是：就像其他形式的微調(diào)一樣，它可以堆疊。我們可以應(yīng)用指令微調(diào)等改進(jìn)，幫助完成對(duì)話、推理等任務(wù)。雖然單個(gè)微調(diào)是低秩的，當(dāng)它們的總和并不是，LoRA 允許對(duì)模型的全等級(jí)更新隨著時(shí)間的推移積累起來。

這意味著，隨著更新更好數(shù)據(jù)集和測試的出現(xiàn)，模型可以低成本地保持更新，而不需要支付完整的運(yùn)行成本。

相比之下，從頭開始訓(xùn)練大模型不僅丟掉了預(yù)訓(xùn)練，還丟掉了之前進(jìn)行的所有迭代和改進(jìn)。在開源世界中，這些改進(jìn)很快就會(huì)盛行起來，這讓全面重新訓(xùn)練的成本變得非常高。

我們應(yīng)該認(rèn)真考慮，每個(gè)新應(yīng)用或想法是否真的需要一個(gè)全新的模型。如果我們真的有重大的架構(gòu)改進(jìn)，排除了直接重用模型權(quán)重，那么我們應(yīng)該致力于更積極的蒸餾方式，盡可能保留前一代功能。

大模型 vs. 小模型，誰更具有競爭力？

對(duì)于最流行的模型尺寸，LoRA 更新的成本非常低（約 100 美元）。這意味著，幾乎任何有想法的人都可以生成并分發(fā)它。在訓(xùn)練時(shí)間小于一天的正常速度下，微調(diào)的累積效應(yīng)很快就可以克服開始時(shí)的尺寸劣勢。事實(shí)上，就工程師時(shí)間而言，這些模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過了我們的最大變體所能做到的。并且最好的模型在很大程度上已經(jīng)與 ChatGPT 基本沒有區(qū)別了。因此，專注于維護(hù)一些最大的模型實(shí)際上使我們處于不利地位。

數(shù)據(jù)質(zhì)量優(yōu)于數(shù)據(jù)大小

這些項(xiàng)目中有許多是通過在小型、高度策劃的數(shù)據(jù)集上進(jìn)行訓(xùn)練來節(jié)省時(shí)間。這表明在數(shù)據(jù)縮放規(guī)律中較為靈活。這種數(shù)據(jù)集的存在源于《數(shù)據(jù)并非你所想（Data Doesn't Do What You Think）》中的想法，并正迅速成為無需谷歌的標(biāo)準(zhǔn)訓(xùn)練方式。這些數(shù)據(jù)集是使用合成方法（例如從現(xiàn)有的模型中濾出最好的反映）以及從其他項(xiàng)目中搜刮出來的，這但兩種方法在谷歌并不常用。幸運(yùn)的是，這些高質(zhì)量的數(shù)據(jù)集是開源的，所以它們可以免費(fèi)使用。

與開源競爭注定失敗

最近的這一進(jìn)展對(duì)商業(yè)戰(zhàn)略有非常直接的影響。如果有一個(gè)沒有使用限制的免費(fèi)、高質(zhì)量的替代品，誰還會(huì)為有使用限制的谷歌產(chǎn)品買單？況且，我們不應(yīng)該指望能夠追趕上?，F(xiàn)代互聯(lián)網(wǎng)在開放源碼上運(yùn)行，是因?yàn)殚_放源碼有一些我們無法復(fù)制的顯著優(yōu)勢。

「我們需要他們」多于「他們需要我們」

保守我們的技術(shù)機(jī)密始終是一個(gè)脆弱的命題。谷歌研究人員正定期前往其他公司學(xué)習(xí)，這樣可以假設(shè)他們知道我們所知道的一切。并且只要這種 pipeline 開放，他們就會(huì)繼續(xù)這樣做。

但由于 LLMs 領(lǐng)域的尖端研究可以負(fù)擔(dān)得起，因此保持技術(shù)競爭優(yōu)勢變得越來越難了。世界各地的研究機(jī)構(gòu)都在相互借鑒，以廣度優(yōu)先的方式探索解決方案空間，這遠(yuǎn)遠(yuǎn)超出了我們自身的能力。我們可以努力抓住自己的秘密，但外部創(chuàng)新會(huì)稀釋它們的價(jià)值，因此可以嘗試相互學(xué)習(xí)。

個(gè)人不像企業(yè)那樣受到許可證的約束

多數(shù)創(chuàng)新構(gòu)建在 Meta 泄露的模型權(quán)重之上。隨著真正開放的模型變得越來越好，這將不可避免發(fā)生變化，但關(guān)鍵是他們不必等待。「個(gè)人使用」提供的法律保護(hù)和不切實(shí)際的個(gè)人起訴意味著個(gè)人可以在這些技術(shù)炙手可熱的時(shí)候使用它們。

擁有生態(tài)系統(tǒng)：讓開源工作為自己所用

矛盾的是，所有這一切只有一個(gè)贏家，那就是 Meta，畢竟泄露的模型是他們的。由于大多數(shù)開源創(chuàng)新是基于他們的架構(gòu)，因此沒有什么可以阻止他們直接整合到自家的產(chǎn)品中。

可以看到，擁有生態(tài)系統(tǒng)的價(jià)值再怎么強(qiáng)調(diào)都不為過。谷歌本身已經(jīng)在 Chrome 和 Android 等開源產(chǎn)品中使用這種范式。通過孵化創(chuàng)新工作的平臺(tái)，谷歌鞏固了自己思想領(lǐng)導(dǎo)者和方向制定者的地位，獲得了塑造比自身更宏大思想的能力。

我們對(duì)模型的控制越嚴(yán)格，做出開放替代方案的吸引力就越大，谷歌和 OpenAI 都傾向于防御性的發(fā)布模式，使得他們可以嚴(yán)格地控制模型使用方式。但是，這種控制是不現(xiàn)實(shí)的。任何想要將 LLMs 用于未經(jīng)批準(zhǔn)目的的人都可以選擇免費(fèi)提供的模型。

因此，谷歌應(yīng)該讓自己成為開源社區(qū)的領(lǐng)導(dǎo)者，通過更廣泛的對(duì)話合作而不是忽視來起到帶頭作用。這可能意味著采取一些不舒服的舉措，比如發(fā)布小型 ULM 變體的模型權(quán)重。這也必然意味著放棄對(duì)自身模型的一些控制，但這種妥協(xié)不可避免。我們不能既希望推動(dòng)創(chuàng)新又要控制它。

OpenAI 未來的路在何方？

考慮到 OpenAI 當(dāng)前的封閉政策，所有這些開源討論都會(huì)令人覺得不公平。如果他們都不愿意公開技術(shù)，我們?yōu)槭裁匆窒砟?？但事?shí)卻是，我們通過源源不斷地挖角 OpenAI 的高級(jí)研究員，已經(jīng)與他們分享著一切。在我們阻止這一潮流之前，保密仍是一個(gè)有爭議的問題。

最后要說的是，OpenAI 并不重要。他們?cè)陂_源立場上犯了與我們一樣的錯(cuò)誤，并且他們保持優(yōu)勢的能力必然遭到質(zhì)疑。除非 OpenAI 改變立場，否則開源替代產(chǎn)品能夠并最終會(huì)讓他們傲然失色。至少在這方面，我們可以邁出這一步。

原文地址：https://www./p/google-we-have-no-moat-and-neither

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：風(fēng)霜一劍1w4brj > 《待分類》

舉報(bào)/認(rèn)領(lǐng)