設(shè)為“星標(biāo)”，重磅干貨，第一時(shí)間送達(dá) 
轉(zhuǎn)載自 | 機(jī)器之心 在一篇 200 多頁的論文中，Percy Liang、李飛飛等斯坦福研究者系統(tǒng)闡述了大規(guī)模預(yù)訓(xùn)練模型背后的機(jī)遇與風(fēng)險(xiǎn)。他們還給這些模型取了一個(gè)統(tǒng)一的名字—— Foundation Model。
隨著 BERT、DALL-E、GPT-3 等大規(guī)模預(yù)訓(xùn)練模型的出現(xiàn)，AI 社區(qū)正在經(jīng)歷一場范式轉(zhuǎn)變。從計(jì)算機(jī)視覺到自然語言處理，從機(jī)器人學(xué)到推理、搜索，這些大模型已經(jīng)無處不在，而且還在繼續(xù)「野蠻生長」。這種野蠻生長是大模型的有效性帶來的必然結(jié)果。在 BERT 出現(xiàn)（2018 年）之前，語言模型的自監(jiān)督學(xué)習(xí)本質(zhì)上只是 NLP 的一個(gè)子領(lǐng)域，與其他 NLP 子領(lǐng)域并行發(fā)展。但在 BERT 橫掃 11 項(xiàng) NLP 任務(wù)之后，這種格局被打破了。2019 年之后，使用自監(jiān)督學(xué)習(xí)構(gòu)造語言模型儼然已經(jīng)成為一種基礎(chǔ)操作，因?yàn)槭褂?BERT 已經(jīng)成為一種慣例。這標(biāo)志著大模型時(shí)代的開始。這一時(shí)代的重要標(biāo)志是「同質(zhì)化」。如今，NLP 領(lǐng)域幾乎所有的 SOTA 模型都是少數(shù)幾個(gè)基于 Transformer 的大模型進(jìn)化而來。而且，這種趨勢(shì)正在向圖像、語音、蛋白質(zhì)序列預(yù)測、強(qiáng)化學(xué)習(xí)等多個(gè)領(lǐng)域蔓延。整個(gè) AI 社區(qū)似乎出現(xiàn)了一種大一統(tǒng)的趨勢(shì)。毋庸置疑，這種同質(zhì)化是有好處的，大模型的任何一點(diǎn)改進(jìn)就可以迅速覆蓋整個(gè)社區(qū)。但同時(shí)，它也帶來了一些隱患，因?yàn)榇竽Ｐ偷娜毕菀矔?huì)被所有下游模型所繼承。大模型的強(qiáng)大能力來自巨大的參數(shù)空間的結(jié)合，這也導(dǎo)致它們的可解釋性非常差，其能力和缺陷都存在不確定性。在這種情況下，盲目將整個(gè)研究范式向大模型轉(zhuǎn)變真的可取嗎？最近，斯坦福大學(xué)的 Percy Liang、Rishi Bommasani（Percy Liang 的學(xué)生） 、李飛飛等 100 多位研究者聯(lián)名發(fā)布了一篇系統(tǒng)探討此問題的論文。在論文中，他們給這種大模型取了一個(gè)名字——「基礎(chǔ)模型（foundation model）」，并系統(tǒng)探討了基礎(chǔ)模型的機(jī)遇與風(fēng)險(xiǎn)?！富A(chǔ)」代表至關(guān)重要，但并不完備。論文鏈接：https:///pdf/2108.07258.pdf論文正文分為四個(gè)部分，分別闡述了基礎(chǔ)模型的能力、應(yīng)用、相關(guān)技術(shù)和社會(huì)影響，其具體內(nèi)容如下：能力：語言、視覺、機(jī)器人學(xué)、推理、交互、理解等； 應(yīng)用：醫(yī)療、法律、教育等； 技術(shù)：建模、訓(xùn)練、適應(yīng)、評(píng)估、系統(tǒng)、數(shù)據(jù)、安全與隱私、穩(wěn)健性、理論、可解釋性等； 社會(huì)影響：不平等、濫用、環(huán)境、法規(guī)、經(jīng)濟(jì)、倫理等。
這篇論文的問世將為負(fù)責(zé)任地發(fā)展、部署基礎(chǔ)模型提供一些借鑒。此外，斯坦福大學(xué)的師生、研究人員還成立了一個(gè)「基礎(chǔ)模型研究中心（CRFM）」，這是斯坦福 HAI 的一個(gè)新的跨學(xué)科項(xiàng)目。8 月 23 日到 24 日，這兩個(gè)組織將發(fā)起一場關(guān)于基礎(chǔ)模型的 workshop，討論基礎(chǔ)模型的機(jī)遇、挑戰(zhàn)、限制和社會(huì)影響。workshop 鏈接：https://crfm./workshop.html?sf149081997=1基礎(chǔ)模型擁有的能力有時(shí)是在學(xué)習(xí)過程中出現(xiàn)的，這些能力往往能為下游應(yīng)用提供動(dòng)力。關(guān)于基礎(chǔ)模型能力的推理影響了具有基本能力 AI 系統(tǒng)的創(chuàng)建。該論文的第二章就主要探討了基礎(chǔ)模型的能力及影響，具體包括以下幾部分內(nèi)容：該論文首先以自然語言的屬性展開，并分析了 NLP 領(lǐng)域基礎(chǔ)模型的影響。然后又進(jìn)一步探討了語言變體和多語種的問題，最后論文這部分闡述了 NLP 基礎(chǔ)模型從人類語言中獲得的靈感。視覺是生物體理解其生存環(huán)境的主要模式之一。視覺能夠?yàn)橹悄荏w帶來穩(wěn)定廣泛的密集信號(hào)收集能力。論文的 2.2 部分首先概述了計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵能力和方法，其中闡明了計(jì)算機(jī)視覺領(lǐng)域的幾大關(guān)鍵任務(wù)，包括：然后 2.2 部分還探討了當(dāng)下計(jì)算機(jī)視覺領(lǐng)域面臨的研究挑戰(zhàn)，主要面向幾個(gè)重點(diǎn)應(yīng)用領(lǐng)域：面向醫(yī)療保健和家庭環(huán)境的外圍（ ambient ）智能領(lǐng)域； 移動(dòng)和消費(fèi)領(lǐng)域； 具體化的、可互動(dòng)的智能體中領(lǐng)域。
通過大規(guī)模利用自監(jiān)督，視覺基礎(chǔ)模型具備一種潛力，即提取原始多模態(tài)感知信息并轉(zhuǎn)化為視覺知識(shí)，可有效支持傳統(tǒng)感知任務(wù)，并能夠在具有挑戰(zhàn)性的高階技能方面取得新進(jìn)展。視覺的基礎(chǔ)模型目前處于早期階段，但已在傳統(tǒng)計(jì)算機(jī)視覺任務(wù)取得了一些改進(jìn)（特別是在泛化方面），并預(yù)計(jì)近期的進(jìn)展將延續(xù)這一趨勢(shì)。然而，從長遠(yuǎn)來看，基礎(chǔ)模型在減少對(duì)顯式注釋的依賴方面的潛力可能會(huì)帶來智能體基本認(rèn)知能力（例如，常識(shí)推理）的進(jìn)步。同樣該論文也探討了用于下游應(yīng)用的基礎(chǔ)模型的潛在影響，以及推動(dòng)領(lǐng)域發(fā)展必須面臨的核心挑戰(zhàn)。機(jī)器人研究領(lǐng)域的一個(gè)長期挑戰(zhàn)是讓機(jī)器人具備處理無數(shù)現(xiàn)實(shí)難題的能力。該論文的 2.3 部分討論了基礎(chǔ)模型如何助力產(chǎn)生「通用型」機(jī)器人，并從機(jī)遇和挑戰(zhàn)風(fēng)險(xiǎn)多個(gè)方面展開。從機(jī)遇的角度講，機(jī)器人技術(shù)的基礎(chǔ)模型應(yīng)該采用多種形式，因?yàn)闄C(jī)器人技術(shù)中的問題往往并不符合「一刀切」的模式，不同的問題有不同的輸入輸出特征。從挑戰(zhàn)與風(fēng)險(xiǎn)上看，一方面，機(jī)器人研究必須收集足夠大小和多樣性的數(shù)據(jù)集；另一方面，機(jī)器人領(lǐng)域需要合理機(jī)制來確保能夠在現(xiàn)實(shí)世界中安全地部署學(xué)習(xí)行為。機(jī)器人基礎(chǔ)模型需要跨多種環(huán)境和行為的海量數(shù)據(jù)集。推理和搜索一直是人工智能領(lǐng)域的中心主題，許多推理問題構(gòu)成了無限的搜索空間。近來一些應(yīng)用和研究表明：人們對(duì)應(yīng)用基于學(xué)習(xí)的方法來解決推理問題的興趣激增。論文的這部分從當(dāng)前面臨的任務(wù)、基礎(chǔ)模型扮演的角色、AI 推理領(lǐng)域未來面臨的挑戰(zhàn)幾部分展開。隨著基礎(chǔ)模型開發(fā)的成熟，模型的容量將不斷擴(kuò)大，它們的多功能性最終可能導(dǎo)致我們與 AI 交互的方式發(fā)生根本性變化。論文的這部分從兩個(gè)重要利益相關(guān)者的角度討論這些變化帶來的機(jī)會(huì)，這兩個(gè)利益相關(guān)者是指如上圖所示，基礎(chǔ)模型將通過降低難度為開發(fā)者帶來重大機(jī)遇，降低構(gòu)建 AI 應(yīng)用的門檻，并提高應(yīng)用程序的交互上限。甚至在某些情況下，開發(fā)者和用戶之間的界限會(huì)開始模糊，用戶可以輕松開發(fā)自己的 AI 應(yīng)用程序，例如使用自然語言進(jìn)行開發(fā)。基礎(chǔ)模型可以了解訓(xùn)練數(shù)據(jù)的哪些方面？答案對(duì)于基礎(chǔ)模型的整體能力非常有用，將為智能系統(tǒng)做出重要貢獻(xiàn)。該論文主要關(guān)注自然語言領(lǐng)域，因?yàn)檎Z言的使用是人類智慧的標(biāo)志，也是人類體驗(yàn)的核心。基礎(chǔ)模型的能力表明了它們具備改變各行各業(yè)的潛力，論文的第三章重點(diǎn)從三個(gè)學(xué)科領(lǐng)域闡述了人工智能的應(yīng)用，包括醫(yī)療保健、法律和教育，這些都是人類社會(huì)的基礎(chǔ)。這一章節(jié)每一部分都探討了基礎(chǔ)模型為該領(lǐng)域帶來的挑戰(zhàn)和機(jī)會(huì)。3.1 醫(yī)療保健和生物醫(yī)學(xué)醫(yī)療保健和生物醫(yī)學(xué)是社會(huì)中一個(gè)巨大的應(yīng)用領(lǐng)域。在醫(yī)療保健領(lǐng)域，基礎(chǔ)模型能夠?yàn)榛颊吒纳漆t(yī)療服務(wù)，提高照顧患者的效率和準(zhǔn)確性。同時(shí)，基礎(chǔ)模型能夠減輕醫(yī)護(hù)服務(wù)的負(fù)擔(dān)，例如幫助查找相關(guān)案例。此外，手術(shù)機(jī)器人也是未來基礎(chǔ)模型的一個(gè)研究方向。在生物醫(yī)學(xué)領(lǐng)域，科研發(fā)現(xiàn)需要大量的人力資源、實(shí)驗(yàn)時(shí)間和財(cái)務(wù)費(fèi)用?；A(chǔ)模型可以促進(jìn)生物醫(yī)學(xué)研究，例如藥物的發(fā)現(xiàn)和疾病的理解，最終轉(zhuǎn)化為改進(jìn)的醫(yī)療保健解決方案。使用現(xiàn)有數(shù)據(jù)和公開研究促進(jìn)和加速生物醫(yī)學(xué)發(fā)展是一個(gè)緊迫的問題。醫(yī)療保健和生物醫(yī)學(xué)的基礎(chǔ)模型。此外，未來醫(yī)療保健和生物醫(yī)學(xué)領(lǐng)域還面臨一些挑戰(zhàn)，包括多模態(tài)處理、可解釋性、法律和道德規(guī)范。在美國，尋求律師的法律援助可能是非常昂貴的，同時(shí)律師也是一個(gè)高壓職業(yè)。基礎(chǔ)模型未來在法律領(lǐng)域的應(yīng)用可能包括：利用機(jī)器學(xué)習(xí)輔助基于文本的法律任務(wù)。值得注意的是，法律的嚴(yán)謹(jǐn)性對(duì) AI 模型提出了必然的高要求，包括數(shù)據(jù)標(biāo)注成本非常高，通常只有律師具備創(chuàng)建高質(zhì)量標(biāo)簽的專業(yè)知識(shí)，并且各個(gè)案件的細(xì)微差別也是非常重要，不容忽視的。基礎(chǔ)模型已經(jīng)開始用于提升一些教育領(lǐng)域特定任務(wù)的性能，論文的 3.3 部分從兩個(gè)具體任務(wù)展開了討論：（1）理解學(xué)生對(duì)概念的誤解；（2）提高學(xué)生對(duì)教學(xué)指導(dǎo)的理解能力。教育領(lǐng)域的基礎(chǔ)模型應(yīng)該在多個(gè)數(shù)據(jù)源上進(jìn)行訓(xùn)練以學(xué)得教育所必需的能力。了解了各種主題和不同的教學(xué)技術(shù)的基礎(chǔ)模型可以以通用方式應(yīng)用于一系列任務(wù)和目標(biāo)，例如了解學(xué)生、協(xié)助教師、生成教育內(nèi)容等。此外，該論文對(duì)教育研究中基礎(chǔ)模型涉及的倫理問題進(jìn)行了闡述。盡管人工智能助力教育的未來令人興奮，但在 AI 落地教育領(lǐng)域時(shí)必須要考慮隱私與安全、所需教師人數(shù)減少的影響、學(xué)生使用基礎(chǔ)模型工具的效率等重要問題，論文中也針對(duì)這幾個(gè)方面展開了討論。第四章 基礎(chǔ)模型相關(guān)技術(shù)本章主要從技術(shù)的角度進(jìn)行分析。基礎(chǔ)模型的技術(shù)基礎(chǔ)產(chǎn)生了決定其潛力的能力，如第二章介紹的。為了了解在開發(fā)中使用的技術(shù)，我們需要考慮數(shù)據(jù)、模型架構(gòu)、系統(tǒng)、模型訓(xùn)練以及模型的適應(yīng)性這一系列因素，在研究中需要將模型和理論相結(jié)合。為了更好地理解模型，本章還討論了如何評(píng)估和解釋模型，以及模型的魯棒性、安全性和隱私性的重要性，此外，該研究還討論了 AI 安全領(lǐng)域，以確保這些模型在社會(huì)上進(jìn)行部署時(shí)具有可靠性。本小節(jié)研究者討論和確認(rèn)了基礎(chǔ)模型必不可少的 5 個(gè)屬性：可跨越的表現(xiàn)力（spanning expressivity）、可擴(kuò)展性、多模態(tài)、內(nèi)存容量以及可組合性。有了這些屬性，就可以有效地提取周圍的大量信息，從而成功地解決下游任務(wù)。例如表現(xiàn)力可以靈活地捕獲和吸收真實(shí)世界的信息；可擴(kuò)展性可以熟練地處理大量的高維數(shù)據(jù)；多模態(tài)可以處理來自不同源和領(lǐng)域的內(nèi)容；內(nèi)存容量可以有效地存儲(chǔ)和檢索已獲得的知識(shí)；可組合性可以促進(jìn)對(duì)新任務(wù)、設(shè)置和環(huán)境泛化。基礎(chǔ)模型的五個(gè)關(guān)鍵屬性。訓(xùn)練目標(biāo)是描述如何將模型體系架構(gòu)和大量廣泛數(shù)據(jù)轉(zhuǎn)換為基礎(chǔ)模型的數(shù)學(xué)函數(shù)。該研究首先列舉了訓(xùn)練方法需要實(shí)現(xiàn)的一些目標(biāo)，可以考慮以下因素：利用廣泛的數(shù)據(jù)、域的完整性、可擴(kuò)展性和計(jì)算效率。此外還描述了當(dāng)前方法中重要的設(shè)計(jì)權(quán)衡，當(dāng)前模型所探索的三個(gè)重要的設(shè)計(jì)選擇，最后概述了基礎(chǔ)模型訓(xùn)練在未來道路上需要前進(jìn)的目標(biāo)。雖然基礎(chǔ)模型提供了一個(gè)強(qiáng)大的通用引擎來處理多模態(tài)信息，但在某些應(yīng)用之前，適應(yīng)性是一個(gè)基礎(chǔ)模型必要的。本小節(jié)描述了適應(yīng)性的現(xiàn)有方法，以及決定特定適應(yīng)性程序是否適合特定環(huán)境的幾個(gè)因素。此外，該研究還描述了基礎(chǔ)模型適應(yīng)性的多種示例，最后，該研究提出了一個(gè)長遠(yuǎn)的目標(biāo)，即未來研究的基礎(chǔ)模型適應(yīng)性。在適應(yīng)性期間，基礎(chǔ)模型被轉(zhuǎn)換為適應(yīng)模型（底部一行），以反映更新的信息、所需的行為或部署約束。對(duì)于基礎(chǔ)模型來說，模型評(píng)估是至關(guān)重要的。本小節(jié)首先介紹了幾種評(píng)估：內(nèi)在評(píng)估，包括從廣泛的外在評(píng)估中引入內(nèi)在評(píng)估、對(duì)內(nèi)在性質(zhì)進(jìn)行直接評(píng)估；外在評(píng)估與適應(yīng)性，包括對(duì)特定任務(wù)而調(diào)整基礎(chǔ)模型所花費(fèi)的資源進(jìn)行核算。此外本小節(jié)還介紹了評(píng)估設(shè)計(jì)等內(nèi)容。計(jì)算機(jī)系統(tǒng)是開發(fā)基礎(chǔ)模型的最大瓶頸之一，它們通常需要大量計(jì)算資源來訓(xùn)練，此外，這些模型可能會(huì)隨著時(shí)間的推移而變得更大，訓(xùn)練難度將會(huì)升級(jí)。在本節(jié)中，研究者討論了在開發(fā)和生產(chǎn)大規(guī)?；A(chǔ)模型時(shí)，計(jì)算機(jī)系統(tǒng)面臨的挑戰(zhàn)。主要從以下幾個(gè)方面進(jìn)行介紹：通過協(xié)同設(shè)計(jì)提高性能、自動(dòng)優(yōu)化、基礎(chǔ)模型的產(chǎn)品化等。除了上述介紹的內(nèi)容之外，在第四章中還介紹了：數(shù)據(jù)方面，討論了基礎(chǔ)模型數(shù)據(jù)生命周期的管理，并概述了關(guān)于數(shù)據(jù)的四個(gè)需求，包括大規(guī)模數(shù)據(jù)管理、支持異構(gòu)數(shù)據(jù)源、數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量監(jiān)控；安全和隱私方面，討論了單點(diǎn)故障、安全瓶頸等內(nèi)容。ML 系統(tǒng)的安全性和隱私基礎(chǔ)模型帶來的風(fēng)險(xiǎn)和機(jī)遇。本章主要介紹了基礎(chǔ)模型的社會(huì)影響，包括模型本身的構(gòu)建和它們?cè)陂_發(fā)應(yīng)用程序中的作用，需要研究者仔細(xì)檢查。具體而言，該研究認(rèn)為基礎(chǔ)模型具有廣泛的社會(huì)影響，但同時(shí)也非常難以理解：基礎(chǔ)模型不是直接部署的中間資源，而是作為一個(gè)基礎(chǔ)，來進(jìn)一步的進(jìn)行適應(yīng)性。因此，用傳統(tǒng)方法對(duì)技術(shù)的社會(huì)影響進(jìn)行推理可能很復(fù)雜：對(duì)于具有明確目的的系統(tǒng)來說，社會(huì)影響相對(duì)來說更容易（但仍然很難）理解。本章中，該研究討論并開始理解基礎(chǔ)模型社會(huì)影響的復(fù)雜性。本章討論了不公平帶來的危害和濫用的危害；基礎(chǔ)模型對(duì)經(jīng)濟(jì)和環(huán)境的影響；基礎(chǔ)模型在法律和道德方面影響。不平等與平等：本小節(jié)主要描述了內(nèi)在偏差，即間接但普遍地影響了下游基礎(chǔ)模型的屬性，此外還包括外部損害，即在特定下游應(yīng)用環(huán)境中產(chǎn)生的損害等內(nèi)容。濫用：考慮基礎(chǔ)模型的濫用——人們按照預(yù)期使用基礎(chǔ)模型的情況（例如，生成語言），但是這種功能被有意地利用來對(duì)人群或個(gè)人造成傷害。本小節(jié)概述了基礎(chǔ)模型如何使新的濫用形式成為可能，并介紹了支持濫用檢測和緩解的新工具。圖中顯示了基礎(chǔ)模型對(duì)操控性和有害內(nèi)容生成的影響，以及對(duì)檢測的影響。環(huán)境：本小節(jié)主要介紹了碳影響應(yīng)該得到緩解、在使用基礎(chǔ)模型之前應(yīng)該評(píng)估成本和收益、應(yīng)系統(tǒng)地報(bào)告基礎(chǔ)模型對(duì)碳以及能源影響等內(nèi)容。用于部署基礎(chǔ)模型的成本效益分析的可視化。合法性：本小節(jié)描述了美國法律如何影響、約束或促進(jìn)基礎(chǔ)模型的創(chuàng)建和使用。我們注意到，圍繞算法工具的法律前景仍然具有不確定性。本文強(qiáng)調(diào)與（1）模型訓(xùn)練、（2）模型預(yù)測的可靠性（3）模型輸出保護(hù)相關(guān)的問題。此外，本章還介紹了經(jīng)濟(jì)，基礎(chǔ)模型有潛力通過提高生產(chǎn)力和創(chuàng)新來大幅提高整體生活水平，這些模型可以用來替代人類勞動(dòng)，增強(qiáng)人類能力，或者幫助研究者發(fā)現(xiàn)新的任務(wù)和機(jī)會(huì)。本節(jié)最后還介紹了道德規(guī)范相關(guān)內(nèi)容。重磅！程序員遇見GitHub交流群已成立！ 額外贈(zèng)送福利資源！邱錫鵬深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)，pytorch官方中文教程，利用Python進(jìn)行數(shù)據(jù)分析，機(jī)器學(xué)習(xí)學(xué)習(xí)筆記，pandas官方文檔中文版，effective java（中文版）等20項(xiàng)福利資源 
獲取方式：進(jìn)入群后點(diǎn)開群公告即可領(lǐng)取下載鏈接
|
