生成式AI時(shí)代的模型壓縮與加速，韓松主講MIT課程，資料全公開

天承辦公室 2023-09-26 發(fā)布于北京

展開全文

機(jī)器之心報(bào)道

編輯：蛋醬

近年來，生成式大模型（如大語言模型、擴(kuò)散模型）已顯示出卓越的性能，但它們需要大量的計(jì)算資源。為了讓這些模型更易于使用，提高它們的效率至關(guān)重要。

在最新的一季 MIT 6.5940 課程中，MIT 學(xué)者韓松將深入解讀生成式大模型時(shí)代的「AI 計(jì)算的模型壓縮與加速技術(shù)」。

課程主頁：https:///

課程全名為《TinyML 和高效的深度學(xué)習(xí)計(jì)算》。概括來說，這門課程將介紹高效的人工智能計(jì)算技術(shù)，以便在資源有限的設(shè)備上實(shí)現(xiàn)強(qiáng)大的深度學(xué)習(xí)應(yīng)用。

課程主題包括模型壓縮、剪枝、量化、神經(jīng)架構(gòu)搜索、分布式訓(xùn)練、數(shù)據(jù) / 模型并行化、梯度壓縮和設(shè)備微調(diào)，還介紹了針對(duì)大語言模型、擴(kuò)散模型、視頻識(shí)別和點(diǎn)云的特定應(yīng)用加速技術(shù)，并涵蓋了量子機(jī)器學(xué)習(xí)的相關(guān)主題。此外，學(xué)生將獲得在筆記本電腦上部署大型語言模型（如 LLaMA 2）的實(shí)踐經(jīng)驗(yàn)。

最重要的是，這門課程的全部視頻資源將上傳到 Youtube 平臺(tái)。

播放列表地址：https:///playlist?list=PL80kAHvQbh-pT4lCkDT53zT8DKmhE0idB&feature=shared

課程大綱

課程整體規(guī)劃如下圖所示：

目前，Youtube 欄目中已經(jīng)更新了前五章的授課內(nèi)容：第一章 Introduction，第二章是神經(jīng)網(wǎng)絡(luò)基礎(chǔ)，第三、四章是剪枝和稀疏性，第五章是量化。

鑒于目前課程還在進(jìn)行中，如果你對(duì)即將要學(xué)的內(nèi)容非常好奇，也可以先行參考其 2022 年秋季的授課資料，包含視頻和 PPT。

下載地址：https://www./sh/0ftluqbd1afzqpy/AADqxwkYrt1FbGnSQ4KP3Kpva?dl=0

講師介紹

這門課程由MIT副教授韓松主講，并由他的兩位博士生林吉和蔡涵擔(dān)任助教。

韓松在斯坦福大學(xué)獲得博士學(xué)位，2018 年加入 MIT，現(xiàn)為電子工程科學(xué)系副教授，研究廣泛涉足深度學(xué)習(xí)和計(jì)算機(jī)體系結(jié)構(gòu)。

韓松團(tuán)隊(duì)在硬件感知神經(jīng)架構(gòu)搜索（once-for-all network）方面的工作使用戶能夠設(shè)計(jì)、優(yōu)化、縮小人工智能模型，并將其部署到資源受限的硬件設(shè)備上。

他曾提出包括剪枝和量化在內(nèi)的「深度壓縮」（Deep Compression）技術(shù)。

他還提出了「高效推理引擎」（Efficient Inference Engine，EIE），首次將權(quán)重稀疏性引入現(xiàn)代 AI 芯片，并影響了英偉達(dá)公司帶有稀疏張量核心的安培 GPU 架構(gòu)。

順便一提，韓松博士的兩次創(chuàng)業(yè)，均獲得了 AI 領(lǐng)域的高度關(guān)注。

博士期間，韓松與同為清華大學(xué)畢業(yè)的汪玉、姚頌聯(lián)合創(chuàng)立了深鑒科技（DeePhi Tech），其核心技術(shù)之一為神經(jīng)網(wǎng)絡(luò)壓縮算法，隨后深鑒科技被美國半導(dǎo)體公司賽靈思收購。

2021 年，韓松與吳迪、毛慧子共同成立 AI 邊緣計(jì)算公司 OmniML，旨在通過創(chuàng)建深度學(xué)習(xí)模型來彌合 AI 應(yīng)用程序與邊緣上的各種設(shè)備之間的差距，從而提高 AI 的速度、準(zhǔn)確性和效率。今年，該公司被英偉達(dá)收購。

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：天承辦公室 > 《022機(jī)器之心》

舉報(bào)/認(rèn)領(lǐng)