一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

戴瓊海:深度學習遭遇瓶頸,全腦觀測啟發(fā)下一代AI算法

 taotao_2016 2020-09-02


目前我們還無法精細到神經元級別的觀測,只能從功能層面理解大腦,但這些成果也啟發(fā)了很多經典的人工智能算法,例如卷積神經網絡啟發(fā)自貓腦視覺感受野研究,膠囊網絡啟發(fā)自腦皮層微柱結構研究。在未來,我們能不能深入到神經元的層面研究大腦,是非常重要的一步。
8月29日至30日,主題為“智周萬物”的2020年中國人工智能大會(CCAI 2020)在位于江蘇南京的新加坡·南京生態(tài)科技島舉辦。
在大會上,中國工程院院士戴瓊海做了主題為《人工智能:算法·算力·交互》的特邀報告,從算力、算法與人機交互三方面展開了分享,指出光電智能計算是未來算力發(fā)展的一大候選,深度學習遭遇算力和算法瓶頸,全腦觀測對于啟發(fā)下一代AI算法至關重要,在人機交互的發(fā)展中,我們要謹記圖靈的教誨,完善AI倫理,并且機器視覺、觸覺的協(xié)同是一大技術重點。      
以下是演講全文,AI科技評論進行了不改變原意的整理:
 
1

光電計算推動AI算力飆升

在人工智能發(fā)展的時代,特定學科的定義越來越含糊,交叉學科成為機器學習的特點。同時,人類在腦力層面進一步依賴機器,并逐漸把更多大腦思考和不可解析的問題交給機器來執(zhí)行。這其中也涉及到“力量”的問題。
但是,我們發(fā)現(xiàn),在許多由機器輔助或代替人類處理問題的領域里,如無人系統(tǒng)、量子計算、納米科技、物聯(lián)網等,機器的“力量”還不夠,原因在于:現(xiàn)有的許多模型和算法還達不到機器學習的需求。
截止今日,人類在算力方面的研究已有半個世紀。
1956年,Rosenblatt發(fā)明第一臺基于感知機的神經計算機,“Mark 1感知機”,僅包含512個計算單元。這臺感知機只能進行初步的數(shù)據分類,但無法進行更復雜的算法分類和數(shù)據分類,因為算力不夠,后者需要用到更復雜的算法。人工智能技術發(fā)展的低谷主要來自兩方面:一是模型性能差,二是算力不夠。算力實際上就體現(xiàn)了軟件與硬件應如何結合、發(fā)展。
1965年,Gordon Moore建立摩爾定理,提出:集成電路芯片上所集成的晶體管數(shù)量,每隔18個月翻一番。為什么每隔18個月就要翻一番呢?這是為了提高算力和算法的可實現(xiàn)性。隨后,在1980年,芯片技術出現(xiàn)。這是信息時代最偉大的貢獻。計算機芯片加上互聯(lián)網,專家系統(tǒng)的投入使用成為一個新的里程碑。
到了1999年,英偉達為了提升算力,提出使用 GPU進行并行計算,于是出現(xiàn)首個名義上的GPU:Nvidia GeForce 256,算力為50 GFLOPs。這為算力提升起到關鍵作用,也實現(xiàn)了人類腦力的遷移。之后,我們可以看到,2012年,Alpha Go使用176個GPU、1202個CPU,在圍棋上戰(zhàn)勝人類。包括后來2016年,AlexNet性能的提升也得益于GPU,并開啟深度學習的黃金時代。
由此可見,算力對人工智能的發(fā)展和應用有著關鍵影響。興,算力也;亡,算力也。算力的不足,將會導致人工智能的衰落。
在智能醫(yī)療、智能制造、無人駕駛和無人系統(tǒng)等領域,我們需要用到的算法和模型越來越復雜。其次,在互聯(lián)網影視、短視頻、網絡直播等行業(yè),據調查,流媒體視頻占全球互聯(lián)網下行流量的58%,2019年8月國內互聯(lián)網終端數(shù)量突破20億,每月超過20億的注冊訪問量,每分鐘高達500個小時的上傳視頻。
值得注意的是,隨著軍事AI的快速發(fā)展,軍事技術對算力的需求也逐漸增長,然而電子摩爾定律逼近極限,傳統(tǒng)芯片瓶頸凸顯。舉個例子,在中程導彈和遠程導彈的研發(fā)中,光纖牽引頭是一個關鍵點,用于探路與開路,但由于算力不夠,導彈的飛行速度被制約。如果算力能將飛行識別的速度提高到納秒級、甚至是皮秒級,那么導彈的飛行速度就能提高。
人工智能產業(yè)的發(fā)展對算力需求呈指數(shù)增長,如何從硬件與軟件上提高算力,成為國內外科研者的研究熱點。算力顛覆性提升、催生新國防武器和新應用也成為國際競爭的一個體現(xiàn)。
最近,MIT的一位計算機科學家Charles Leiserson 在《Science》上發(fā)表了一篇文章:《There's plenty of room at the Top: What will drive computer performance after Moore's law?》。他們在研究算力上,就上千篇文章進行了細致的分析,總結出:深度學習正在逼近現(xiàn)有芯片的算力極限;計算能力提高10倍相當于三年的算法改進;算力提高的硬件、環(huán)境和金錢成本將無法承受。
我們對人工智能的期望越來越高,發(fā)展AI所承受的壓力也很大。據Intel Nvidia OpenAI的調研顯示,盡管人工智能對算力的需求快速增長,但算力的提升速度卻逐漸放緩:
       
那么,我們接下來要如何提升算力呢?全世界都在討論,最后得出:可以通過芯片架構創(chuàng)新,研制神經網絡專用芯片,以實現(xiàn)算力的提升,滿足人工智能的發(fā)展需求。在國內,有地平線、寒武紀等企業(yè)專門在做人工智能芯片。Google TPU Array做的則是神經網絡的專用芯片。比方說,Alpha Zero便是用了5000個TPU的芯片訓練40天,學會下圍棋,還拿了國際NO.1。
針對人工智能算力提升的變革,研究人員提出了幾個不同的途徑,包括:量子計算、存算一體架構、類腦計算和光電智能計算。
1、量子計算:
近年來,谷歌、IBM等名企紛紛看中了量子計算的的指數(shù)級計算能力,能夠適用于大規(guī)模計算場景。但是,搭建量子計算至少要占用100平米的大房子,因為要保證在特定時間段內捕獲的量子的相關性要強,而且在持續(xù)工作中的穩(wěn)定性要高。所以,量子計算其實屬于特殊的計算應用,對當下,或未來10年、20年的AI算力提升是有難度的。我們希望將算力提升應用到多個方面,而不僅僅是特殊計算。
2、存算一體架構:
存算一體架構使用了憶阻器陣列,存儲和計算是一體的,相當于不用先調用內存中的數(shù)據再進行計算,因此能大大提升算力。
3、類腦計算:
類腦計算的目的是希望機器能夠逼近人腦的計算,這樣也能夠提升一定的算力。
4、光電智能計算:
如果將光電智能計算和存算一體架構、類腦計算成功結合起來,算力的提升至少能滿足未來10年、甚至20年內人工智能對算力的需求。彼時,我們便能證明,人工智能不是泡沫,現(xiàn)有的難題是因為算力技術遇到了瓶頸。
來自普林斯頓大學的電氣工程教授Paul Prucnal專門對光計算進行了理論推導,推導的結果是:如果用光計算,算力能提升3個數(shù)量級。而且,光計算是不需要耗電的,功耗又能下降6個數(shù)量級。有了理論的保障后,研究人員提出做光電計算,有望實現(xiàn)速度千倍提升、效率百萬倍提升。

下圖為光計算的發(fā)展歷史。光計算的發(fā)展與人工智能的發(fā)展路徑很相似。光計算的發(fā)展可謂“一波三折”:1956年,激光器發(fā)明,光計算機被提出,信息光學開始飛速發(fā)展。但上世紀60年代之后,光計算研究開始走下坡,原因是當時計算機不需要那么高的算力,電子計算所提供的算力已足夠使用。隨后,在1990年,貝爾實驗室采用砷化鎵光學材料研制出“光計算機原型系統(tǒng)”,但此時光計算只充當開關,不參與計算。2007年,英偉達的GPU快速發(fā)展,又沖擊了光計算領域的研究,直到2017年之后,光神經網絡的片上集成實現(xiàn),光計算才開始突飛猛進。
與人工智能相比,光計算的騰飛滯后近10年,主要原因為:人工智能一開始不需要太大的算力,但2017年之后,人工智能對算力的需求提升,光計算便迅速得到發(fā)展。
在未來,研究人員希望通過可控高維光場傳播,來實現(xiàn)高速高效的并行計算,主要措施如下:
1、三維受控衍射傳播實現(xiàn)全并行光速計算;
2、全相位調制99%通關率帶來極低損耗;
3、高維光場信號帶來前所未有的通量帶寬;
4、感存算一體結合超材料實現(xiàn)小型化。
光學作為新的計算必然帶來顯著的變革,比方說:1、范式顛覆傳統(tǒng):采集與計算無縫銜接,突破存算分離速度制約;2、速度提升至少千倍:計算頻次>1 THz,遠超~GHz電子芯片頻率;3、功能降低百萬倍:光學10^7 GMAC/W/s,電子10GMAC/W/s。
目前,在全球范圍內,有三個重要的機構在進行光電智能計算的研究,分別是麻省理工學院、明斯特大學和劍橋大學、清華大學。對比如下:
光電計算發(fā)展起來后,研制超小型智能武器、智能仿生機器人、微型修理機器人和光電計算自動駕駛便容易得多。若光電計算發(fā)展得好,云計算的服務器功耗也會大大下降,光電計算自動駕駛的速度可以不斷提升。
此外,光電智能芯片也能滿足龐大的計算中心小型化,大規(guī)模存儲云計算的小型化可以做到納秒級目標感知與識別,能夠應用于各類無人系統(tǒng)。不僅如此,光電智能芯片也能應用于新基建,如工業(yè)互聯(lián)網、計算機視覺、大數(shù)據分析,光通訊等。
算力的提升,也意味著我們將突破人工智能的現(xiàn)有制約。
 
2

全腦觀測啟發(fā)下一代AI算法

人工智能的新熱潮緊隨深度學習的崛起之后,這也是歸功于算法的發(fā)展:
   
目前,人工智能的算法在魯棒性、遷移性、能效比、自適應和解釋性等方面仍存在一定的缺陷。
1、魯棒性差
比方說,我們在檢測汽車時使用深度學習算法,汽車的后視鏡亮起尾燈,我們可以通過提升亮度來檢測汽車,但檢測失敗。輸入的小變化引起輸出的大變化,魯棒性較差。
2、遷移性差
深度學習依賴大規(guī)模數(shù)據集,并且在這些數(shù)據集里面,通常極端場景不足,在特殊場景和新場景的遷移性比較差。
3、能效比低
人腦的正常功耗在20瓦左右,而英偉達的V100 GPU的功耗大概在250瓦到300瓦,其功耗相比人腦還是很大的,因此相對生物神經網絡,現(xiàn)有計算硬件的能效比更低。
4、自適應性差
深度學習模型在自適應方面很差,比如診斷模型,如果在訓練過程中未見過相應的數(shù)據,就不能對不同體質、不同病史的人進行診斷。
5、可解釋性差
深度學習網絡是個黑箱,雖然有明顯的效果,但是無法理解產生這些效果的原因。
所以正如獲得了2018年圖靈獎的三位科學家所說,深度學習缺乏魯棒性,不具備學習因果關系的能力,缺乏可解釋性,而人類在無監(jiān)督學習方面遠遠優(yōu)于深度學習。因此我們要思考如何做算法創(chuàng)新。
現(xiàn)有的人工智能僅實現(xiàn)了簡單的初級視覺感知功能,在初級感知信息處理與高級認知過程上的性能遠不如人腦,人腦具有物理學習和數(shù)據抽象能力。Hinton、LeCun等認為,深度學習存在極大危機,BP算法有很大局限性,需要推倒重來,再次從大腦的認知模型中尋找靈感。
所以我們還要從神經科學中借鑒很多知識和原理,比如多模數(shù)據表示、變換和學習規(guī)律,以及反饋方式,認知計算將推動人工智能的變革,從而實現(xiàn)高效、可解釋、魯棒的新一代認知智能。
深度學習的來源實際上是優(yōu)化控制論,BP算法即反向傳播算法是深度學習中使用最廣泛的算法,它最早的雛形出現(xiàn)在“最優(yōu)控制理論”,1986年Rumelhart、Hinton等人將BP算法引入多重神經網絡中?,F(xiàn)在,包括卷積神經網絡、語言和注意力模型、生成對抗網絡以及深度強化學習,都應用了該算法。

此外,我們怎么從意識方面討論算法問題呢?以前的做法是從神經科學里獲得啟發(fā)。
比如,在卷積神經網絡的發(fā)現(xiàn)過程中,科學家先是發(fā)現(xiàn)了簡單和復雜細胞,并發(fā)現(xiàn)視覺系統(tǒng)的卷積特性,然后人們提出借鑒簡單復雜細胞的新認知機,這是CNN的前身。1982年,David Marr出版了計算機視覺開山之作《視覺》,之后,卷積神經網絡被正式提出。Tomaso Poggio在2007年提出了H-MAX計算模型,2012年的AlexNet和2015年的ResNet則正式開啟人工智能的黃金時代。回顧歷史后,我們可以想到,如果再反過頭來重新認識腦科學,會不會給深度學習帶來新的啟發(fā)?
不僅僅是算法,人們也在硬件上按照類腦計算的方向探索。1989年,科學家首次提出用集成電路實現(xiàn)神經形態(tài)計算,到最近,清華大學發(fā)布首款結合深度學習與神經形態(tài)計算的異構融合類腦芯片,以及基于多個憶阻器陣列的存算一體系統(tǒng),我們已經向前邁出了一大步。
我們以前通過核磁共振、CT等技術來觀測大腦。目前我們還無法精細到神經元級別的觀測,只能從功能層面理解大腦,但這些成果也啟發(fā)了很多經典的人工智能算法,例如卷積神經網絡啟發(fā)自貓腦視覺感受野研究,膠囊網絡啟發(fā)自腦皮層微柱結構研究。在未來,我們能不能深入到神經元的層面研究大腦,是非常重要的一步。總之,利用腦觀測成果啟發(fā)人工智能理論應該還大有可為。
神經元通過軸突和樹突建立和其他神經元的關系,人腦有860億個神經元。神經元要通過構建環(huán)路進行工作,工作一結束環(huán)路就斷掉了。神經元通過從不同的環(huán)路解決不同的問題,包括記憶。神經元的動態(tài)連接構成動態(tài)神經網絡,這也可能是其功耗低的原因。突觸的尺寸有26類,神經元細胞的尺寸在10微米左右,現(xiàn)在用核磁共振還觀察不到軸突和樹突,因此研究介觀尺度對于腦科學的突破尤為重要。
近年來,腦科學和人工智能是兩條平行線,互不相交。在未來,我們需要在兩者之間構建一個橋梁,即認知計算。認知計算是通過先進神經技術揭示腦結構、腦功能與智能產生的多層次關聯(lián)與多模態(tài)映射機制,從而建立認知模型與類腦智能體系的科學。
            
我們對1906年來腦科學和人工智能的重要成果進行了調研,這些研究分別探索了人類的思考模式以及機器的思考模式。

為了建立新型認知計算模型,人類已經開始了大量投入。2016年,美國IARPA部門啟動了皮質網絡機器智能MICrONS計劃,項目經費達到一億美金,被稱為阿波羅腦計劃。并且,人類目前已經繪制出了嚙齒動物一立方毫米大腦皮層中的所有神經回路,其中包含了10萬個神經元的活動和連接。
            
以記憶機制為例,目前人類已經在該研究領域有了很大建樹。自1904科學家首次提出記憶痕跡假設,1949年提出突觸可塑性假說以來,人們接連發(fā)現(xiàn),海馬體和記憶形成有關,LTP是學習記憶的重要機制,工作記憶和不同腦區(qū)有關,尖波漣漪在記憶鞏固、回放、預演、提取中有重要作用,并觀察到了記憶在多個腦區(qū)的動態(tài)協(xié)同過程。
清華大學通過三年的努力,構建了一個大腦的模型架構,如下圖所示。
結構決定功能,從結構到功能研究機器學習的算法,人工智能要從這個方向上打通。從不同規(guī)模和精細度的腦觀測技術,可以啟發(fā)出不同級別的智能算法。比如神經觀測和神經信號記錄屬于微觀觀測,啟發(fā)了卷積神經網絡算法。CT成像和磁共振成像屬于宏觀觀測,啟發(fā)了記憶環(huán)路映射的機器智能。在未來,我們或許可以利用全腦神經元動態(tài)顯微觀測儀器對大腦進行全腦高分辨觀測,進而發(fā)展認知建模理論和開發(fā)認知計算硬件,從而實現(xiàn)強人工智能。
這是知識驅動模型的研究模式,另外還有數(shù)據驅動的研究模式,這是當前的主流。我們想問的是,未來能不能實現(xiàn)認知驅動?我希望人工智能學界關注和研究這個問題,從而產生顛覆性的算法和應用,推動算力、算法往前走。
 
3

人機交互:協(xié)同視覺和觸覺

圖靈說過,人工智能的發(fā)展不是把人變?yōu)闄C器,也不是把機器變成人,而是“研究、開發(fā)用于模擬、延伸和擴展人類智慧能力的理論、方法、技術及應用系統(tǒng),從而解決復雜問題的技術科學并服務于人類。所以,我們要思考人工智能與人如何共處的問題。
在人工智能時代,我們希望構建AI的通用接口,從而實現(xiàn)人類物理世界和機器虛擬世界的融合,也就是促進AR、VR、視覺三維重建、全息成像等技術的成熟。
目前的人工智能技術可以稱為離身學習,其組成三要素為大數(shù)據、深度學習和GPU,并形成了圖像識別、圖像檢測、語義理解、語音識別和機器翻譯等應用。這些應用割裂了感知、學習與動作之間的整體行為效應,所以未來的發(fā)展方向應該是具身認知和多模態(tài)感知,即智能由腦、身體與環(huán)境協(xié)同影響,智能的發(fā)展需要一個完整的、可感知、、可思考、可行動的身體。目前的機械手在功能和靈活性上就遠遠不如人類。
要實現(xiàn)成功的操作,需要考慮三大重要因素,即感知、學習和多模態(tài)。
要利用視覺和觸覺的多模態(tài)融合實現(xiàn) AI對環(huán)境的感知、學習能力和復雜交互能力的提升,首先要讓AI擁有皮膚。人手具有上百億個觸感神經元,人體的動態(tài)觸覺可以區(qū)分不超過十幾納米的凸起,相當于在地球上感知到一輛運動的汽車。
機器人必須具備包裹自己全身的人造皮膚,形成個體邊界,人造皮膚要有很高的多模態(tài)(光潔度、濕度、壓力、張力、溫度、材質)感知精度,以及很強的綜合感知能力,皮膚受損后能閉合自愈,才談得上區(qū)分“我”和“非我”。人工制造出這樣敏感的電子皮膚或者量子皮膚,任重而道遠。
觸覺感知是一個非常難的問題,也是非常重要的問題。在國際上,歐盟、美國、學術界都開展了這方面的研究,機器人、觸覺智能引起廣泛關注和高度重視。       
觸覺先于視覺,也先于語言,既是第一語言也是最后語言,所以觸覺在AI感知自然場景當中起到非常重要的作用。視覺可以幫助我們了解全貌,觸覺可以幫助我們了解細節(jié)。AI觸覺和視覺的協(xié)同感知是未來人工智能的核心關鍵基礎問題。   
觸覺涉及很多細節(jié),包括指尖、手掌、腿足、手臂、軀干等等方面,因此觸覺傳感器是機器人的核心部件?!犊萍既請蟆吩泩蟮懒?5個卡脖子的問題,觸覺是其中一個。
       
發(fā)揮多智能體的群體效應,也是未來發(fā)展的重要研究方向,包括群體的協(xié)同和交互問題。群體協(xié)同交互是構筑智能通天塔的必由之路,也是有望挑戰(zhàn)莫拉維克悖論的途徑。
所以,我們希望機器有更靈巧的手、更明亮的眼睛、更靈敏的耳朵,對環(huán)境能夠更加深刻的認識,通過智能光電芯片、知識驅動、數(shù)據驅動、認知驅動,使得未來的AI能夠發(fā)展得更好。
總結來說,我們希望在算力上,能得到數(shù)量級性能提升的新型計算范式和芯片架構;在算法上,能更接近本源的認知計算理論與方法,在人機交互上,能實現(xiàn)更高的工作效率、生活質量和安全保障。

    本站是提供個人知識管理的網絡存儲空間,所有內容均由用戶發(fā)布,不代表本站觀點。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    久久精视频免费视频观看| 国产精品久久女同磨豆腐| 午夜精品国产一区在线观看| 男人的天堂的视频东京热| 91亚洲国产—区=区a| 欧美国产日本高清在线| 久久综合狠狠综合久久综合| 国产成人亚洲欧美二区综| 日韩精品一区二区三区射精| 亚洲一区二区三区四区性色av| 午夜福利精品视频视频| 国产成人精品午夜福利| 国产女高清在线看免费观看| 精品熟女少妇一区二区三区| 国产原创中文av在线播放| 欧美日韩国产亚洲三级理论片| 国内尹人香蕉综合在线| 亚洲乱妇熟女爽的高潮片| 麻豆蜜桃星空传媒在线观看| 国产av一区二区三区麻豆| 午夜精品麻豆视频91| 欧美精品一区二区水蜜桃| 国产一区二区精品高清免费| 一区中文字幕人妻少妇| 久久国内午夜福利直播| 亚洲一区二区三区四区| 欧美黑人在线精品极品| 精品日韩中文字幕视频在线| 最好看的人妻中文字幕| 国产免费黄片一区二区| 日韩欧美第一页在线观看| 99视频精品免费视频| 国产又猛又黄又粗又爽无遮挡| 欧美野外在线刺激在线观看| 国产成人一区二区三区久久| 国产精品午夜视频免费观看| 亚洲黄片在线免费小视频| 风韵人妻丰满熟妇老熟女av| 好吊妞视频免费在线观看| 日韩人妻一区中文字幕| 可以在线看的欧美黄片|