當今最成功的人工智能算法—深度神經(jīng)網(wǎng)絡(DNN),基于人類大腦真實、復雜的神經(jīng)網(wǎng)絡。但人工神經(jīng)網(wǎng)絡與人類高效的大腦不同,在計算機上運行深度學習算法會產(chǎn)生驚人的能耗。最大的神經(jīng)網(wǎng)絡模型在其生命周期中消耗的能量幾乎與五輛汽車一樣多。 進入神經(jīng)形態(tài)計算,更接近人類大腦的設計原理和物理特性,可能成為節(jié)能型人工智能的未來。人工神經(jīng)形態(tài)設計不是在中央處理單元和內(nèi)存芯片之間長距離穿梭的數(shù)據(jù)流,而是模仿模仿人類大腦中果凍狀的物質(zhì)結(jié)構(gòu),計算單元(神經(jīng)元)放置在內(nèi)存旁邊(存儲在連接神經(jīng)元的突觸中)。 為了使類腦芯片更像大腦,研究人員將神經(jīng)形態(tài)芯片與模擬計算相結(jié)合,模擬計算可以處理連續(xù)信號,就像真正的神經(jīng)元一樣。由此產(chǎn)生的芯片與當前依賴于0和1二進制信號處理的純數(shù)字計算機的架構(gòu)和計算模式有很大不同。 以大腦為向?qū)?,神?jīng)形態(tài)芯片有望消除人工智能等數(shù)據(jù)密集型計算任務的能耗。但目前不幸的是,由于硬件不匹配問題,人工智能算法在現(xiàn)有芯片上模擬大腦計算的能力表現(xiàn)不佳:在芯片上,模擬神經(jīng)元中的微小組件由于制造工藝、流程等問題而在尺寸上不匹配,邊緣設備芯片的計算能力遠遠不夠,無法實時運行最新的訓練程序,因此必須首先在計算機上對算法進行訓練。而且當算法轉(zhuǎn)移到芯片上時,一旦遇到硬件不匹配,算法的性能很難得到有效發(fā)揮。 2022年1月發(fā)表在《美國國家科學院院刊》上的一篇論文終于揭示了如何繞過上述問題的方法。弗里德里希·米歇爾生物醫(yī)學研究所和海德堡大學的研究人員開發(fā)了一種尖峰神經(jīng)網(wǎng)絡的人工智能算法,這種算法受到人類大腦獨特通信信號機制的啟發(fā),可以與硬件芯片一起學習如何補償設備不匹配的問題。這篇論文的發(fā)布代表著人類朝使用AI進行模擬神經(jīng)形態(tài)計算的里程又邁出了重要的一步。 荷蘭國家數(shù)學和計算機科學研究所的脈沖神經(jīng)網(wǎng)絡專家表示:“令人驚奇的是,尖峰神經(jīng)網(wǎng)絡人工智能算法運行得非常好,這是一項相當大的成就,甚至是更多模擬神經(jīng)形態(tài)計算機系統(tǒng)的藍圖”。 模擬計算對基于人類大腦神經(jīng)網(wǎng)絡計算的重要性是不言而喻的。雖然,數(shù)字計算可以有效地模擬大腦尖峰信號的二進制狀態(tài),即一種像閃電一樣穿過神經(jīng)元的電脈沖信號。這與二進制數(shù)字信號機制一樣,要么發(fā)出尖峰信號,要么不發(fā)出尖峰信號,即0或1。但是隨著時間的推移,尖峰是連續(xù)發(fā)送的,這明顯是一個模擬信號。人類的神經(jīng)元決定發(fā)出尖峰信號的方式也是連續(xù)的,尖峰信號取決于細胞內(nèi)隨時間變化的電壓。(與細胞外電壓相比,當電壓達到特定閾值時,神經(jīng)元會發(fā)出尖峰信號) 2011年,海德堡大學的一組研究人員開發(fā)了一種兼具模擬和數(shù)字功能的神經(jīng)形態(tài)芯片,以對人類大腦結(jié)構(gòu)進行高關聯(lián)建模以進行神經(jīng)科學實驗?,F(xiàn)在海德堡大學的團隊又推出了最新版本的芯片,稱為 BrainScaleS-2。芯片上的每個模擬神經(jīng)元都模擬腦細胞的輸入和輸出電流和電壓變化。 海德堡大學的神經(jīng)形態(tài)工程師開發(fā)的BrainScaleS-2神經(jīng)形態(tài)芯片能夠模擬人類大腦中真實的神經(jīng)元計算過程。 海德堡大學的研究人員表示:“人類真的擁有一個不斷交換信息的動態(tài)系統(tǒng)”。而且由于新材料具有更強大的電氣特性,芯片傳輸信息的速度比人類的大腦快 1000倍。但是,由于模擬神經(jīng)元(芯片計算單元)的特性變化非常之小,但人類神經(jīng)系統(tǒng)內(nèi)的電壓和電流水平卻因神經(jīng)元而異。顯然,目前的人工算法無法處理類似的問題,因為人工算法是在具有完全相同數(shù)字神經(jīng)元的計算機上訓練的,直接移植到類腦芯片將會導致性能直線下降。 雖然還存在很多問題,但是新成果展示了人工智能科學的前進方向。通過將芯片包含在訓練過程中,表明脈沖神經(jīng)網(wǎng)絡可以學習如何校正BrainScaleS-2芯片上的不同電壓。這種訓練設置展現(xiàn)了令人振奮的成果,證明可變性不僅可以補償,而且還可能被利用。 為了解決設備不匹配問題,海德堡大學的研究團隊研發(fā)了允許芯片與計算機對話方法與代理梯度方法相結(jié)合的新方式,專門用于脈沖神經(jīng)網(wǎng)絡。通過改變神經(jīng)元之間的連接,最小化神經(jīng)網(wǎng)絡在任務中產(chǎn)生的錯誤數(shù)量及影響。(類似于非尖峰神經(jīng)網(wǎng)絡或傳統(tǒng)神經(jīng)網(wǎng)絡使用的反向傳播方法。) 代理梯度方法能夠在計算機訓練期間糾正芯片的缺陷。首先,脈沖神經(jīng)網(wǎng)絡使用芯片上模擬神經(jīng)元的變化電壓執(zhí)行一項簡單的任務,將電壓記錄發(fā)送回計算機。通過計算機,該算法自動學習如何最好地改變其神經(jīng)元之間的連接,以便與模擬神經(jīng)元更好地配合,并在學習的同時不斷地在芯片上更新,當訓練完成后,脈沖神經(jīng)網(wǎng)絡在芯片上執(zhí)行任務。研究人員表示:脈沖神經(jīng)網(wǎng)絡在語音和視覺任務上達到了與在計算機上執(zhí)行任務的頂級尖峰神經(jīng)網(wǎng)絡相同的準確度水平。 感謝您的關注!??! |
|