人工神經(jīng)網(wǎng)絡能否駕馭生物神經(jīng)元的“濃稠”程度？5到8層可能并非極限

楚科奇0118 2021-09-09

展開全文

來源：圖靈人工智能

編譯：李揚霞

編輯：青暮

計算神經(jīng)科學家通過訓練人工神經(jīng)網(wǎng)絡來模仿生物神經(jīng)元，提供了一種探討單個腦細胞復雜性的新方法。

雖然我們糊狀的大腦似乎與計算機處理器中的芯片大相徑庭，但科學家對兩者的比較已經(jīng)有很長的歷史。正如阿蘭·圖靈在1952年所說:“我們對大腦像冷粥一樣的稠度不感興趣。”也就是說，媒介并不重要，重要的是計算能力。

如今，最強大的人工智能系統(tǒng)使用基于深度學習的機器學習方法，該算法通過調整大量的數(shù)據(jù)隱藏層相互連接的節(jié)點來擬合數(shù)據(jù)，這些節(jié)點形成的網(wǎng)絡被稱為深度神經(jīng)網(wǎng)絡。顧名思義，深度神經(jīng)網(wǎng)絡的靈感來自于大腦中真實的神經(jīng)網(wǎng)絡，這些深度神經(jīng)網(wǎng)絡的節(jié)點以真實的神經(jīng)元為模型。根據(jù)20世紀50年代神經(jīng)科學家對神經(jīng)元的了解，當時一種有影響力的神經(jīng)元模型被稱為感知器，從那時起，我們對單個神經(jīng)元計算復雜性的理解逐漸加深，人們了解到生物神經(jīng)元比人工神經(jīng)元更復雜，但是復雜的程度是多少？不得而知。

一個生物神經(jīng)元可以和5到8層人工神經(jīng)網(wǎng)絡相匹敵

為了找到答案，耶路撒冷希伯來大學的David Beniaguev, Idan Segev和Michael London訓練了一個人工深度神經(jīng)網(wǎng)絡來模擬生物神經(jīng)元的計算。該研究表明，“一個深度神經(jīng)網(wǎng)絡需要5到8層相互連接的人工神經(jīng)元來才能表示單個生物神經(jīng)元的復雜性?！?/span>

“我原以為它會更簡單，更小”Beniaguev如是說。Beniaguev也沒有預料到這種復雜性，他原來預計三到四層就足以捕獲單元內(nèi)執(zhí)行的計算。

在谷歌旗下的 AI 公司 DeepMind 設計決策算法的 Timothy Lillicrap 表示：“新結果表明，可能有必要重新思考，以前將大腦中的神經(jīng)元與機器學習背景下的神經(jīng)元進行不精確的比較的舊傳統(tǒng) ”，他認為“這篇論文確實有助于人們更仔細地思考這個問題，并搞清楚我們可以在多大程度上進行類比?！?/span>

最基本的相似之處，在于它們處理輸入的信息的方式。這兩種神經(jīng)元都接收輸入的信號，并根據(jù)這些信息決定是否將自己的信號發(fā)送給其他神經(jīng)元。人造神經(jīng)元是依靠簡單的計算來做出決定，但數(shù)十年的研究表明，生物神經(jīng)元的這個過程相對來說更加復雜。

計算神經(jīng)科學家使用輸入-輸出函數(shù)，模擬生物神經(jīng)元的長樹枝(樹突)接收到的輸入的信息與神經(jīng)元決定發(fā)送信號之間的關系。

這項新研究的作者使用一個人工深度神經(jīng)網(wǎng)絡模仿這個函數(shù)，以確定關系的復雜程度。他們首先對老鼠的大腦皮層中的神經(jīng)元的輸入輸出功能進行了大規(guī)模模擬，這種神經(jīng)元的頂部和底部都有不同的樹突分支，被稱為錐體神經(jīng)元。然后，他們將模擬結果輸入到一個深度神經(jīng)網(wǎng)絡中，該神經(jīng)網(wǎng)絡每層最多有256個人工神經(jīng)元，他們不斷增加層數(shù)，直到在模擬神經(jīng)元的輸入和輸出之間達到毫秒級99%的準確率。

最后，深度神經(jīng)網(wǎng)絡成功地預測了大腦神經(jīng)元的輸入-輸出函數(shù)的行為，結果表明：深度神經(jīng)網(wǎng)絡至少有5層相互連接的人工“神經(jīng)元”，但不超過8層。在大多數(shù)網(wǎng)絡中，一個生物神經(jīng)元就相當于大約 1000 個人工神經(jīng)元。

神經(jīng)科學家們現(xiàn)在知道，單個神經(jīng)元的計算復雜性，比如左邊的錐體神經(jīng)元，依賴于樹突狀的分支，這些分支會受到傳入信號的轟擊。在神經(jīng)元決定是否發(fā)送自己的信號“尖峰”之前，會導致局部電壓的變化，以神經(jīng)元的顏色變化來表示，紅色表示高電壓，藍色表示低電壓。這個“尖峰”出現(xiàn)了三次，如圖中右側的各分支的軌跡所示，這里的顏色代表了樹突從上(紅色)到下(藍色)的位置。

——David Beniaguev

貝勒醫(yī)學院(Baylor College of Medicine)的計算神經(jīng)科學家安德烈亞斯·托利亞斯(Andreas Tolias)說:“(這個結果)為生物神經(jīng)元和人工神經(jīng)元之間搭起了橋梁?！?/span>

這一研究的其中一個作者London對人們提出了警告，他認為，“人工神經(jīng)網(wǎng)絡中有多少層和網(wǎng)絡的復雜性之間的關系并不明顯，不是直接的對應?！?/span>因此，我們不能確切地說，從四層增加到五層會增加多少復雜性。我們也不能說 1000 個人工神經(jīng)元就意味著生物神經(jīng)元的復雜度恰好是人工神經(jīng)元的 1000 倍。說不定，我們可以在每一層中使用成倍的人工神經(jīng)元，最后能形成只有一層的深度神經(jīng)網(wǎng)絡來擬合一個生物神經(jīng)元。當然，算法學習可能因此需要更多的數(shù)據(jù)和學習時間。

London表示：“我們嘗試了多種不同深度和不同單元的架構，但大多都失敗了?！?/span>

該研究的作者們分享了他們的代碼，以鼓勵其他人找到一個層次更少的解決方案。但是結果表明，找到一個能以99%的準確率模擬生物神經(jīng)元的深層神經(jīng)網(wǎng)絡是很難的。因此，這些作者們相信，他們得出的結果確實為進一步的研究提供了有意義的比較。

Lillicrap認為，這一研究結果對于將圖像分類網(wǎng)絡與大腦聯(lián)系起來，或許可以提供一種新方法。圖像分類網(wǎng)絡通常需要 50 層以上，如果每個生物神經(jīng)元都近似于一個五層人工神經(jīng)網(wǎng)絡，那么一個有50層的圖像分類網(wǎng)絡就相當于一個生物網(wǎng)絡中的10個真實神經(jīng)元。

這一研究的作者還希望他們得出的研究結果能夠被用于改進 AI 領域目前最先進的深度網(wǎng)絡架構。

Segev指出，“我們建議，可以嘗試用一個代表生物神經(jīng)元的單元來替代深度神經(jīng)網(wǎng)絡中的簡單單元，使其更接近大腦的工作方式?！痹谶@種替代方案中，人工智能研究人員和工程師可以插入一個五層深度網(wǎng)絡作為“迷你網(wǎng)絡”，取代每一個人工神經(jīng)元。

有質疑也有肯定

但有些人懷疑這一研究是否真的對人工智能有益。

冷泉港實驗室(Cold Spring Harbor Laboratory)的神經(jīng)學家安東尼·扎多爾(Anthony Zador)說，“我認為，在這種對比中是否存在實際的計算優(yōu)勢，還是一個懸而未決的問題。”“但是該研究為檢驗這一點奠定了基礎。”

除了人工智能的應用之外，這篇新的論文也加深了人們對樹突樹和單個生物神經(jīng)元強大計算能力的共識。早在2003年，三位神經(jīng)科學家就表明，金字塔神經(jīng)元的樹突樹可以通過將其建模為兩層人工神經(jīng)網(wǎng)絡來進行復雜的模擬計算。在這篇新論文中，作者研究了金字塔神經(jīng)元的哪些特征（結構）激發(fā)了5到8層深度神經(jīng)網(wǎng)絡的更大復雜性。他們得出的結論是：秘密來自于樹突，以及樹突表面接收化學信使的一種特定受體——這一發(fā)現(xiàn)與該領域之前的研究結果一致。

一些人認為，這一結果意味著神經(jīng)科學家應該把對單個生物神經(jīng)元的研究放在更重要的位置。

賓夕法尼亞大學(University of Pennsylvania)的計算神經(jīng)學家康拉德·科爾丁(Konrad Kording)說：“這篇論文使得我們對樹突和單個神經(jīng)元的思考變得比以前重要得多。”

還有Lillicrap和Zador，他們認為關注一個回路中的神經(jīng)元，對于學習大腦如何使用單個神經(jīng)元的計算復雜性同樣重要。

無論如何，人工神經(jīng)網(wǎng)絡的研究可能會提供對生物神經(jīng)元以及大腦奧秘的新見解。

倫敦大學學院(University College London)的計算神經(jīng)科學家格蕾絲·林賽(Grace Lindsay)說:“從層次、深度和寬度的角度思考，這項工作讓我們對計算的復雜性有了直觀的認識?！?/span>

然而， Lindsay 也警告說，這項新研究仍然只是在對模型進行比較。不幸的是，目前神經(jīng)科學家不可能記錄真實神經(jīng)元的完整輸入-輸出功能，所以可能有更多生物神經(jīng)元模型沒有捕捉到的東西。換句話說，真正的神經(jīng)元可能更加復雜。

London說：“我們不確定，5到8層是否真的是最終的極限?！?/span>

原文鏈接：

https://www./how-computationally-complex-is-a-single-neuron-20210902/

未來智能實驗室的主要工作包括：建立AI智能系統(tǒng)智商評測體系，開展世界人工智能智商評測；開展互聯(lián)網(wǎng)（城市）大腦研究計劃，構建互聯(lián)網(wǎng)（城市）大腦技術和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務。每日推薦范圍未來科技發(fā)展趨勢的學習型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。