一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

搜索
分享

AI讀腦炸裂！掃描大腦畫面，Stable Diffusion逼真復現(xiàn)圖像

 天承辦公室 2023-03-07 發(fā)布于江蘇

圖片

  新智元報道  

編輯：編輯部
【新智元導讀】近日，一項研究聲稱能夠用Stable Diffusion將大腦活動重建為高分辨率、高精確度的圖像。相關論文被CVPR 2023接收，引起網(wǎng)友嘩然，AI讀腦已經(jīng)近在咫尺？

即便沒有霍格沃茨的魔法，也能看到別人在想什么了！
方法很簡單，基于Stable Diffusion便可視化大腦圖像。
比如，你看到的小熊、飛機、火車是這樣的。
圖片
當AI看到大腦信號后，生成的圖像是下面的樣子，可見該有的要點全有了。
圖片
這個AI讀腦術剛剛被CVPR 2023接收，讓圈友們瞬間「顱內(nèi)高潮」。
圖片
太野了！忘了提示工程吧，現(xiàn)在你只需要用腦子去「想」那些畫面就行了。
圖片
想象一下，用Stable Diffusion從fMRI數(shù)據(jù)中重建視覺圖像，或許意味著未來可能發(fā)展為非入侵式的腦機接口。
讓AI直接跳過人類語言，感知人類大腦中所思所想。
圖片
到時候，馬斯克搞的Neuralink也要追趕這一AI天花板了。

無需微調(diào)，用AI直接復現(xiàn)你在想什么


那么，AI讀腦究竟如何實現(xiàn)？
最新研究來自日本大阪大學的研究團隊。

圖片

論文地址：https://sites.google.com/view/stablediffusion-with-brain/
大阪大學前沿生物科學研究生院和日本NICT的CiNet的研究人員基于潛在的擴散模型（LDM），更具體地說，通過Stable Diffusion從fMRI數(shù)據(jù)中重建視覺體驗。
整個運作過程的框架也非常簡單：1個圖像編碼器、1個圖像解碼器，還有1個語義解碼器。
圖片
通過這樣做，該團隊消除了訓練和微調(diào)復雜人工智能模型的需要。
所有需要訓練的是簡單的線性模型，將下部和上部視覺腦區(qū)的fMRI信號映射到單個Stable Diffusion成分。
具體來說，研究人員將大腦區(qū)域映射為圖像和文本編碼器的輸入。下部腦區(qū)被映射到圖像編碼器，上部腦區(qū)被映射到文本編碼器。如此一來可以這讓該系統(tǒng)能夠使用圖像組成和語義內(nèi)容進行重建。
首先是解碼分析。研究中采用的LDM模型，由圖像編碼器ε、圖像解碼器D、文本編碼器τ組成。
研究者分別從早期和高級視覺皮層的fMRI信號中解碼出重建圖像z以及相關文本c的潛在表征，將其作為輸入，由自動編碼器生成復現(xiàn)出的圖像Xzc。
圖片
接著，研究者還建立了一個編碼模型，對來自LDM不同組件的fMRI信號進行預測，從而探索LDM的內(nèi)部運作機制。
圖片
研究人員使用來自自然場景數(shù)據(jù)集（NSD）的fMRI圖像進行實驗，并測試他們是否能使用Stable Diffusion來重建受試者看到的東西。
可以看到，編碼模型與LDM相關潛像預測精度，最后一種模型在大腦后部視覺皮層產(chǎn)生的預測精確度是最高的。
圖片
對一個主體的視覺重建結(jié)果顯示，只用z重建的圖像在視覺上與原始圖像一致，但不能捕捉到語義內(nèi)容。
而只用c重建的圖像具有較好的語義保真度，但視覺一致性較差，使用zc重建的圖像則可以同時具備高語義保真度和高分辨率。
圖片
來自所有受試者對同一圖像的重建結(jié)果顯示，重建的效果在不同受試者之間是穩(wěn)定且比較準確的。
而在具體細節(jié)方面的差異，可能來源于不同個體感知經(jīng)驗或者數(shù)據(jù)質(zhì)量的不同，而非是重建過程有誤。
圖片
最后，定量評估的結(jié)果被繪制成圖表。
種種結(jié)果顯示，研究中采用的方法不僅可以捕捉到低層次的視覺外觀，而且還能捕捉到原始刺激物的高層次語義內(nèi)容。
圖片
由此看來，實驗表明圖像和文本解碼的結(jié)合提供了準確的重建。
研究人員表示，受試者之間在準確性方面存在差異，但這些差異與fMRI圖像的質(zhì)量相關。根據(jù)該團隊的說法，重建的質(zhì)量與目前SOTA的方法相當，但不需要訓練其中用到的AI模型。
與此同時，該團隊還利用從fMRI數(shù)據(jù)中得出的模型來研究Stable Diffusion的各個構(gòu)建塊，例如語義內(nèi)容是如何在逆向擴散過程中產(chǎn)生的，或者在U-Net中發(fā)生什么過程。
在去噪過程的早期階段，U-Net 的瓶頸層（橙色）產(chǎn)生最高的預測性能，隨著去噪過程的進行，早期層（藍色）進行對早期視覺皮層活動的預測，瓶頸層則轉(zhuǎn)向高級視覺皮層。
這也就是說，在擴散過程剛開始時，圖像信息壓縮在瓶頸層中，伴隨著去噪，U-Net層之間的分離出現(xiàn)在視覺皮層中。
圖片
此外，該團隊正在對擴散不同階段的圖像轉(zhuǎn)換進行定量解釋。通過這種方式，研究人員旨在從生物學的角度為更好地理解擴散模型做出貢獻，這些模型被廣泛使用，但人們對它們的理解仍然很有限。

人腦畫面，早被AI解碼了？

多年來，研究人員一直在使用人工智能模型來解碼來自人類大腦的信息。
大多數(shù)方法的核心，通過使用預先錄制的fMRI圖像作為文本或圖像的生成性AI模型的輸入。
圖片
例如，在2018年初，一組來自日本的研究人員展示了一個神經(jīng)網(wǎng)絡如何從fMRI錄音中重建圖像。
2019年，一個小組從猴子的神經(jīng)元中重建了圖像，Meta的研究小組在Jean-Remi King的領導下，發(fā)表了新的工作，例如從fMRI數(shù)據(jù)中得出文本。
圖片
2022年10月，德克薩斯大學奧斯汀分校的一個團隊表明，GPT模型可以從fMRI掃描中推斷出描述一個人在視頻中看到的語義內(nèi)容的文本。
2022年11月，新加坡國立大學、香港中文大學和斯坦福大學的研究人員使用了MinD-Vis擴散模型從fMRI掃描中重建圖像，其準確性明顯高于當時的可用方法。
圖片
再往前倒推的話，有網(wǎng)友指出了「根據(jù)腦電波生成圖像至少從2008年開始就有了，以某種方式暗示著Stable Diffusion能夠讀懂人的思想，簡直太荒謬了?！?/span>
這項由加利福尼亞大學伯克利分校發(fā)表在Nature的論文稱，利用視覺解碼器可以將人的腦電波活動轉(zhuǎn)換成圖像。
圖片
圖片
要說追溯歷史，還有人直接拿出1999年，斯坦福李飛飛的一項關于從大腦皮層重建圖像的研究。
圖片
李飛飛也動手點評轉(zhuǎn)發(fā)，稱自己那時還是一名大學實習生。
圖片
還有2011年，UC伯克利的一項研究使用功能磁共振成像（fMRI）和計算模型，初步重建了大腦的「動態(tài)視覺圖像」。
圖片
也就是說，他們重現(xiàn)了人們看過的片段。
但是相比起最新研究，這項重建完全稱不上「高清」，幾乎無法辨認。

作者介紹

Yu Takagi
Yu Takagi是大阪大學的一名助理教授。他的研究興趣是計算神經(jīng)科學和人工智能的交叉領域。
在博士期間，他在ATR腦信息交流研究實驗室研究使用功能性磁共振成像（fMRI）從全腦功能連接預測不同個體差異的技術。
最近，他在牛津大學的牛津人腦活動中心和東京大學的心理學系，利用機器學習技術了解復雜決策任務中的動態(tài)計算。
圖片
Shinji Nishimoto
Shinji Nishimoto是大阪大學的教授。他的研究方面是對大腦中視覺和認知處理的定量理解。
圖片
更具體地說，Nishimoto教授團隊的研究重點是通過建立自然感知和認知條件下誘發(fā)的大腦活動的預測模型來理解神經(jīng)處理和代表。
圖片
有網(wǎng)友問作者，這項研究能否用于解夢？
「將同樣的技術應用于睡眠期間的大腦活動是可能的，但這種應用的準確性目前還不清楚?！?/span>
圖片
看過這項研究后：攝神取念術（Legilimency）妥妥的有了。
圖片
參考資料：
https://sites.google.com/view/stablediffusion-with-brain/
https://www./content/10.1101/2022.11.18.517004v2

    本站是提供個人知識管理的網(wǎng)絡存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導購買等信息，謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花（0）

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    高中女厕偷拍一区二区三区| 国内精品伊人久久久av高清 | 日韩国产亚洲欧美激情| 国产免费无遮挡精品视频| 亚洲精品偷拍视频免费观看| 国产精品成人一区二区在线| 欧美精品二区中文乱码字幕高清| 国产精品偷拍视频一区| 99久只有精品免费视频播放| 国产精品午夜小视频观看| 欧美日韩人妻中文一区二区| 亚洲国产av在线视频| 国产亚洲中文日韩欧美综合网| 在线观看视频成人午夜| 久久精品国产99国产免费| 国产一二三区不卡视频| 麻豆tv传媒在线观看| 精品人妻精品一区二区三区| 国产成人av在线免播放观看av | 免费亚洲黄色在线观看| 日本女优一区二区三区免费| 性感少妇无套内射在线视频| 肥白女人日韩中文视频| 在线一区二区免费的视频| 久久免费精品拍拍一区二区| 国产精品免费视频久久| 国产成人精品久久二区二区| 97人妻精品一区二区三区免| 国产三级欧美三级日韩三级| 视频在线播放你懂的一区| 在线观看视频日韩精品 | 亚洲高清中文字幕一区二区三区| 亚洲视频一区自拍偷拍另类| 免费午夜福利不卡片在线 视频| 国产熟女高清一区二区| 东北老熟妇全程露脸被内射| 国产精品欧美激情在线| 自拍偷女厕所拍偷区亚洲综合| 亚洲国产成人av毛片国产| 日本少妇中文字幕不卡视频| 精品欧美一区二区三久久|