腦機(jī)接口(BCI)可以幫助失去行動(dòng)或說(shuō)話(huà)能力的患者恢復(fù)交流能力。迄今為止，腦機(jī)接口研究的一個(gè)主要熱點(diǎn)是恢復(fù)身體肌肉動(dòng)作技能，例如用觸摸和握緊或2D電腦光標(biāo)點(diǎn)擊輸入。然而，高度靈巧的行為(如手寫(xiě)或觸摸打字)可能需要更快的通信速度。

靠意念輸入漢字

此前有報(bào)道表示香港中文大學(xué)成功研發(fā)出一個(gè)“腦機(jī)界面”系統(tǒng)，它能將腦電波轉(zhuǎn)換成繁體中文字，讓全身癱瘓無(wú)法說(shuō)話(huà)的病人，有機(jī)會(huì)“打開(kāi)心窗”。這套系統(tǒng)在香港中央圖書(shū)館首次展出，吸引了大批好奇的市民。

病人戴上有16個(gè)接觸面的無(wú)線(xiàn)腦電波接收器，盯住電腦屏幕，橫豎撇捺勾五個(gè)筆畫(huà)輪流閃亮，病人心里想著要寫(xiě)的筆畫(huà)，接收器便能收到選擇筆畫(huà)的指令，將中文字逐筆寫(xiě)出來(lái)。

看似神奇的“意念輸入法”，原理其實(shí)很簡(jiǎn)單。詹姆斯介紹，人看到自己想要輸入的筆畫(huà)閃亮?xí)r，會(huì)產(chǎn)生心理刺激，此時(shí)大腦會(huì)釋放出腦電波。譬如想輸入一個(gè)“橫”，當(dāng)屏幕上的“—”亮起時(shí)，大腦就釋放腦電波，系統(tǒng)捕捉腦電波并反饋給電腦軟件，完成輸入一筆“橫”。然后再依次輸入其他筆畫(huà)，依靠軟件的聯(lián)想功能，屏幕上也會(huì)不斷出現(xiàn)文字或詞組，供使用者選擇。

2013年發(fā)的一篇文章，發(fā)現(xiàn)了人們?cè)谔幚聿煌奈淖趾托畔⒌臅r(shí)候，大腦中的不同腦區(qū)會(huì)有組合性的不同反應(yīng)。就是《Nature》上面發(fā)過(guò)的一篇文章，說(shuō)我們?nèi)祟?lèi)在想一個(gè)單詞或者是文字的時(shí)候，我們大腦的不同腦區(qū)是有一個(gè)不同的對(duì)應(yīng)。現(xiàn)在也開(kāi)發(fā)了一些簡(jiǎn)單的應(yīng)用，可以用大腦直接輸入一個(gè)簡(jiǎn)單的數(shù)字，在通過(guò)大量的訓(xùn)練的情況下。

導(dǎo)讀

在一項(xiàng)研究中，研究人員展示了一種腦皮層內(nèi)腦機(jī)接口，它可以利用一種新的遞歸神經(jīng)網(wǎng)絡(luò)解碼方法，從運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)中解碼想象的書(shū)寫(xiě)動(dòng)作，并將其實(shí)時(shí)翻譯成文本。憑借這個(gè)BCI，該項(xiàng)研究的參與者(手癱瘓)的打字速度超過(guò)了其他任何一個(gè)BCI的打字速度:每分鐘90個(gè)字符，準(zhǔn)確率達(dá)到99%，并且具有通用自動(dòng)校正功能。

可以說(shuō)，這樣的打字速度與項(xiàng)目中參與者所在年齡組的健全智能手機(jī)打字速度(每分鐘115個(gè)字符)相媲美了，并且大大縮小了啟用BCI的打字速度與智能打字速度之間的差距。

研究人員表示，該項(xiàng)目的研究結(jié)果為BCI打開(kāi)了一種新的方法，并證明了在癱瘓數(shù)年后能夠精確解碼，快速、靈巧動(dòng)作的可行性。

實(shí)驗(yàn)過(guò)程

研究人員經(jīng)過(guò)對(duì)BCI領(lǐng)域大量的調(diào)研發(fā)現(xiàn)，癱瘓后運(yùn)動(dòng)皮質(zhì)中的運(yùn)動(dòng)意圖（例如抓取或移動(dòng)電腦光標(biāo)）仍通過(guò)神經(jīng)編碼。諸如手寫(xiě)之類(lèi)的靈巧運(yùn)動(dòng)技能也保持不變。研究人員通過(guò)記錄中央前回手“knob”區(qū)域中兩個(gè)微電極陣列的神經(jīng)活動(dòng)來(lái)測(cè)試這一點(diǎn)，同時(shí)項(xiàng)目實(shí)驗(yàn)的參與者T5嘗試手寫(xiě)單個(gè)字母和符號(hào)(圖1A)。T5有高位脊髓損傷，從頸部以下癱瘓。我們指導(dǎo)T5“嘗試”像他的手沒(méi)有癱瘓一樣寫(xiě)字(同時(shí)想象他拿著一支筆在一張格子紙上)。

研究人員使用主成分分析將記錄的神經(jīng)活動(dòng)(multiunit threshold crossing rates，多閾值交叉率)降低到包含最大方差的前3個(gè)維度(圖1B)。盡管各個(gè)試驗(yàn)中神經(jīng)活動(dòng)的高峰和低谷時(shí)間不同（可能是由于書(shū)寫(xiě)速度的波動(dòng)），但神經(jīng)活動(dòng)似乎很強(qiáng)且可重復(fù)。

研究者讓參與者T5嘗試按照電腦屏幕上的指示一次手寫(xiě)一個(gè)字符，如下圖1A中所示，下面的面板按照時(shí)間線(xiàn)描述屏幕上顯示的內(nèi)容。并通過(guò)調(diào)整神經(jīng)活動(dòng)的時(shí)間來(lái)消除書(shū)寫(xiě)速度的反復(fù)變化，研究者發(fā)現(xiàn)每個(gè)字母的活動(dòng)模式是一致的。

圖1 手寫(xiě)運(yùn)動(dòng)時(shí)的神經(jīng)編碼

上圖1為手寫(xiě)操作的神經(jīng)編碼。

(A)參與者T5嘗試按照電腦屏幕上的指示一次手寫(xiě)一個(gè)字符。

(B) 顯示了三個(gè)示例字母(d, e和m)和每個(gè)字母的27次重復(fù)(“試驗(yàn)”)的前3個(gè)主成分(PCs)的神經(jīng)活動(dòng)。顏色尺度在每個(gè)面板中分別歸一化，以便可視化。

(C)通過(guò)調(diào)整神經(jīng)活動(dòng)的時(shí)間來(lái)消除書(shū)寫(xiě)速度的反復(fù)變化。在C上方的插圖中，示例時(shí)間翹曲函數(shù)顯示為字母“m”，并且相對(duì)接近于恒等線(xiàn)(每次試驗(yàn)的翹曲函數(shù)用不同顏色的線(xiàn)繪制)。

實(shí)驗(yàn)中顯示31個(gè)測(cè)試字符的解碼鋼筆軌跡:26個(gè)小寫(xiě)字母、逗號(hào)、撇號(hào)、問(wèn)號(hào)、斜杠(~)和大于號(hào)(>)，如下圖D所示。預(yù)期的2D筆尖速度通過(guò)交叉驗(yàn)證從神經(jīng)活動(dòng)中線(xiàn)性解碼(每個(gè)字符都被顯示出來(lái))。解碼后的速度在整個(gè)試驗(yàn)中平均，并進(jìn)行整合以計(jì)算筆軌跡(橙色圓圈表示軌跡的開(kāi)始)。

(E)利用t-SNE繪制的神經(jīng)活動(dòng)的二維可視化圖。每個(gè)圓圈都是一個(gè)單獨(dú)的試驗(yàn)(31個(gè)字符中的每一個(gè)對(duì)應(yīng)27個(gè)試驗(yàn))。

圖1 手寫(xiě)運(yùn)動(dòng)時(shí)的神經(jīng)編碼

在該項(xiàng)研究中，研究者設(shè)計(jì)了一套解碼流程，算法示意圖如下圖A。首先，神經(jīng)活動(dòng)(多閾值交叉)進(jìn)行時(shí)間分檔（20 ms分檔）并在每個(gè)電極上進(jìn)行平滑處理。然后，遞歸神經(jīng)網(wǎng)絡(luò)（RNN）將此神經(jīng)種群時(shí)間序列(xt)轉(zhuǎn)換為描述每個(gè)字符的可能性和任何新字符開(kāi)始的可能性的概率時(shí)間序列(pt-d)。 RNN有一秒鐘的輸出延遲（d），它有時(shí)間觀察完整字符，然后在進(jìn)行識(shí)別。最后，對(duì)字符概率進(jìn)行閾值處理，以產(chǎn)生用于實(shí)時(shí)使用的“原始輸出”(當(dāng)“新字符”概率在t時(shí)刻超過(guò)一個(gè)閾值時(shí)，最有可能在t+0.3時(shí)刻發(fā)出字符)。在一個(gè)離線(xiàn)的回顧性分析中，字符概率與一個(gè)大詞匯量的語(yǔ)言模型結(jié)合在一起來(lái)解碼參與者最可能寫(xiě)的文本(研究人員使用一個(gè)定制的50,000字的雙向字符模型)。

圖2.手寫(xiě)嘗試的實(shí)時(shí)神經(jīng)解碼

在上圖B中，顯示了兩個(gè)實(shí)時(shí)示例試驗(yàn)，表明RNN能夠解碼從未訓(xùn)練過(guò)的句子中易于理解的文本。錯(cuò)誤以紅色突出顯示，空格用“>”表示。 (C)顯示錯(cuò)誤率(編輯距離)和打字速度，為期5天，每個(gè)階段有4個(gè)block，每個(gè)block包含7-10個(gè)句子（每個(gè)block用一個(gè)圓圈表示）。該速度是第二快的皮質(zhì)內(nèi)BCI7的兩倍以上。

研究人員分析了16個(gè)手寫(xiě)字符(持續(xù)1秒)和16個(gè)手寫(xiě)直線(xiàn)運(yùn)動(dòng)(持續(xù)0.6秒)對(duì)應(yīng)神經(jīng)活動(dòng)的時(shí)空模式如下圖A，并通過(guò)對(duì)給定運(yùn)動(dòng)的所有試驗(yàn)(aftertime-warping to align the trials in time)進(jìn)行平均，發(fā)現(xiàn)了時(shí)空神經(jīng)模式。然后，神經(jīng)活動(dòng)被重新采樣以平衡每組動(dòng)作的持續(xù)時(shí)間(否則直線(xiàn)運(yùn)動(dòng)的持續(xù)時(shí)間會(huì)更短)，得到每個(gè)動(dòng)作的192 x 100矩陣(192個(gè)電極和100個(gè)時(shí)間步)，如圖3B。

上圖(C)為每一組計(jì)算神經(jīng)模式之間的成對(duì)歐幾里得距離，揭示字符更大的最近鄰距離(但不是平均距離)。每個(gè)圓圈代表一個(gè)移動(dòng)，條形高度表示平均值。(D)較大的最近鄰距離使字符比直線(xiàn)更容易分類(lèi)。噪聲以標(biāo)準(zhǔn)偏差為單位，并且與距離的大小匹配。(E) 字符和直線(xiàn)的空間維數(shù)相似，但字符的時(shí)間維數(shù)高兩倍，表明更復(fù)雜的時(shí)序模式構(gòu)成最近鄰距離的增加和更好的分類(lèi)性能。誤差條顯示了95% CI (bootstrap百分位數(shù)法)。維度被定義為參與比率，它近似等于解釋80%的變量所需的維度數(shù)。(F,G, H)一個(gè)玩具例子可以直觀地說(shuō)明增加的時(shí)間維度如何使神經(jīng)軌跡更加可分離。畫(huà)出了四個(gè)神經(jīng)軌跡(N1和N2是兩個(gè)假設(shè)的神經(jīng)元，它們的活動(dòng)被限制在一個(gè)空間維度，即單位對(duì)角線(xiàn)上)。通過(guò)增加一個(gè)彎曲允許軌跡隨時(shí)間變化(將時(shí)間維度從1增加到2)，可以實(shí)現(xiàn)更大的最近鄰居距離(G)和更好的分類(lèi)(H)。

研究結(jié)論

這些結(jié)果表明，時(shí)變運(yùn)動(dòng)模式（例如手寫(xiě)字母）從根本上比點(diǎn)對(duì)點(diǎn)運(yùn)動(dòng)更容易解碼，因此可以實(shí)現(xiàn)更高的通信速率。這個(gè)概念可以更廣泛地應(yīng)用于改進(jìn)任何BCI，使其能夠在一組選項(xiàng)之間進(jìn)行離散選擇(通過(guò)將這些選項(xiàng)與隨時(shí)間變化的手勢(shì)相關(guān)聯(lián)，而不是簡(jiǎn)單的動(dòng)作)。利用最大化運(yùn)動(dòng)之間最近鄰距離的原則，為了便于分類(lèi)，可以?xún)?yōu)化一組軌跡(就像以前優(yōu)化目標(biāo)位置時(shí)所做的那樣)。

研究人員為此進(jìn)行了相應(yīng)的探索，并設(shè)計(jì)了一個(gè)字母表，理論上比拉丁字母表中的字母更容易分類(lèi)(圖4)。研究人員的發(fā)現(xiàn)，從神經(jīng)解碼的角度揭示了拉丁字母的一個(gè)缺點(diǎn)：大量的冗余字母以相似的方式書(shū)寫(xiě)（大多數(shù)字母以向下筆劃或逆時(shí)針的旋開(kāi)始）。

參考鏈接：

https:///10.1101/2020.07.01.183384