情感在日常生活中有著重要的作用，不僅在人類互動(dòng)中，而且在決策過程中，以及在對(duì)我們周圍世界的感知中。由于最近研究界對(duì)建立人和計(jì)算機(jī)之間的情感互動(dòng)表現(xiàn)出興趣，因此需要識(shí)別前者的情感狀態(tài)。這可以通過多種測(cè)量來實(shí)現(xiàn)，如主觀自我報(bào)告、自主和神經(jīng)生理測(cè)量。在過去的幾年里，腦電圖(Electroencephalography, EEG)受到了研究人員的極大關(guān)注，因?yàn)樗梢詾樽R(shí)別情緒提供一種簡(jiǎn)單、廉價(jià)、便攜和易于使用的解決方案。在本文中，我們介紹了2009年至2016年進(jìn)行的神經(jīng)生理學(xué)研究的概況，提供了使用EEG信號(hào)進(jìn)行情緒識(shí)別的現(xiàn)有工作的全面概述。我們將集中分析在識(shí)別過程中涉及的主要方面(例如，受試者、提取的特征、分類器)，并比較每個(gè)方面的工作。根據(jù)這一分析，我們提出了一套研究人員必須遵循的良好實(shí)踐建議，以實(shí)現(xiàn)可重復(fù)、可復(fù)制、經(jīng)過良好驗(yàn)證和高質(zhì)量的結(jié)果。我們希望本文對(duì)通過EEG信號(hào)進(jìn)行情緒識(shí)別的研究團(tuán)體有用，特別是對(duì)那些進(jìn)入這一研究領(lǐng)域的人，因?yàn)樗峁┝艘粋€(gè)結(jié)構(gòu)化的起點(diǎn)。思影科技曾做過多期關(guān)于腦電機(jī)器學(xué)習(xí)相關(guān)的文章解讀，可結(jié)合閱讀，直接點(diǎn)擊下文鏈接（紅色為我個(gè)人特別推薦的文章）：
基于機(jī)器學(xué)習(xí)的腦電病理學(xué)診斷 高階統(tǒng)計(jì)量在EEG信號(hào)處理中的應(yīng)用 腦電信號(hào)處理的機(jī)器學(xué)習(xí) EEG分類實(shí)驗(yàn)block設(shè)計(jì)的危險(xiǎn)與陷阱 Current Biology：視覺想象和視覺感知共享Alpha頻帶中的神 利用腦電連通性特征和卷積神經(jīng)網(wǎng)絡(luò)的情緒分類 腦電研究：通過神經(jīng)活動(dòng)和視覺特征的多模態(tài)學(xué)習(xí) JAMA Psychiatry：使用機(jī)器學(xué)習(xí)的方法探究焦慮和創(chuàng)傷性障 Nature neuroscience：利用encoder-decoder模型實(shí)現(xiàn)皮層活 ANNALS of Neurology：中風(fēng)恢復(fù)過程中腦機(jī)接口可促進(jìn)運(yùn)動(dòng) Nature Biotechnology: EEG特征預(yù)測(cè)重度抑郁癥的抗抑郁藥反應(yīng) BMC Medicine：自閉癥譜系障礙靜息態(tài)EEG信號(hào)的定量遞歸 SCIENCE ROBOTICS：非侵入式神經(jīng)成像可增強(qiáng)機(jī)器控制 Lancet Neurology：一種供四肢癱瘓患者使用硬膜外無線腦機(jī) Lancet經(jīng)典：植物人意識(shí)狀態(tài)的床邊檢測(cè) NATURE子刊：出生第一年的縱向EEG power能識(shí)別孤獨(dú)癥譜 EEG機(jī)器學(xué)習(xí)：急性腦損傷臨床無反應(yīng)患者腦 STROKE:用于慢性中風(fēng)患者運(yùn)動(dòng)康復(fù)的動(dòng)力外骨骼的健側(cè)腦-機(jī) PNAS:基于腦電在線神經(jīng)反饋調(diào)節(jié)喚醒程度可以改善個(gè)體 帕金森病認(rèn)知圖譜的EEG機(jī)器學(xué)習(xí) BRAIN：機(jī)器學(xué)習(xí)：基于EEG的跨中心、跨方案的意識(shí) 腦機(jī)接口訓(xùn)練可持久地恢復(fù)中風(fēng)病人的上肢運(yùn)動(dòng)功能 索引術(shù)語(yǔ)—情緒、腦電圖、識(shí)別、辨認(rèn) 情感是人類日常生活的基礎(chǔ)，因?yàn)樗鼈冊(cè)谌祟愓J(rèn)知中起著重要作用，即在理性決策、感知、人類互動(dòng)和人類智力中。然而，情感在很大程度上被忽視了，尤其是在人機(jī)交互領(lǐng)域。 情感計(jì)算通過將技術(shù)和情感融合到人機(jī)交互中來填補(bǔ)這一空白。它旨在通過測(cè)量用戶的情緒狀態(tài)來模擬人和計(jì)算機(jī)之間的情緒互動(dòng)。一個(gè)人的內(nèi)心情感狀態(tài)可能會(huì)通過主觀體驗(yàn)(人的感受)、內(nèi)部表達(dá)(生理信號(hào))和外部表達(dá)(聽覺/視覺信號(hào))而變得明顯。關(guān)于個(gè)人感受的主觀自我報(bào)告可以提供有價(jià)值的信息，但是存在有效性和確證的問題。參與者可能不會(huì)確切地回答他們的感受，而是他們認(rèn)為其他人會(huì)回答。 生理信號(hào)有助于更好地理解參與者在觀察時(shí)表達(dá)的潛在反應(yīng)。這些對(duì)應(yīng)于來自中樞和自主神經(jīng)系統(tǒng)的多通道記錄。中樞神經(jīng)系統(tǒng)包括大腦和脊髓，而自主神經(jīng)系統(tǒng)是一個(gè)控制系統(tǒng)，無意識(shí)地發(fā)揮作用，調(diào)節(jié)身體功能，如心率、瞳孔反應(yīng)和性喚起。通常用來測(cè)量情緒的信號(hào)有：皮膚電反應(yīng)(Galvanic Skin Response, GSR)，它隨著一個(gè)人的覺醒水平而線性增加；肌電圖(Electromyography, EMG)(肌肉緊張的頻率)，與負(fù)面情緒相關(guān)；心率(Heart Rate, HR)，隨著負(fù)面情緒如恐懼而增加；和呼吸率(Respiration Rate, RR)(呼吸有多深多快)，隨著憤怒等情緒的喚起，呼吸變得不規(guī)則。在大腦上記錄的測(cè)量結(jié)果也能夠觀察到感覺到的情緒。 可以使用功能性神經(jīng)成像技術(shù)，如腦電圖(Electroencephalography, EEG)、功能性磁共振成像(functional Magnetic Resonance Imaging, fMRI)或正電子發(fā)射斷層掃描(Positron Emission Tomography, PET)。雖然EEG的空間分辨率很低，需要在頭部的不同位置放置許多電極，但它提供了很好的時(shí)間分辨率，使研究人員能夠研究響應(yīng)情緒刺激的階段變化。此外，EEG的使用是非侵入性的，快速的，廉價(jià)的，使其成為研究大腦對(duì)情緒刺激反應(yīng)的首選方法。如今，由于其可穿戴性、價(jià)格、便攜性和易用性，新的無線EEG設(shè)備正在進(jìn)入市場(chǎng)。因此，現(xiàn)在可以在不同領(lǐng)域使用基于EEG的情緒識(shí)別，如娛樂、電子學(xué)習(xí)、虛擬世界或電子醫(yī)療應(yīng)用。它可以用于許多目的，如即時(shí)消息、網(wǎng)絡(luò)游戲、協(xié)助治療師和心理學(xué)家工作。 在本文中，我們回顧了基于EEG信號(hào)的情感識(shí)別方法。我們的分析是從兩個(gè)不同的角度進(jìn)行的：一個(gè)更一般的角度是相關(guān)的建議，即以避免在這個(gè)研究領(lǐng)域往往會(huì)出現(xiàn)的常見陷阱；另一個(gè)更具體的主題是從EEG信號(hào)中識(shí)別情緒的不同步驟。后者側(cè)重于參與者的數(shù)量和性別、被識(shí)別的情緒集、呈現(xiàn)的刺激(圖像、視頻等)，使用的EEG設(shè)備和電極的位置，提取的EEG特征和用于提取這些特征的方法，以及最后使用的分類器。 2 方法論 我們仔細(xì)識(shí)別了2009年至2016年間發(fā)表的屬于基于EEG的情緒識(shí)別的文章。從兩個(gè)角度對(duì)這些論文進(jìn)行了進(jìn)一步的分析。首先，我們根據(jù)Brouwer等人定義的六個(gè)建議(14個(gè)要點(diǎn))審查了所有的論文。其次，我們對(duì)99篇論文的一個(gè)子集進(jìn)行了更具體的分析。這個(gè)子集包含符合14個(gè)關(guān)鍵點(diǎn)中至少9個(gè)。 3 背景 在接下來的段落中，我們將簡(jiǎn)要介紹情緒的定義和表示，以及EEG信號(hào)的主要特征，以便為讀者提供一些背景知識(shí)。 3.1 情緒 情緒是一種復(fù)雜的心理狀態(tài)，包括三個(gè)不同的組成部分：主觀體驗(yàn)、生理反應(yīng)和行為或表達(dá)反應(yīng)。情緒被描述為對(duì)有機(jī)體有意義的事件(外部或內(nèi)部)的離散和一致的反應(yīng)。它們持續(xù)時(shí)間短，對(duì)應(yīng)于一組協(xié)調(diào)的反應(yīng)，可能包括語(yǔ)言、行為、生理和神經(jīng)機(jī)制。在情感神經(jīng)科學(xué)中，情感概念可以從類似的結(jié)構(gòu)中區(qū)分出來，如感覺、情緒和情感。感情可以看作是情緒的主觀表現(xiàn)。情緒是一種彌漫的情感狀態(tài)，通常持續(xù)的時(shí)間比情緒長(zhǎng)得多，也通常不如情緒強(qiáng)烈。最后，情感是一個(gè)包羅萬(wàn)象的術(shù)語(yǔ)，用來描述情感、感覺和心情的主題。 情緒表征有兩種不同的觀點(diǎn)。第一個(gè)(分類)表明基本情緒是通過自然選擇進(jìn)化而來的。Plutchik提出了八種基本情緒：憤怒、恐懼、悲傷、厭惡、驚訝、好奇、接受和快樂。其他所有的情緒都可以由這些基本情緒形成(比如失望是由驚訝和悲傷組成的)。Ekman遵循Darwinian的傳統(tǒng)，他的工作基于面部表情和情緒之間的關(guān)系，這些情緒來自許多普遍的基本情緒：憤怒、厭惡、恐懼、快樂、悲傷和驚訝。在第二個(gè)視角(維度)中，基于認(rèn)知，情緒被映射到效價(jià)、覺醒和支配維度。效價(jià)從非常積極的感覺到非常消極的感覺(或者不愉快到愉快)；喚醒(也稱為激活)從困倦狀態(tài)變?yōu)榕d奮狀態(tài)；最后，支配對(duì)應(yīng)于情感的強(qiáng)度。最常用的模型是情感的環(huán)狀（Circumplex）模型，它只使用效價(jià)和喚醒。 3.2 EEG 人腦的最大部分，即皮層，分為額葉、顳葉、頂葉和枕葉(見圖1)。額葉負(fù)責(zé)有意識(shí)的思考。顳葉負(fù)責(zé)嗅覺和聽覺，以及復(fù)雜刺激如面孔和場(chǎng)景的處理。頂葉負(fù)責(zé)整合來自各種感覺的信息，以及對(duì)物體的操縱。最后，枕葉負(fù)責(zé)視覺。 
圖 1 皮層細(xì)分為額葉、顳葉、頂葉和枕葉。 EEG是一種醫(yī)學(xué)成像技術(shù)，它讀取由大腦結(jié)構(gòu)產(chǎn)生的頭皮電活動(dòng)，即它測(cè)量由大腦神經(jīng)元內(nèi)離子電流流動(dòng)引起的電壓波動(dòng)。當(dāng)從頭皮測(cè)量時(shí)，典型的成人EEG信號(hào)約為10-100mV。在頭皮中觀察到的這些信號(hào)被分成在某些精神狀態(tài)下更突出的特定范圍，即δ(1-4Hz)、θ(4-7Hz)、α(8-13Hz)、β(13-30Hz)和γ(> 30Hz)帶(見圖2)。在不同的研究中，頻段的起點(diǎn)和終點(diǎn)相差幾赫茲。
δ波與無意識(shí)思維有關(guān)，發(fā)生在深度無夢(mèng)睡眠期間。θ波與潛意識(shí)有關(guān)，例如睡眠和做夢(mèng)等活動(dòng)。α波通常與放松的精神狀態(tài)有關(guān)，但也是有意識(shí)的，在頂葉和枕葉更容易看到。高α活性與大腦失活有關(guān)。β波與積極的精神狀態(tài)有關(guān)，在強(qiáng)烈的集中精神活動(dòng)期間，在額葉皮層和其他區(qū)域更為突出。最后，γ波與大腦過度活動(dòng)有關(guān)。在下面的段落中，我們介紹了電極定位以收集EEG信號(hào)以及用于評(píng)估它們的范例。 為了產(chǎn)生可復(fù)制的設(shè)置，在顱骨上有標(biāo)準(zhǔn)化的電極位置，例如國(guó)際10/20系統(tǒng)(IS)(見圖3)。該系統(tǒng)基于電極位置和大腦皮層底層區(qū)域之間的關(guān)系。數(shù)字10和20表示相鄰電極之間的距離(頭骨前后或左右總距離的10%或20%)。額外的位置可以通過利用現(xiàn)有的空白空間來增加。
圖 3 國(guó)際10/20系統(tǒng)。 每個(gè)部位都有一個(gè)字母來標(biāo)識(shí)腦葉，一個(gè)數(shù)字來標(biāo)識(shí)半球的位置。F代表額葉，T代表顳葉，C代表中央(雖然沒有中央葉，但C字母用于識(shí)別)，P代表頂葉，O代表枕葉。z(零)指放置在中線上的電極。偶數(shù)指右半球的電極位置，奇數(shù)指左半球。四個(gè)解剖標(biāo)志用于電極的正確定位：鼻根(前額和鼻子之間的點(diǎn))、枕骨隆突(后腦勺的最低點(diǎn))和耳朵前點(diǎn)。 電極可以是單極或雙極的。第一個(gè)記錄電位差，與連接到耳垂或乳突的中性電極相比。第二個(gè)顯示兩對(duì)電極之間的電位差。隨著高密度電極的使用，會(huì)出現(xiàn)多種干擾EEG記錄的噪聲源，如活動(dòng)部位附近的肌肉活動(dòng)、眼球運(yùn)動(dòng)和眨眼。眼球運(yùn)動(dòng)偽影會(huì)對(duì)大腦額葉部位產(chǎn)生深遠(yuǎn)的影響，特別是額葉中部部位(F3 & F4)，通常用于研究情緒反應(yīng)。3.2.2 EEG范式 為了理解如何評(píng)估大腦電活動(dòng)中發(fā)生的變化，我們提出了最常用的范式：感覺誘發(fā)電位、事件相關(guān)電位和事件相關(guān)去同步化。 誘發(fā)（evoked）電位對(duì)應(yīng)于刺激出現(xiàn)后記錄的電位信號(hào)。有三種類型： 聽覺誘發(fā)電位(Auditory Evoked Potentials, AEP)、視覺誘發(fā)電位(Visual Evoked Potentials, VEP)和體感誘發(fā)電位(Somatosensory Evoked Potentials, SsEP)，它們因所用的誘發(fā)方法而不同。AEP是通過耳機(jī)發(fā)出的咔噠聲或音調(diào)刺激引起的，VEP是通過監(jiān)視器上的閃光燈或變化模式引起的(如果是由周期性刺激引起的，則為穩(wěn)態(tài)視覺誘發(fā)電位)，而SsEP是通過外周神經(jīng)的電刺激引起的。事件相關(guān)電位具有很高的時(shí)間分辨率，可以測(cè)量對(duì)短刺激的即時(shí)反應(yīng)。它們通常被測(cè)量為刺激后特定時(shí)間段（ms）的正負(fù)電位的潛伏期和振幅。事件相關(guān)電位成分有：P100、N100、N200、P200、P300和慢皮質(zhì)電位(Slow Cortical Potential, SCP)。N100的特征是電壓負(fù)偏轉(zhuǎn)，刺激和刺激后100毫秒的反應(yīng)(潛伏期)之間有延遲，而P100是等效的，但有正偏轉(zhuǎn)。N200和P200類似于N100和P100，延遲約為200毫秒，而不是100毫秒(在150和275毫秒之間變化)。P300被認(rèn)為反映了刺激評(píng)估或分類中涉及的過程，其特征在于電壓的正偏轉(zhuǎn)，潛伏期約為250至500毫秒，SCP可以發(fā)生在300毫秒至幾秒鐘內(nèi)。 ERD/ERS分析允許以高時(shí)間分辨率評(píng)估特定頻帶內(nèi)的功率變化。他們?cè)谝?guī)定的頻帶范圍內(nèi)測(cè)量功率的快速變化，以評(píng)估刺激呈現(xiàn)后幾毫秒內(nèi)發(fā)生的反應(yīng)。刺激出現(xiàn)后在一個(gè)頻帶內(nèi)增加的功率被定義為ERS，而ERD對(duì)應(yīng)于在一個(gè)頻帶內(nèi)功率的減少。當(dāng)情感交流發(fā)生時(shí)，它適用于測(cè)量對(duì)情感交流的現(xiàn)有反應(yīng)。3.3 大腦中的情緒 在過去的十年里，大量的神經(jīng)心理學(xué)研究報(bào)告了EEG信號(hào)和情緒之間的相關(guān)性。大腦中與情緒活動(dòng)相關(guān)的主要區(qū)域有兩個(gè)：杏仁核(靠近海馬體，位于顳葉的前部)；和前額葉皮層(覆蓋額葉的一部分)。雖然對(duì)于杏仁核可能的偏側(cè)化還沒有一致的看法，但它的激活似乎與負(fù)面情緒的關(guān)系比正面情緒更大。 α波功率的變化和大腦半球之間的不對(duì)稱與情緒有關(guān)。相對(duì)而言，右額葉激活與退縮刺激或負(fù)面情緒有關(guān)，如恐懼或厭惡。相對(duì)較大的左額葉激活與接近刺激或積極情緒有關(guān)，如快樂或幸福。因此，不對(duì)稱的前額葉EEG活動(dòng)可能反映了效價(jià)的變化。β波也與效價(jià)有關(guān)。對(duì)于效價(jià)識(shí)別，α波的前額葉和頂葉不對(duì)稱以及γ波的顳葉不對(duì)稱是存在的，而對(duì)于覺醒識(shí)別，存在α波的前額葉不對(duì)稱和γ的顳葉不對(duì)稱。 γ波的變化與情緒快樂和悲傷有關(guān)，顳葉不同側(cè)的α波減少也是如此(左邊是悲傷，右邊是快樂)。最后，短潛伏期(N100和P100)至中間潛伏期(N200和P200)的事件相關(guān)電位成分與效價(jià)相關(guān)，而中潛伏期至長(zhǎng)潛伏期(P300和SCP)的成分與喚醒相關(guān)。 先前的研究表明，男性和女性對(duì)情感刺激的處理方式不同。他們認(rèn)為，男性依靠對(duì)過去情感經(jīng)歷的回憶來評(píng)估當(dāng)前的情感經(jīng)歷，而女性似乎更容易融入情感系統(tǒng)。也有一些證據(jù)表明，當(dāng)情緒被喚起時(shí)，女性的EEG模式更相似，而男性的EEG模式有更多的個(gè)體差異。 總之，我們可以得出結(jié)論，額葉和頂葉對(duì)情緒狀態(tài)的信息最豐富，而α、γ和β波似乎最具辨別能力。與性別相關(guān)的發(fā)現(xiàn)與女性比男性更情緒化的普遍觀點(diǎn)相一致，這表明對(duì)情緒刺激可能存在與性別相關(guān)的神經(jīng)反應(yīng)。 4 Brouwer的建議 通過EEG等神經(jīng)生理信號(hào)識(shí)別情緒，以及開發(fā)利用這些信息的應(yīng)用程序，需要來自不同領(lǐng)域的知識(shí)。例如，研究人員需要工程、實(shí)驗(yàn)設(shè)計(jì)、目標(biāo)用戶群知識(shí)、數(shù)學(xué)建模、心理生理學(xué)、傳感器技術(shù)、信號(hào)處理和系統(tǒng)設(shè)計(jì)方面的專業(yè)知識(shí)。所以這是一個(gè)很難執(zhí)行的高度跨學(xué)科的領(lǐng)域，也很難分析(無論是專家還是讀者)。事實(shí)上，本節(jié)列舉的常見陷阱主要發(fā)生在跨學(xué)科領(lǐng)域，這些領(lǐng)域?qū)?shí)驗(yàn)心理學(xué)、人的因素、機(jī)器學(xué)習(xí)和神經(jīng)生理學(xué)聯(lián)系在一起(見圖4)。實(shí)驗(yàn)心理學(xué)提供了評(píng)估精神狀態(tài)的方法。創(chuàng)建和測(cè)試應(yīng)用程序需要人為因素。機(jī)器學(xué)習(xí)提供了先進(jìn)的分類算法。神經(jīng)生理學(xué)提供了關(guān)于神經(jīng)系統(tǒng)功能以及如何測(cè)量的知識(shí)。 
圖4 六項(xiàng)建議中五項(xiàng)與其主要基礎(chǔ)領(lǐng)域相關(guān)的概述。建議3與所有其他建議交織在一起。 Brouwer等人提出了六項(xiàng)建議(見表1)，以避免與使用反映認(rèn)知或情感狀態(tài)的神經(jīng)生理信號(hào)相關(guān)的常見陷阱。這些建議與感興趣狀態(tài)的定義、感興趣狀態(tài)中預(yù)期涉及的神經(jīng)生理過程、混雜因素、通過分類分析對(duì)結(jié)果的“欺騙”(盡管不是故意的)、對(duì)成功狀態(tài)估計(jì)的基礎(chǔ)的洞察，以及最后在應(yīng)用背景下神經(jīng)生理測(cè)量的附加值有關(guān)。它們可能有助于改進(jìn)新研究的設(shè)計(jì)和執(zhí)行，并可以作為閱讀和評(píng)估研究的清單。接下來，我們根據(jù)這些建議對(duì)2009年至2016年在該領(lǐng)域開展的工作進(jìn)行分析(見表2)。我們還詳細(xì)描述了每個(gè)建議，以及我們?nèi)绾握J(rèn)為每項(xiàng)工作符合(或不符合)給定的關(guān)鍵點(diǎn)。表1 Brouwer等提出的在使用反映認(rèn)知或情感狀態(tài)的神經(jīng)生理信號(hào)時(shí)避免常見陷阱的建議 
4.1 R1-定義感興趣狀態(tài)和基本事實(shí) 一個(gè)給定的概念在社區(qū)中可能有多種解釋(例如，有許多不同的情緒集，盡管它們都在情緒概念的保護(hù)傘下)。為了防止混淆，重要的是要澄清作者提出了哪些精神狀態(tài)，并討論在以前的研究中是如何提出的以及使用中的定義。將感興趣的精神狀態(tài)與其在工作中的可操作性聯(lián)系起來也非常重要，因?yàn)樗从沉藨?yīng)被視為基本事實(shí)的東西(例如，行為測(cè)量，如按鈕按壓準(zhǔn)確性，主觀測(cè)量，如在已知量表上的反應(yīng)，如自我評(píng)估人體模型(Self Assessment Manikin, SAM)，或關(guān)于個(gè)人當(dāng)前狀況的知識(shí))。 正如我們?cè)诒?中看到的，大約74%的工作符合第一個(gè)建議，即它們滿足該建議的兩個(gè)關(guān)鍵點(diǎn)?？紤]到關(guān)鍵點(diǎn)1.1，作品通常呈現(xiàn)他們打算解決的問題(情感的識(shí)別)以及他們將如何獲得基本的真實(shí)數(shù)據(jù)：從用戶那里收集情感評(píng)級(jí)或使用已知的標(biāo)準(zhǔn)化數(shù)據(jù)集(97%)。然而，少數(shù)工作符合關(guān)鍵點(diǎn)1.2(73.7%)。雖然作者收集EEG信號(hào)和受試者在刺激暴露期間的情緒評(píng)估是很常見的，但一些工作只收集信號(hào)數(shù)據(jù)，假設(shè)刺激有效地引發(fā)了預(yù)期的情緒。然而，這種情緒不能被成功地激發(fā)出來，這意味著這種假設(shè)可能會(huì)影響識(shí)別器的質(zhì)量，導(dǎo)致作者給出不正確或不充分的結(jié)論。4.2 R2-將感興趣的狀態(tài)與神經(jīng)生理學(xué)聯(lián)系起來 當(dāng)試圖基于神經(jīng)生理信號(hào)估計(jì)情感(或認(rèn)知)狀態(tài)時(shí)，一個(gè)關(guān)鍵的方面是將給定的心理狀態(tài)與某些生理信號(hào)(在我們的特定情況下，是EEG信號(hào))聯(lián)系起來。因此，文獻(xiàn)中的發(fā)現(xiàn)應(yīng)該被用來制定假設(shè)，即所使用的神經(jīng)生理學(xué)測(cè)量方法預(yù)計(jì)會(huì)隨著感興趣的精神狀態(tài)而變化(以及如何變化)。這樣，研究人員能夠?yàn)榫駹顟B(tài)估計(jì)分類模型的訓(xùn)練步驟識(shí)別有用的變量/特征，以及驗(yàn)證精神狀態(tài)估計(jì)模型是否如預(yù)期的那樣起作用。 建議2解決了這些方面，根據(jù)我們的分析，只有34.3%的工作符合它。研究人員往往只給出他們用來提取EEG特征的方法，以及特征本身，而沒有提供任何解釋來說明他們打算識(shí)別的情緒和他們使用的特征之間的關(guān)系。 混淆因素尤其重要，因?yàn)樗鼈儠?huì)影響神經(jīng)生理學(xué)研究。在EEG的特殊情況下，受試者的不自主運(yùn)動(dòng)可能會(huì)在收集的數(shù)據(jù)中造成人為假象。避免它們的最好方法是正確設(shè)計(jì)研究。然而，很難完全消除混雜的存在。在這些情況下，混淆是無法避免的，我們應(yīng)該檢查數(shù)據(jù)以驗(yàn)證它們的存在，更重要的是，檢查神經(jīng)生理變量是否隨著感興趣的精神狀態(tài)或由于混淆而變化。表 2 根據(jù)六項(xiàng)建議(和要點(diǎn))對(duì)工作的分析
大多數(shù)工作(87.9%)試圖使用適當(dāng)?shù)难芯吭O(shè)計(jì)來避免混淆因素(關(guān)鍵點(diǎn)3.1)。例如，給受試者一定的適應(yīng)時(shí)間以使他們習(xí)慣該設(shè)備，以及具有理想溫度、光線和舒適條件的放松環(huán)境。不太常見的是對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證，以發(fā)現(xiàn)混雜因素并消除它們(關(guān)鍵點(diǎn)3.2和3.3-67.7%)。一個(gè)潛在的原因是，研究EEG信號(hào)的研究人員應(yīng)用了偽跡去除技術(shù)。因此，作者認(rèn)為沒有必要觀察數(shù)據(jù)并手動(dòng)刪除它們。這個(gè)原因也可以證明符合關(guān)鍵點(diǎn)3.4(5.1%)的極少數(shù)工作是合理的。4.4 R4-堅(jiān)持良好的分類實(shí)踐 分類分析用于估計(jì)精神狀態(tài)，尤其是高維信號(hào)(如EEG)。通常，監(jiān)督分類模型是使用根據(jù)感興趣的狀態(tài)收集和標(biāo)記的數(shù)據(jù)樣本來訓(xùn)練的。接下來，訓(xùn)練好的模型被用來標(biāo)記看不見的神經(jīng)生理學(xué)數(shù)據(jù)。然后，通過比較來自已知和未知數(shù)據(jù)的標(biāo)簽，可以確定分類器的性能。為了保證分類精度不被夸大，預(yù)處理和參數(shù)設(shè)置應(yīng)仔細(xì)選擇，并獨(dú)立于測(cè)試集。 大約49%的工作完成了建議4的所有要點(diǎn)。幾乎所有工作都滿足了關(guān)鍵點(diǎn)4.2和4.3(超過96%)，而只有49.5%的審查工作符合關(guān)鍵點(diǎn)4.1。這主要是因?yàn)橐恍┳髡邲]有提供任何關(guān)于這方面的信息，或者使用來自同一階段/受試者的數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試?？紤]到用來訓(xùn)練和測(cè)試的收集的數(shù)據(jù)之間的依賴關(guān)系，不能保證獲得的結(jié)果不是由于依賴關(guān)系：可能會(huì)出現(xiàn)過于樂觀的結(jié)果。對(duì)于來自同一被試的數(shù)據(jù)，作者往往不會(huì)泛化所獲得的結(jié)果。 分類性能提供了關(guān)于訓(xùn)練好的模型可以如何估計(jì)未見過的神經(jīng)生理學(xué)數(shù)據(jù)的感興趣的精神狀態(tài)的洞察力。除了呈現(xiàn)分類結(jié)果，呈現(xiàn)關(guān)于不同特征(和特征組合)背后的神經(jīng)生理過程的不同方式的信息也很重要。 作者通常從EEG信號(hào)中提取各種特征，然后用這些特征或它們的組合來訓(xùn)練分類器(關(guān)鍵點(diǎn)5.2：68.7%)。然而，他們只報(bào)告所取得的結(jié)果，而沒有任何關(guān)于結(jié)果的解釋或見解，也沒有解釋為什么某些功能組比其他功能組表現(xiàn)更好(關(guān)鍵點(diǎn)5.1：32.3%)。4.6 R6-使用神經(jīng)生理學(xué)的附加值 只有部分工作解釋了EEG信號(hào)相對(duì)于其他生理測(cè)量的優(yōu)勢(shì)，這些測(cè)量也可以用來捕捉一個(gè)人感受到的情緒(關(guān)鍵點(diǎn)6.1：61.6%)。大量的工作解釋了將從這種識(shí)別器中受益的應(yīng)用類型，以及它們可以給這些應(yīng)用帶來的附加值(關(guān)鍵點(diǎn)6.2：77.8%)。 綜上所述，部分建議已在修訂工作中采納。作者介紹了感興趣的狀態(tài)，以及通過生理數(shù)據(jù)識(shí)別情緒可以給科學(xué)界以及將從其應(yīng)用中受益的公眾帶來的預(yù)期收益。他們還介紹了使用的分類方法，并解釋了他們?nèi)绾螌⑹占臄?shù)據(jù)用于訓(xùn)練和測(cè)試。預(yù)處理和分類技術(shù)的選擇似乎獨(dú)立于驗(yàn)證過程。 未來的工作應(yīng)該提供更多關(guān)于EEG信號(hào)(和分類中使用的特征)如何根據(jù)感興趣的狀態(tài)而變化的信息，因?yàn)樗赡軙?huì)影響結(jié)果的呈現(xiàn)。作者應(yīng)該更經(jīng)常地展示使用EEG信號(hào)(和所選擇的設(shè)備)相對(duì)于其他生理測(cè)量的優(yōu)勢(shì)，并努力最小化混雜因素的存在。偽跡消除技術(shù)的使用不應(yīng)取代對(duì)所收集信號(hào)的驗(yàn)證。應(yīng)提供更多關(guān)于用于分類方法的不同參數(shù)的信息，以增加工作的可再現(xiàn)性和可復(fù)制性，并增加不同工作之間的比較。如果您對(duì)腦電機(jī)器學(xué)習(xí)等數(shù)據(jù)處理感興趣，歡迎瀏覽思影科技課程及服務(wù)（可添加微信號(hào)siyingyxf或18983979082咨詢）：第三屆腦電機(jī)器學(xué)習(xí)數(shù)據(jù)處理班（上海，6.25-30） 第十四屆腦電數(shù)據(jù)處理入門班（南京，5.10-15） 第二十七屆腦電數(shù)據(jù)處理中級(jí)班（南京，6.1-6.6) 第十二屆近紅外腦功能數(shù)據(jù)處理班（上海，6.15-20) 第九屆腦電信號(hào)數(shù)據(jù)處理提高班（上海，7.8-13) 數(shù)據(jù)處理業(yè)務(wù)介紹：
思影科技近紅外腦功能數(shù)據(jù)處理服務(wù) 近年來，基于EEG信號(hào)的情感識(shí)別受到了廣泛關(guān)注。為了使用EEG信號(hào)識(shí)別情緒，我們需要執(zhí)行以下步驟(見圖5): iv)分析所得數(shù)據(jù)并提取相關(guān)特征； v)基于訓(xùn)練集并使用計(jì)算的特征訓(xùn)練分類器，從而解釋原始腦信號(hào)。
圖 5 使用EEG進(jìn)行情緒識(shí)別的過程。 我們根據(jù)以下標(biāo)準(zhǔn)對(duì)滿足14個(gè)關(guān)鍵點(diǎn)中的9個(gè)的63項(xiàng)研究工作進(jìn)行了比較： 受試者、刺激(和刺激的持續(xù)時(shí)間)、要激發(fā)的情緒、EEG設(shè)備(具有采樣頻率)、電極位置、偽跡過濾、提取的EEG特征、特征提取方法、使用的分類器、離線與在線訓(xùn)練/測(cè)試、用戶相關(guān)或用戶獨(dú)立的數(shù)據(jù)，以及最終實(shí)現(xiàn)的準(zhǔn)確性。 在下面的段落中，我們給出了考慮到所用刺激的類型和相應(yīng)的持續(xù)時(shí)間、受試者的數(shù)量、他們的性別以及最終要識(shí)別的情緒而進(jìn)行的分析(見表3)。表 3 考慮測(cè)試協(xié)議階段的工作分析
每篇文獻(xiàn)中使用的受試者數(shù)量差異很大，從1個(gè)受試者到161個(gè)受試者，中位數(shù)只有15個(gè)受試者。當(dāng)參與者人數(shù)如此之少時(shí)，很難驗(yàn)證所提供的數(shù)據(jù)和結(jié)果的準(zhǔn)確性和意義。很明顯，大多數(shù)工作沒有使用統(tǒng)計(jì)上顯著數(shù)量的參與者來提供良好水平的實(shí)驗(yàn)可靠性和有效性，47%的工作每篇使用不到15名受試者進(jìn)行研究，只有約27%的工作使用至少30名受試者。關(guān)于參與者的性別，在24%的工作中被忽略了。因?yàn)槟行院团钥赡軙?huì)以不同的方式感知情感刺激，所以平衡每個(gè)性別的受試者數(shù)量是很重要的。只有23%的工作滿足這一點(diǎn)。少數(shù)工作只關(guān)注一種性別：沒有一項(xiàng)工作只使用女性，而7%的工作只使用男性。剩下的工作，主要使用了不平衡數(shù)量的受試者，樣本中男性多于女性(68%)。 情緒誘導(dǎo)有兩種方法：主體誘導(dǎo)和事件誘導(dǎo)。在第一種情況下，情緒可以通過要求參與者記住他們生活中過去的情緒事件或表現(xiàn)得好像他們感受到了某種特定的情緒來產(chǎn)生。在第二種情況下，可以使用不同的形式，包括視覺、聽覺、觸覺或氣味刺激。這些情緒刺激通常被選擇來引起期望的喚醒水平和效價(jià)(或基本情緒)。情緒誘導(dǎo)受目標(biāo)情緒的復(fù)雜性和數(shù)量的影響。 通過利用受試者的自我評(píng)價(jià)或使用標(biāo)準(zhǔn)刺激集，如：國(guó)際情感圖片系統(tǒng)(International Affective Picture System, IAPS)和Geneva情感圖片數(shù)據(jù)庫(kù)(Geneva Affective PicturE Database, GAPED)用于圖像刺激，國(guó)際情感數(shù)字化聲音系統(tǒng)International Affective Digitized Sound System, IADS)用于聲音刺激，可以確保由刺激引起的情緒狀態(tài)的基本事實(shí)。情感現(xiàn)象的持續(xù)時(shí)間可以用來定義時(shí)間類別，從“完全成熟的情感”(持續(xù)幾秒或幾分鐘)到特征，如果不是一生，也可以持續(xù)幾年。 近26%的工作使用圖像作為刺激。他們中的大多數(shù)人(56.3%)使用來自IAPS的圖像，12.5%來自面部表情圖片(Pictures of Facial Affect, POFA)，6.25%來自GAPED，6.25%來自Ekman圖片集，另外6.25%來自中國(guó)情感圖片系統(tǒng)(Chinese Affective Picture System, CAPS)。其余的研究不提供關(guān)于圖像來源的信息。刺激呈現(xiàn)的平均持續(xù)時(shí)間為11.97秒，在1.5到48秒之間變化。 在使用視頻作為刺激的23.8%的工作中，大多數(shù)沒有提供關(guān)于視頻來源的信息(93.33%)，而其余的使用斯坦福大學(xué)的斯坦福情感剪輯。關(guān)于刺激的持續(xù)時(shí)間，在40%的工作中，每個(gè)視頻沒有固定的時(shí)間(從0.5秒到5分鐘不等)。提供持續(xù)時(shí)間信息的研究平均持續(xù)時(shí)間為171.6秒，最短持續(xù)時(shí)間為30秒，最長(zhǎng)持續(xù)時(shí)間為288秒。 有17.5%的工作使用音樂作為刺激，18%的工作使用IADS，其余的不提供關(guān)于來源的信息(82%)。平均持續(xù)時(shí)間為57.1秒，從15秒到180秒不等。 相當(dāng)一部分工作使用了現(xiàn)有的數(shù)據(jù)集，這些數(shù)據(jù)集提供了用戶在接觸刺激后的生理數(shù)據(jù)和情感評(píng)估信息(22.2%)。大多數(shù)人使用數(shù)據(jù)集進(jìn)行情緒分析，使用EEG、生理和視頻信號(hào)，其余人使用Mahnob HCI數(shù)據(jù)集。 剩下的工作使用了受試者自己的記憶(時(shí)長(zhǎng)未報(bào)告)、俄羅斯方塊游戲(5分鐘)、表演動(dòng)作(8分鐘)、氣味(8秒)、現(xiàn)場(chǎng)表演(時(shí)長(zhǎng)未提供)、IAPS和音樂視頻(60秒)、音樂視頻(1到2分鐘)，最后是音樂GAPED 2分鐘)。 大約46%的工作試圖識(shí)別基本情緒，最常見的情緒是悲傷/悲傷(62.1%)、快樂/幸福(48.3%)、憤怒/憤怒(44.8%)、恐懼(44.8%)、快樂/喜悅(27.6%)、驚訝(27.6%)、厭惡(24.1%)、愉快(20.1%)和中性(13.8%)。 在大約30%的研究中發(fā)現(xiàn)了效價(jià)(Valence)和喚醒，其中三個(gè)研究還發(fā)現(xiàn)了控制或支配維度。其他情緒狀態(tài)存在于其余作品中，如積極和消極(29.4%)、積極、消極和中性(17.6%)、平靜-中性和消極興奮(11.8%)、平靜、積極興奮和消極興奮(11.8%)以及喜歡/不喜歡(11.8%)。注意，多項(xiàng)研究一開始都有一大套情緒，但由于取得的效果不佳，最后都淪為只有一兩種情緒。 由于設(shè)置EEG設(shè)備所需的時(shí)間、佩戴該設(shè)備的用戶的舒適度以及要處理的功能數(shù)量，所使用的電極數(shù)量(以及設(shè)備)起著主導(dǎo)作用。出于這些原因，理想情況下，應(yīng)該減少電極的數(shù)量。然而，正如我們將在下面的段落中介紹的，大多數(shù)當(dāng)前的工作仍然需要相對(duì)大量的電極和昂貴的臨床設(shè)備(見表4)。
有17個(gè)不同的EEG設(shè)備在審查工作中使用，提供了這一信息。大多數(shù)是商業(yè)性的，只有一個(gè)是由工作的作者開發(fā)的。使用最多的是Biosemi Activity Two (37.1%)（直接點(diǎn)擊即可了解）： Emotiv無線耳機(jī)5(16.1%)、Neuroscan公司的EEG模塊6(14.5%)和g . Mobilab 7(4.8%)。在這些設(shè)備中，最便攜、最易于使用的是Emotiv無線耳機(jī)。一項(xiàng)工作沒有提供關(guān)于所用設(shè)備的信息，另一項(xiàng)工作指出了所用的設(shè)備，但沒有說明所用的采樣率。
對(duì)于其余部分，最常用的采樣頻率為512Hz(21.3%)、256Hz(19.7%)和500Hz(13.1%)。考慮到最常用的設(shè)備，Biosemi Active Two用于收集采樣頻率為512Hz(56.5%)、256Hz(17.4%)、1024Hz(17.4%)和2048Hz(8.7%)的EEG信號(hào)；128Hz(56.6%)和2048Hz(44.4%)的Emotiv移動(dòng)實(shí)驗(yàn)室總是以256Hz的采樣頻率使用；最后使用了神經(jīng)掃描公司的EEG模塊，采樣頻率為500Hz。 大部分工作提供了關(guān)于所用電極及其位置的信息。然而，11.1%的工作根本沒有提供任何關(guān)于定位的信息，而只有3.17%的工作沒有提供用于收集EEG信號(hào)的電極數(shù)量。對(duì)于不顯示電極位置信息，但顯示電極數(shù)量的工作，從14個(gè)電極到64個(gè)電極不等，平均為52個(gè)電極。10-20系統(tǒng)(也稱為IS)應(yīng)用于32.14%的工作，最小電極數(shù)為1，最多64，平均41個(gè)電極。10-10系統(tǒng)應(yīng)用于5.4%的工作，總是有64個(gè)電極。從所有標(biāo)明所用電極數(shù)量和每個(gè)電極位置的工作來看，平均值為14個(gè)，范圍從1到32。 在所有的工作中，使用了覆蓋整個(gè)頭皮的69種不同的電極(見圖6)。FTC1、FTC2、TCP1和TCP2沒有出現(xiàn)在圖像中，但在審查的工作中使用過(各不到3%)。
圖6。10-10系統(tǒng)的電極定位。顏色信息基于我們收集的值：紅色表示電極在75%以上的工作中使用，橙色在50%到75%之間，黃色在25%到50%之間，綠色不到25%。 例外情況是FP1/FP2和O1/O2位置。由于在工作中使用了兩個(gè)術(shù)語(yǔ)，我們決定保留表格中的原始術(shù)語(yǔ)，并總結(jié)每對(duì)新舊術(shù)語(yǔ)的出現(xiàn)情況，僅供評(píng)估之用。最常用的是F4(82.9%)、F3(77.14%)、T7(65.7%)、FP1(65.7%)、FP2(60%)、T8(60%)、F7(60%)、F8(60%)、O1(54.3%)、P7(54.3%)、P8(51.4%)、O2(51.4%)、FC5(40%)、FC6(40%)、C4(40%)、C3(34.3%)，AF代表前額，C代表中央，F(xiàn)代表額，F(xiàn)C代表額中央，F(xiàn)P代表額頂部，F(xiàn)T代表額顳部，O代表枕部，P代表頂部，T代表顳部，z代表零。 我們可以看到，最常用的電極是放置在額葉的電極(考慮到紅色和橙色代表的電極)，這與將情緒和額葉聯(lián)系起來的發(fā)現(xiàn)是一致的。 雖然作者試圖通過向參與者提供他們的姿勢(shì)信息來避免收集的EEG信號(hào)中的偽跡(如眨眼)，但它們?nèi)匀豢赡馨l(fā)生。在表5中，我們可以看到24%的工作因?yàn)閰⑴c者相關(guān)的不同類型的偽跡而手動(dòng)刪除了一些數(shù)據(jù)。除了手動(dòng)移除這些信息的工作之外，還應(yīng)用了盲源分離(Blind Source Separation, BSS)(19.3%)和獨(dú)立分量分析(Independent Component Analysis, ICA)(8.8%)等方法來移除眼球運(yùn)動(dòng)、眨眼、肌肉、心臟和工頻干擾。大約30%的作品使用共同平均參考(Common Average Reference, CAR)(58.9%)、拉普拉斯(23.6%)或平均均值參考(Average Mean Reference, AMR)(5.9%)等方法重新參考電極。 表5偽跡過濾階段的工作分析
由于并非所有收集到的頻率都對(duì)情感識(shí)別問題有用，大約84%的工作使用了一些帶通濾波器。雖然所有工作都使用了24個(gè)頻率范圍，但最常用的是4-45Hz(33.3%)，1-100Hz(6.25%)，8-30Hz(6.25%)，2-42Hz(6.25%)。陷波濾波器也應(yīng)用于16.58%的工作(主要是在50和60Hz)。最后，43.9%的工作對(duì)原始EEG信號(hào)進(jìn)行了降采樣：128Hz(52%)，206Hz(16%)，256Hz(12%)，512Hz(4%)，500Hz(4%)，300Hz(4%)，250Hz(4%)，32Hz(4%)。 5.4 特征提取 在下面的段落中，我們介紹了從EEG信號(hào)中提取的最常見的特征，以及用于執(zhí)行這些特征的方法(見表6)。 表 6 特征提取階段的工作分析
特征提?。航旗?Approximate Entropy, AE)、不對(duì)稱指數(shù)(Asymmetry Index, AI)、自回歸(Auto-Regressive, AR)、不對(duì)稱空間模式(Asymmetric Spatial Pattern, ASP)、互相關(guān)(Cross-Correlation, CC)、公共空間模式(Common Spatial Patterns, CSP)、微分不對(duì)稱(Differential Asymmetry, DASM)、微分熵(Differential Entropy, DE)、偏側(cè)化的不對(duì)稱(Asymmetry in respect of lateralization, DLAT)、(Asymmetry in respect of caudality, DCAU)、離散傅里葉變換(Discrete Fourier Transform, DFT)、離散小波變換(Discrete Wavelet Transform, DWT)、能量譜(Energy Spectrum, ES)、濾波器組公共空間模式(Filter Bank Common Spatial Pattern, FBCSP)、快速傅里葉變換(Fast Fourier Transform, FFT)、Grassberger和Procaccia (GP)、混合自適應(yīng)濾波(Hybrid Adaptive Filtering, HAF)、Higuchi分形維數(shù)(Higuchi Fractal Dimension, HFD)、高階交叉(Higher Order Crossings, HOC)、后期正電位(Late Positive Potential, LPP)、互信息(Mutual Information, MI)、最大相關(guān)最小冗余方法(Maximum Relevance Minimum Redundancy Method, MRMRM)、幅度平方相干估計(jì)(Magnitude Squared Coherence Estimate, MSCE)、非線性動(dòng)力學(xué)分析(Non-linear Dynamical Analysis, NDA)、Narrow-bad能量事件(Narrow-bad Energy Event, NEE)、功率譜密度(Power Spectral Density, PSD)、有理不對(duì)稱(Rational Asymmetry, RASM)、樣本熵(Sample Entropy, SE)、頻譜功率譜不對(duì)稱(Spectral Power Assymetry, SPA)、譜功率特征(Spectral Power Features, SPF)、短時(shí)傅里葉變換(Short-time Fourier Transform, STFT)、小波熵(Wavelet Entropy, WE)和小波變換(Wavelet Transform, WT)。 關(guān)于作者使用的EEG特征類型，大約10%的工作沒有提供任何信息，而其余的工作主要使用δ、θ、α、β和γ波段(89.4%)。其中近37%的人一起使用了所有的波段，而其余的人只選擇了其中的一些，如α、β、θ和γ(13.7%)、α和β(7.8%)、α、β和γ(7.8%)、δ、θ、α和β(3.92%)、α、β、γ(3.92%)以及其他組合。 使用的其余特征是事件相關(guān)去/同步(Event-Related De/Synchronizations, ERD/ERS)、事件相關(guān)電位(Event-Related Potentials, ERP)和固定頻率帶寬(例如，0.5-30 Hz、1-10 Hz、1-46 Hz和2-30 Hz)。 可以使用各種方法處理特征提取過程。在審查的工作中，使用了42種不同的方法。超過47.6%的工作使用了一種以上的方法，盡管最終只有一種被選為最佳方法。 最常用的方法是傅里葉變換，如短時(shí)傅里葉變換(Short-time Fourier Transform, STFT)或離散傅里葉變換(Discrete Fourier Transform, DFT))(25.4%)、統(tǒng)計(jì)(23.8%)、功率譜密度(Power Spectral Density, PSD)(22.2%)、小波變換(Wavelet Transform, WT)(19.1%)、熵，如近似熵(Approximate Entropy, AE)、微分熵(Differential Entropy, DE)、樣本熵(Sample Entropy, SE)或小波熵(Wavelet Entropy, WE)(15.9%)、高階交叉(Higher Order Crossings, HOC)(9.5%)、公共空間模式(Common Spatial Patterns, CSP)(7.9%)、分形維數(shù)(Fractal Dimensions, FD)(7.9%)、不對(duì)稱指數(shù)(Asymmetry Index, AI)(4.8%)。 在情感識(shí)別領(lǐng)域，我們有大量常用的分類器家族:貝葉斯、支持向量機(jī)、決策樹等等。在下面的段落中，我們展示了最常用的分類器、分類類型(離線與在線)，以及用于訓(xùn)練和測(cè)試分類器的數(shù)據(jù)類型(見表7)。我們記得情緒識(shí)別系統(tǒng)有一個(gè)訓(xùn)練階段，它應(yīng)該使用與測(cè)試階段不同的數(shù)據(jù)。由于工作之間存在大量的差異，因此很難對(duì)它們進(jìn)行比較，從而推斷出關(guān)于結(jié)果質(zhì)量的結(jié)論。因此，我們將不討論達(dá)到的精度。
分類器：k-近鄰(k-Nearest Neighbors, kNN)、線性判別分析(Linear Discriminant Analysis, LDA)、邏輯回歸(Logistic Regression, LR)、多類支持向量機(jī)(Multi-class Support Vector Machine, ML-SVM)、多層感知器反向傳播(Multi-Layer Percepton Back Propagation, MLP-BP)、樸素貝葉斯(Naive Bayes, NB)、概率神經(jīng)網(wǎng)絡(luò)(Probabilitic Neural Network, PNN)、二次判別分析(Quadratic Discriminant Analysis, QDA)、徑向基函數(shù)(Radial Basis Function, RBF)和支持向量機(jī)(Support Vector Machines, SVM) 結(jié)果：3類:正、負(fù)和中性；2類：陽(yáng)性和中性vs.陰性 由于大多數(shù)工作應(yīng)用了不止一個(gè)分類器，并且為識(shí)別器的最終配置只選擇了一個(gè)，所以我們的分析集中在最后一個(gè)分類器上。26個(gè)不同的分類器被選為最佳分類器。 在幾乎59%的情況下，使用了支持向量機(jī)(Support Vector Machines, SVM)，使用了不同的核：徑向基函數(shù)(29.7%)、線性(16.2%)、多項(xiàng)式(8.1%)、高斯(5.4%)和皮爾遜(2.7%)。其中8%的研究采用了自適應(yīng)SVM、多類支持向量機(jī)(Multi-class Support Vector Machine, ML-SVM)或最小二乘支持向量機(jī)(Least Squares Support Vector Machine, LS-SVM)等變體。使用支持向量機(jī)的工作中有29%沒有指定所使用的核函數(shù)。幾乎14%的工作選擇了k近鄰；有些工作沒有規(guī)定k的取值(44.4%)，而在其他工作中，k = 2到8不等。6.3%的作者使用了線性判別分析，3.2%的作者選擇了二次判別分析(Quadratic Discriminant Analysis, QDA)。最后，6.35%的作者(各占3.17%)選擇了樸素貝葉斯和多層感知器反向傳播。 EEG信號(hào)總是隨著時(shí)間改變其性質(zhì)。信號(hào)的這種非平穩(wěn)特性會(huì)導(dǎo)致使用特定生理數(shù)據(jù)建立的分類模型不能反映已經(jīng)發(fā)生在EEG信號(hào)中的變化。大多數(shù)分類方法都是基于數(shù)據(jù)來自平穩(wěn)分布的想法。因此，除非模型適應(yīng)于反映EEG信號(hào)中發(fā)生的變化，否則分類精度預(yù)計(jì)會(huì)隨著時(shí)間而降低。然而，90%的工作采用了離線分類方法，只有8%采用了在線分類(更適合實(shí)時(shí)場(chǎng)景)。一項(xiàng)工作同時(shí)應(yīng)用了在線和離線技術(shù)。 分類過程的另一個(gè)重要方面是分類器是否用依賴于用戶的數(shù)據(jù)訓(xùn)練。在依賴于用戶的數(shù)據(jù)的情況下，為每個(gè)用戶生成一個(gè)新的模型，并且測(cè)試步驟也用這個(gè)用戶數(shù)據(jù)來完成。通常，會(huì)獲得更好的結(jié)果，但代價(jià)是缺乏普遍性。在用戶獨(dú)立模型的情況下，多個(gè)用戶的數(shù)據(jù)用于訓(xùn)練和測(cè)試目的。這使得模型更容易應(yīng)用于新用戶，因?yàn)椴恍枰獎(jiǎng)?chuàng)建新模型。在審查的工作中，46.8%的工作使用獨(dú)立于用戶的數(shù)據(jù)，43.5%的工作使用依賴于用戶的數(shù)據(jù)。大約8%的工作使用兩種類型的模型訓(xùn)練的分類器。其余的工作沒有提供任何關(guān)于他們的數(shù)據(jù)是用戶依賴的還是用戶獨(dú)立的信息。 大多數(shù)工作提供了關(guān)于受試者數(shù)量及其性別的信息，用于收集EEG數(shù)據(jù)和驗(yàn)證工作。關(guān)于使用的受試者數(shù)量，很少有作者進(jìn)行了涉及統(tǒng)計(jì)顯著數(shù)量的參與者(30)的研究。此外，受試者的性別分布不公平，因?yàn)榇蠖鄶?shù)研究主要是在男性中進(jìn)行的。 作者主要采用圖像或視頻作為引發(fā)情緒的刺激。然而，只有在圖像的情況下，作者才使用眾所周知的數(shù)據(jù)集。此外，在要被識(shí)別的情緒集合中沒有一致意見，大多數(shù)工作旨在識(shí)別基本情緒(或它們的子集)，其余的集中在效價(jià)和喚醒水平上。當(dāng)要識(shí)別的情緒數(shù)量增加時(shí)，準(zhǔn)確性往往會(huì)降低。 收集數(shù)據(jù)的各種設(shè)備具有不同的采樣頻率，以及不同的電極組。對(duì)于必須使用的電極數(shù)量以及它們的位置，作者之間沒有共識(shí)。作者主要使用腦電波作為特征，并使用不同的方法提取它們。進(jìn)一步解釋所使用的特征與工作旨在識(shí)別情感之間的關(guān)系，將有助于理解所呈現(xiàn)的結(jié)果。 大多數(shù)工作應(yīng)用偽跡消除技術(shù)來提高采集信號(hào)的質(zhì)量。使用多個(gè)分類器，大量的作者訓(xùn)練不同的分類器并選擇最佳的一個(gè)。建議作者提供關(guān)于分類器參數(shù)的更多細(xì)節(jié)，并對(duì)預(yù)處理的EEG信號(hào)進(jìn)行手動(dòng)驗(yàn)證，以確保所應(yīng)用的技術(shù)足以去除存在的噪聲。 在這一節(jié)中，我們提出了一套最佳實(shí)踐建議，包括基于EEG的情緒識(shí)別器的適用性和組成步驟。為此，我們考慮了Brouwer等人的建議和我們?cè)诘?節(jié)中對(duì)他們每個(gè)關(guān)鍵點(diǎn)的分析，以及在第5節(jié)中描述的分析。l解釋使用EEG相對(duì)于其他生理測(cè)量的優(yōu)勢(shì)；l介紹了基于EGG的情感識(shí)別器在現(xiàn)實(shí)問題中的適用性，以及這些識(shí)別器在這些領(lǐng)域的應(yīng)用。l為了獲得有統(tǒng)計(jì)意義的結(jié)果，在研究中使用至少30名受試者。如果作者同時(shí)使用兩種性別的受試者，受試者的數(shù)量應(yīng)該平衡；l收集除EEG信號(hào)之外的信息(例如，主觀評(píng)估、驗(yàn)證主觀評(píng)估的面部表情、其他生理測(cè)量)以用作基礎(chǔ)事實(shí)。l確保用于向受試者呈現(xiàn)刺激的時(shí)間足以引發(fā)情緒反應(yīng)，但不要太長(zhǎng)以至于對(duì)刺激產(chǎn)生習(xí)慣性反應(yīng)(這可能會(huì)影響受試者的自我評(píng)估)；l盡可能使用現(xiàn)有數(shù)據(jù)集的刺激，如IAPS、IADS或DEAP；l呈現(xiàn)要識(shí)別的一組情緒，以及它們應(yīng)該如何隨著所收集的EEG信號(hào)而變化；l只要有可能，就使用文獻(xiàn)中已經(jīng)介紹過的一組情緒，進(jìn)行可比較的研究(例如， Ekman、Plutchik)；l以高水平的舒適度和說明設(shè)計(jì)研究(例如，提供圖像之間的放松時(shí)間、良好的照明和溫度；指示用戶在圖像可視化期間避免移動(dòng)/閃爍)。l描述用于收集生理信號(hào)的設(shè)備及其采樣率；l識(shí)別定位系統(tǒng)和用于收集EEG信號(hào)的電極位置。l應(yīng)該進(jìn)行偽跡去除以去除已知的偽跡(EOG、肌肉等)。即使采用了適當(dāng)?shù)脑O(shè)計(jì)，也可能出現(xiàn)這種情況；l驗(yàn)證可視化刺激時(shí)信號(hào)中存在的變化是由于成功激發(fā)情緒還是由于混淆而發(fā)生的，如果是，手動(dòng)評(píng)估信號(hào)以消除它們。l如果作者沒有使用從所有電極收集的數(shù)據(jù)，請(qǐng)指出使用了哪些電極；l供關(guān)于用于提取特征的計(jì)算方法的信息，但更重要的是，詳細(xì)說明特征應(yīng)該如何與要識(shí)別的情緒相關(guān)聯(lián)，即，如果給定的情緒被成功引發(fā)并且信號(hào)沒有噪聲，該方法的預(yù)期行為是什么。l提供所使用的分類器的詳細(xì)信息，特別是所使用的分類器和用于訓(xùn)練分類器的參數(shù)(例如，許多作者只指出了SVM的使用，但沒有指出所使用的核)；l隨著時(shí)間的推移，在不同的階段中收集每個(gè)受試者的數(shù)據(jù)，以避免訓(xùn)練和測(cè)試數(shù)據(jù)之間的依賴性；l顯示有關(guān)識(shí)別器類型的信息：離線或在線；l確定系統(tǒng)是依賴于用戶還是獨(dú)立的，因?yàn)樗鼈冎g的結(jié)果有很大差異(依賴于用戶的識(shí)別器通常會(huì)獲得更好的精度)；l保證預(yù)處理和分類程序獨(dú)立于驗(yàn)證數(shù)據(jù)；l解釋用于評(píng)估識(shí)別器性能的指標(biāo)。如果識(shí)別出一種以上的情緒，請(qǐng)?zhí)峁﹤€(gè)人表現(xiàn)指標(biāo)(理想情況下，一個(gè)混淆矩陣)，而不僅僅是最終平均值；l考慮到特征和使用中的神經(jīng)生理過程之間的現(xiàn)有關(guān)系，介紹并解釋結(jié)果(例如，給定的特征或一組特征被認(rèn)為可以通過一組電極來更好地識(shí)別特定的情緒)。7 結(jié)論 本文中，我們分析了2009年至2016年的工作，這些工作提出了通過EEG信號(hào)識(shí)別情緒的新方法。我們的分析基于兩個(gè)角度：一個(gè)更一般的角度考慮了一組避免該研究領(lǐng)域常見陷阱的建議，另一個(gè)更具體的角度考慮了從 作為分析的結(jié)果，并結(jié)合Brouwer的建議，我們得出了一套最佳實(shí)踐建議，以幫助研究人員制作經(jīng)過良好驗(yàn)證的高質(zhì)量工作，這些工作能夠重現(xiàn)和復(fù)制。我們希望這一分析將對(duì)研究界有用，特別是對(duì)那些進(jìn)入這一研究領(lǐng)域的人。
|
