作 者:吳啟越,袁銀龍 作者單位:無錫太湖學(xué)院智能裝備工程學(xué)院(吳啟越);南通大學(xué)電氣與自動(dòng)化學(xué)院(袁銀龍) 作者簡介:吳啟越,助教,主要從事模式識(shí)別、深度學(xué)習(xí)等相關(guān)研究。 通信作者: 袁銀龍 基金項(xiàng)目:江蘇省高校自然科學(xué)基金資助項(xiàng)目(20KJB520008) 目的 為了提高使用心電信號(hào)特征參數(shù)進(jìn)行情緒識(shí)別的準(zhǔn)確率與效率,提出一種基于改進(jìn)核主成分分析的遺傳算法:優(yōu)化遺傳算法反向傳播(improved kernel principal component analysis-genetic algorithm-back propagation,IKPCA-GA-BP)神經(jīng)網(wǎng)絡(luò)。方法 首先,以心電傳感器記錄的數(shù)據(jù)為試驗(yàn)樣本,利用自適應(yīng)選取γ值的改進(jìn)核主成分分析算法,對二進(jìn)樣條小波變換提取的多組特征進(jìn)行數(shù)據(jù)降維和數(shù)據(jù)重構(gòu),得到綜合變量;其次,建立反向傳播神經(jīng)網(wǎng)絡(luò)模型,并利用遺傳算法優(yōu)化網(wǎng)絡(luò)的初始權(quán)值和偏置值;最后,通過改變模型訓(xùn)練樣本與測試樣本比例,對比分析IKPCA-GA-BP算法與傳統(tǒng)識(shí)別算法的情緒分類效果。結(jié)果 該算法在保證準(zhǔn)確率達(dá)到96%的前提下,可在1 s左右識(shí)別相關(guān)情緒。另外,對于悲傷情緒的識(shí)別,大多數(shù)模型表現(xiàn)得并不理想,而IKPCA-GA-BP算法可實(shí)現(xiàn)接近100%的準(zhǔn)確率。結(jié)論 心電信號(hào)中,P波、QRS波群和T波包含許多有助于情緒識(shí)別的信息(例如R-R間期、P波振幅等),但這些信息并不能直接用于試驗(yàn)分析,需要通過有效的組合與處理才能發(fā)揮最大作用。此外,在高興、輕松、悲傷和恐懼這四種情緒中,多數(shù)識(shí)別算法通常較難準(zhǔn)確辨別悲傷情緒。 心電信號(hào);自適應(yīng)選取γ值;核主成分分析;小波變換;情緒識(shí)別 吳啟越,袁銀龍. 基于IKPCA-GA-BP算法的心電情緒識(shí)別研究[J]. 實(shí)用心電學(xué)雜志, 2024, 33(5): 491-498. DOI: 10.13308/j.issn.2095-9354.2024.05.012 情緒在人類生活中扮演著極其重要的角色,通過對情緒的研究可以知曉人體某方面的健康狀況,例如抑郁癥、躁動(dòng)癥的診斷就是依賴于對情緒的監(jiān)測。世界衛(wèi)生組織最新的報(bào)告顯示,目前抑郁癥已經(jīng)成為全球第四大疾病負(fù)擔(dān),患者已超過3億,也是導(dǎo)致患者功能殘疾的首要原因。在中國,抑郁癥的終生患病率達(dá)6.9%,患者將終生依賴藥物才能維持正常生活。因此,通過情緒識(shí)別提前預(yù)知身體狀況具有重大的現(xiàn)實(shí)意義。 從1997年起,國外已有一系列的實(shí)驗(yàn)證明,從人類特定的生理信號(hào)中提取某些有效的特征組合進(jìn)行情緒識(shí)別是可行的。心電信號(hào)作為人體重要的生理信號(hào)之一,可以直觀地反映心臟電活動(dòng)狀態(tài),與自主神經(jīng)系統(tǒng)密切相關(guān),而每一種情緒狀態(tài)又有特定的自主神經(jīng)反映模式與之對應(yīng),因此心電信號(hào)也成為分析和判別情緒的主要依據(jù)之一。目前,國內(nèi)外在提取并分析心電信號(hào)特征用于情緒識(shí)別方面已取得一定成果。但是提取過多的特征參數(shù)會(huì)增加識(shí)別算法的復(fù)雜度,降低識(shí)別效率。 遺傳算法-反向傳播(genetic algorithm-back propagation,GA-BP)神經(jīng)網(wǎng)絡(luò)常用于數(shù)據(jù)分類,并表現(xiàn)出不錯(cuò)的效果,如文獻(xiàn)中的研究使用遺傳算法優(yōu)化后的神經(jīng)網(wǎng)絡(luò),識(shí)別速度與精度都有所提高。然而遺傳算法優(yōu)化反向傳播神經(jīng)網(wǎng)絡(luò)的前提是訓(xùn)練樣本維度不能太高,如果維度太高而樣本數(shù)又不足,不但準(zhǔn)確率無法提高,計(jì)算量也會(huì)大大增加。針對上述兩個(gè)問題,本研究使用核主成分分析(kernel principal component analysis,KPCA)算法進(jìn)行特征向量降維,該算法既能降低模型復(fù)雜度,又能提高算法識(shí)別效率。此外,針對KPCA算法中核函數(shù)的γ參數(shù)依據(jù)經(jīng)驗(yàn)值選取而導(dǎo)致降維效果差的問題,本研究提出一種自適應(yīng)選取γ值的方法來改進(jìn)KPCA算法,即改進(jìn)的核主成分分析遺傳算法:優(yōu)化反向傳播(IKPCA-GA-BP)神經(jīng)網(wǎng)絡(luò)。 1 心電信號(hào)采集與預(yù)處理 1.1 心電信號(hào)采集 外界環(huán)境刺激能夠使人的情緒發(fā)生變化,例如刺耳的聲音會(huì)使人受到驚嚇、感到煩躁;搞笑的視頻會(huì)使人感到輕松愉悅;不公的待遇會(huì)使人感到憤怒等。KIM等曾使用音樂作為情緒誘發(fā)因素,采集到被試者的四種生理信號(hào),并完成試驗(yàn)分析。在短視頻流行的今天,觀看視頻自然成為情緒誘發(fā)的首選方法。本研究采用的情緒誘發(fā)試驗(yàn)流程如圖1所示。 本研究精選不同類型視頻(搞笑視頻、恐怖視頻、風(fēng)景視頻以及災(zāi)難視頻)共4個(gè),每個(gè)視頻時(shí)長1 min。每輪測試時(shí)長3 min,其中1 min用來觀看視頻,剩余2 min用來平復(fù)情緒。5名受試人員均為無心臟疾病的在校大學(xué)生,在測試中,受試者全程佩戴心電信號(hào)傳感器,完成心電信號(hào)采集。另外,為了保證情緒誘發(fā)成功,受試者每觀看完一個(gè)視頻,填寫一次情緒狀態(tài),共收集了20組心電信號(hào)數(shù)據(jù)(每組心電信號(hào)持續(xù)60 s,總計(jì)6 000個(gè)采樣點(diǎn))。 本研究使用的心電傳感器型號(hào)為Keyes-AD-8232,采用三導(dǎo)聯(lián)監(jiān)測形式(RA、LA和LL),采樣頻率為100 Hz,額定電壓為3.3 V。此外,為達(dá)到最佳共模抑制性能,傳感器自身配置一個(gè)0.5 Hz的高通濾波器和一個(gè)40 Hz的低通濾波器。 1.2 心電信號(hào)去噪處理 心電信號(hào)由P波、QRS波群和T波組成,記錄了一段時(shí)間內(nèi)心臟的電活動(dòng)狀態(tài)。一個(gè)周期心電信號(hào)的波形如圖2所示。 心電信號(hào)是一種非常微弱的生理信號(hào),其電壓幅度只有0.05~0.5 mV,頻率主要集中在0.05~100 Hz。在采集心電信號(hào)的過程中容易受到外界因素的影響,使得到的信號(hào)摻雜許多噪聲,噪聲可分為基線漂移、肌電干擾、運(yùn)動(dòng)干擾和工頻干擾。這些噪聲會(huì)影響試驗(yàn)判別的準(zhǔn)確性,因此在分析心電信號(hào)之前必須進(jìn)行除噪。盡管許多文獻(xiàn)提供了有效的心電信號(hào)去噪方法,但是小波變換方法檢測精度更高,是去除心電信號(hào)中各類噪聲的首選方法。研究表明,Db4小波(Daubechies4)與心電信號(hào)相關(guān)系數(shù)最大,是處理心電信號(hào)的最佳小波基函數(shù)。圖3是使用Db4小波變換濾波處理前后的心電信號(hào),可以看出經(jīng)處理后噪聲被有效去除。 2 心電信號(hào)特征值提取與特征數(shù)據(jù)降維 2.1 心電信號(hào)特征值提取 對于一般信號(hào)而言,采用傅里葉變換即可取得良好的處理結(jié)果,但該方法僅在單獨(dú)的時(shí)域或頻域上對信號(hào)特征進(jìn)行表征。而對于心電信號(hào)的分析,找出P波、QRS波群和T波持續(xù)的時(shí)間非常重要,因此傅里葉變換不適用于該類信號(hào)的處理。本研究采用二進(jìn)樣條小波變換尋找心電信號(hào)的關(guān)鍵點(diǎn)位置。 1) 設(shè)計(jì)二進(jìn)樣條小波濾波器。該濾波器由一個(gè)高通濾波器和一個(gè)低通濾波器組成,濾波器的系數(shù)分別為(1/4,3/4,3/4,1/4)和(-1/4,-3/4,3/4,1/4)。分別求各個(gè)尺度的近似系數(shù)與細(xì)節(jié)系數(shù)。 2) 提取極大、極小值對。遍歷各個(gè)尺度下細(xì)節(jié)系數(shù)大(?。┯?的點(diǎn),找到比前一個(gè)點(diǎn)值大(?。┑狞c(diǎn),該點(diǎn)即為極大(小)值點(diǎn)。各個(gè)尺度下細(xì)節(jié)系數(shù)的極大、極小模值圖如圖4所示。 3) 選取合適的閾值定位QRS波群、P波及T波。在一層細(xì)節(jié)系數(shù)中,R波細(xì)節(jié)系數(shù)的絕對值明顯大于其他信號(hào)點(diǎn),因此只要設(shè)置合適的閾值就能準(zhǔn)確找到R波細(xì)節(jié)系數(shù)極大、極小值對,兩極值的過零點(diǎn)即R波位置。同理,定位得到P波和T波的位置,不同的是,定位P波選擇二層細(xì)節(jié)系數(shù),定位T波則選擇四層細(xì)節(jié)系數(shù)。另外,由于信號(hào)奇異點(diǎn)與極大值、極小值過零點(diǎn)之間有固定的時(shí)移量[(2j-1)/2,j表示細(xì)節(jié)系數(shù)的層數(shù)],所以需要用該時(shí)移量修正得到正確的結(jié)果。圖5是心電信號(hào)上各波位置定位圖。 在圖5(掃描OSID碼可查閱彩圖)中,帶紫色星號(hào)的紅線表示R波位置,其左邊的一條紅線表示P波位置,其右邊的則表示T波位置。離星號(hào)紅線最近的兩條黑線從左到右分別表示Q波和S波位置,其余黑線表示各個(gè)波的起始位置與終止位置。 4) 提取特征向量。根據(jù)QRS波群、P波及T波位置,一共提取了9個(gè)特征向量:RR間期、PR間期、QT間期、ST間期、PT間期、PR幅值、RP幅值、P波幅值和T波幅值。 2.2 改進(jìn)的KPCA算法實(shí)現(xiàn)特征數(shù)據(jù)降維 本研究提取的特征值較多,且可能包含許多冗余信息。這對于神經(jīng)網(wǎng)絡(luò)訓(xùn)練來說,不僅不能提高識(shí)別準(zhǔn)確率,還會(huì)使運(yùn)算量加大,從而降低運(yùn)行效率,因此,在將數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)之前需進(jìn)行數(shù)據(jù)降維。主成分分析算法是一種常用的數(shù)據(jù)降維方法,但對于心電信號(hào)這種非線性數(shù)據(jù)的處理效果并不理想。而本研究使用的KPCA算法是一種專門針對非線性數(shù)據(jù)的降維方法,并且試驗(yàn)證明其處理心電信號(hào)的表現(xiàn)優(yōu)越。 使用KPCA算法時(shí),核矩陣元素Ka,b=k(xa,xb)=exp[-γ(x2a+x2b)]中,γ值一般依據(jù)經(jīng)驗(yàn)值而定,然而γ值的大小不僅影響第一主成分的貢獻(xiàn)率大小,而且影響數(shù)據(jù)的分類效果。在試驗(yàn)過程中,γ值越小,第一主成分的貢獻(xiàn)率就越大,總貢獻(xiàn)率達(dá)到96%所需主成分個(gè)數(shù)越少,但是降維后的數(shù)據(jù)不論是組內(nèi)(同一情緒)差距還是組間(不同情緒)差距都會(huì)減小,不利于之后的分類識(shí)別。所以對于不同的待處理數(shù)據(jù),γ的經(jīng)驗(yàn)值并不完全適用。針對這個(gè)問題,本研究提出一種γ自適應(yīng)選取方法來改進(jìn)KPCA算法,使其能更加有效地進(jìn)行數(shù)據(jù)降維。 確定優(yōu)化目標(biāo)函數(shù):設(shè)四種情緒樣本經(jīng)過數(shù)據(jù)降維后分別得到矩陣AN×K、BN×K、CN×K和DN×K,其中N表示樣本個(gè)數(shù),K表示數(shù)據(jù)重構(gòu)后的特征維度。計(jì)算每兩個(gè)樣本矩陣的歐氏距離之和: 當(dāng)矩陣m與n相同時(shí),函數(shù)表示組內(nèi)差異;m與n不同時(shí),函數(shù)則表示組間差異。那么情緒A的組內(nèi)差異與組間差異比值 同理可得: 這些比值越小,KPCA數(shù)據(jù)重構(gòu)后,不同類型之間的差距比同一類型之間的差距就越大,也越有利于之后的識(shí)別與分類。定義目標(biāo)函數(shù)L為 L=min{(a+b+c+d)/4}(2) 選取γ值的流程圖如圖6所示。 具體優(yōu)化步驟:① 根據(jù)主成分貢獻(xiàn)率粗略初始化γ值的取值范圍為0.001~0.1。② 確定當(dāng)前最佳γ值,第一次循環(huán)設(shè)γ=0.1。③ 進(jìn)行KPCA數(shù)據(jù)降維。④ 用降維后的數(shù)據(jù)計(jì)算目標(biāo)函數(shù)值。⑤ 判斷是否滿足條件1和條件2。定義條件1:當(dāng)前γ值計(jì)算得到的目標(biāo)函數(shù)值小于最佳γ值計(jì)算得到的目標(biāo)函數(shù)值,并且 定義條件2:循環(huán)次數(shù)是否達(dá)到最大值。若滿足條件1,更新當(dāng)前最佳γ值;若同時(shí)不滿足條件1和條件2,表明優(yōu)化還未結(jié)束,調(diào)整γ值重復(fù)步驟③、④、⑤,直至滿足條件2,輸出最佳γ值,至此優(yōu)化結(jié)束。 3 識(shí)別算法 鑒于反向傳播神經(jīng)網(wǎng)絡(luò)參數(shù)待優(yōu)化問題以及遺傳算法優(yōu)化參數(shù)能力,本研究使用遺傳算法優(yōu)化網(wǎng)絡(luò)初始權(quán)值與偏置值。具體模型構(gòu)建如圖7所示。 將IKPCA算法優(yōu)化后的特征參數(shù)作為反向傳播神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù),通過遺傳算法對反向傳播神經(jīng)網(wǎng)絡(luò)初始權(quán)值與偏置值進(jìn)行全局尋優(yōu),最終實(shí)現(xiàn)模型訓(xùn)練,完成情緒四分類。 4 試驗(yàn)結(jié)果與分析 4.1 試驗(yàn)評估方法 文獻(xiàn)提出了許多有效措施,用于評價(jià)心電信號(hào)分類結(jié)果。執(zhí)行分類任務(wù)時(shí),根據(jù)分類目標(biāo)的正例、負(fù)例和預(yù)測結(jié)果,得到一個(gè)混淆矩陣如表1所示。 表1中,TP(True Positive)表示對正例樣本的正確預(yù)測次數(shù),TN(True Negative)表示對負(fù)例樣本的正確預(yù)測次數(shù),F(xiàn)N(False Negative)表示對正例樣本的錯(cuò)誤預(yù)測次數(shù),F(xiàn)P(False Positive)表示對負(fù)例樣本的錯(cuò)誤預(yù)測次數(shù)?;诒狙芯刻接懾?fù)面情緒的初衷,將恐懼與悲傷情緒劃分為正例,高興與輕松則歸類為負(fù)例,使用準(zhǔn)確率、精確率、召回率和F1指標(biāo)評價(jià)情緒分類模型的性能。 4.2 結(jié)果與分析 本研究討論情緒四分類問題,每種情緒各提供80組手工特征樣本(每人的該種情緒提供16組手工特征),總計(jì)5×4×16=320組。試驗(yàn)一共分為三部分:第一部分是首先將320組特征數(shù)據(jù)(9維特征向量)按照一定比例分為訓(xùn)練集和測試集,然后直接將訓(xùn)練集作為網(wǎng)絡(luò)輸入,分別進(jìn)行反向傳播神經(jīng)網(wǎng)絡(luò)和GA-BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練,得到情緒分類模型,并記錄模型訓(xùn)練所需時(shí)間,最后用測試集測試分類模型的準(zhǔn)確率;第二部分使用主成分分析算法對原320組特征數(shù)據(jù)進(jìn)行降維處理,再將降維后的數(shù)據(jù)按照一定比例隨機(jī)分為訓(xùn)練集和測試集,其余步驟同第一部分;第三部分則使用IKPCA算法(最佳γ值計(jì)算)對原320組特征數(shù)據(jù)進(jìn)行降維和重構(gòu),其余步驟同上。 在第三部分中,優(yōu)化后的γ值為0.042,此時(shí),KPCA方差貢獻(xiàn)度總和統(tǒng)計(jì)如表2所示。另外,該表還記錄了主成分分析算法主成分貢獻(xiàn)度總和。 由表2可知,KPCA的前3個(gè)主成分累計(jì)方差貢獻(xiàn)率達(dá)96%以上,且第四主成分的貢獻(xiàn)率僅0.82%,因此本研究選擇前3個(gè)主成分作為神經(jīng)網(wǎng)絡(luò)輸入。 為了體現(xiàn)不同γ值的數(shù)據(jù)降維效果不同,將原數(shù)據(jù)與該算法處理后的數(shù)據(jù)進(jìn)行對比。由于最多僅能呈現(xiàn)三維圖像,原始數(shù)據(jù)與重構(gòu)后的數(shù)據(jù)僅選取前3個(gè)特征向量表示,效果如圖8所示。 在圖8中,紅色、藍(lán)色、綠色和黑色分別表示輕松、悲傷、高興和恐懼情緒。顯而易見,γ=0.042時(shí)KPCA算法重構(gòu)的數(shù)據(jù)較其余四組數(shù)據(jù)更加容易區(qū)分。 為了進(jìn)一步體現(xiàn)本研究提出的自適應(yīng)選取γ值方法的有效性,將不同γ值處理后的數(shù)據(jù)按照訓(xùn)練集∶測試集=3∶1的比例進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練,多次試驗(yàn)并記錄各個(gè)γ值的目標(biāo)函數(shù)值(L)與情緒分類準(zhǔn)確率,制成表3。 由表3可知,不同的γ值對應(yīng)的目標(biāo)函數(shù)值不同,經(jīng)KPCA算法數(shù)據(jù)降維后的樣本數(shù)據(jù)訓(xùn)練得到的情緒識(shí)別模型識(shí)別情緒的準(zhǔn)確率也不同。當(dāng)γ=0.042時(shí),獲得最佳情緒識(shí)別結(jié)果,側(cè)面驗(yàn)證了該方法的有效性。 將上述試驗(yàn)三大部分兩兩對照,可以分析得出各方法的情緒分類效果。為了保證試驗(yàn)的嚴(yán)謹(jǐn)性,采用多次試驗(yàn)求均值的方法。表4記錄了不同模型訓(xùn)練集與測試集不同比例情況下的情緒識(shí)別準(zhǔn)確率及模型訓(xùn)練時(shí)間。 分析表4可得出以下結(jié)論: (1) 對比的三組試驗(yàn)中,不論是識(shí)別準(zhǔn)確率還是識(shí)別模型訓(xùn)練時(shí)間,基于IKPCA-GA-BP算法的情緒識(shí)別新方法都要優(yōu)于其余幾組,其準(zhǔn)確率接近97%,模型訓(xùn)練時(shí)間控制在1.40 s以內(nèi)。 (2) 對比傳統(tǒng)反向傳播神經(jīng)網(wǎng)絡(luò)和主成分分析反向傳播神經(jīng)網(wǎng)絡(luò)模型,不論是否使用遺傳算法優(yōu)化網(wǎng)絡(luò)初始參數(shù),前者的預(yù)測準(zhǔn)確率都要高于后者(除試驗(yàn)“測試集∶訓(xùn)練集=3∶1”),其原因可能是:本研究使用的心電信號(hào)特征向量是非線性的,而主成分分析算法降維只適用于線性數(shù)據(jù);此外,被主成分分析算法舍棄的方差貢獻(xiàn)率小的特征向量也可能包含許多有利于情緒分類的信息。 (3) 對比使用遺傳算法優(yōu)化網(wǎng)絡(luò)初始參數(shù)和未使用遺傳算法優(yōu)化網(wǎng)絡(luò)初始參數(shù)的試驗(yàn)可知,遺傳算法優(yōu)化后的網(wǎng)絡(luò)訓(xùn)練效率更高;另外,在記錄的多次試驗(yàn)中,前者的預(yù)測準(zhǔn)確率較后者更加穩(wěn)定,有效地解決了反向傳播神經(jīng)網(wǎng)絡(luò)收斂速度慢、易陷入局部最優(yōu)解等問題。 此外,本研究還比對了各個(gè)模型的負(fù)面情緒識(shí)別情況,設(shè)置訓(xùn)練集與測試集比例為3∶1,正例樣本為恐懼和悲傷情緒,負(fù)例樣本為輕松和高興情緒,以其中一次試驗(yàn)結(jié)果為準(zhǔn),記錄了各組模型的準(zhǔn)確率、精確率、召回率及F1指標(biāo)并制成表5。將各個(gè)模型的四分類結(jié)果制成混淆矩陣,如圖9所示。 由表5可知,本研究提出的IKPCA-GA-BP情緒識(shí)別新方法識(shí)別負(fù)面情緒性能最好,達(dá)到了檢測不良情緒的目的。由圖9可知,大部分模型識(shí)別悲傷情緒的準(zhǔn)確率較低,而本研究提出的方法對于四種情緒識(shí)別準(zhǔn)確率較平均,擁有較好的識(shí)別效果。 5 小結(jié) 本研究針對傳統(tǒng)識(shí)別算法利用心電信號(hào)對情緒進(jìn)行分類的效率、準(zhǔn)確率低下的問題,提出一種基于IKPCA-GA-BP神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別新方法。該方法結(jié)合了KPCA有效處理非線性數(shù)據(jù)、遺傳算法全局尋優(yōu)的特點(diǎn),提高了反向傳播神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率與收斂速度。此外,針對KPCA算法核函數(shù)γ參數(shù)依經(jīng)驗(yàn)值而定、無法保證數(shù)據(jù)處理效果的問題,提出了自適應(yīng)選取γ值的方法。在保證情緒識(shí)別準(zhǔn)確率為96%的前提下,該方法將識(shí)別時(shí)間控制在1 s左右,能更準(zhǔn)確、更快速地分類情緒,可為醫(yī)學(xué)領(lǐng)域根據(jù)心電信號(hào)進(jìn)行情緒病癥診斷提供參考。 (參考文獻(xiàn)略) 責(zé)編:陳海林 排版:李政萍 統(tǒng)籌:顧 艷 審核:徐云峰 |
|