【技術實現(xiàn)步驟摘要】
本專利技術屬于跨受試者腦電情感識別，具體地說，涉及一種基于多分支特征融合的腦電情感識別方法及系統(tǒng)。
技術介紹
1、情緒是人類體驗的基礎，在幸福感、行為表現(xiàn)、社會互動、人際交往、決策和認知功能中發(fā)揮著重要作用。情感計算技術使計算機能夠識別、理解、表征、適應并給予反饋，其中，基于生理信號的情感計算已經(jīng)成為備受關注的熱點。腦電信號因其便攜性和高時間分辨率的特性，在情感計算領域被廣泛應用。腦機接口（bci）通過采集情感刺激誘發(fā)的腦信號，進行模式識別，解析大腦情感感知的類型，并將其轉化為外部指令，實現(xiàn)人機情感交互。
2、近年來，電極技術和機器學習的最新進展已經(jīng)改進了用于情緒識別的腦電圖（eeg）分析。然而，腦電信號所固有的非平穩(wěn)性會因個體差異或者時間變化而有所不同，這給開發(fā)適用于所有受試者的普遍適用模型帶來了挑戰(zhàn)。簡單地遷移可能會導致預訓練模型的誤判，進而導致對目標主體的分類性能較差。
3、與此同時，腦電信號具有高維度和復雜性的特點，從中提取有效的情感特征并非易事。時域、頻域和空間特征的提取需要復雜的算法和技術，并且不同特征之間的融合也存在挑戰(zhàn)。一些研究嘗試運用深度學習方法，如卷積神經(jīng)網(wǎng)絡（cnn）和循環(huán)神經(jīng)網(wǎng)絡（rnn），對不同特征進行自動提取和融合。盡管這些方法都取得了不錯的成果，但這些方法在處理高維度腦電信號時存在計算復雜度高或過擬合的風險，使得情感識別準確度低，對于腦電信號的多特征融合方面仍需要進一步的探究。
技術實現(xiàn)思路
1、為了解決現(xiàn)有的情感特征提取方法存
2、為了實現(xiàn)上述目的，本專利技術給出如下技術方案予以解決：
3、一方面，本專利技術提供了一種基于多分支特征融合的腦電情感識別方法，具體包括如下步驟：
4、步驟一，獲取多個被測者的腦電數(shù)據(jù)；
5、步驟二，對多個被測者的腦電數(shù)據(jù)進行預處理，得到每個被測者的預處理后的腦電數(shù)據(jù)；
6、步驟三，提取每個被測者的預處理后的腦電數(shù)據(jù)的五個頻段的特征，五個頻段分別為delta、theta、alpha、beta和gamma；
7、步驟四，將第一個被測者的五個頻段的特征作為目標域，將其余被測者的五個頻段的特征作為源域；
8、步驟五，提取目標域的時域特征和頻域特征，時域特征和頻域特征分別為de特征和psd特征；從de特征和psd特征中取出10%~20%作為適配器微調(diào)數(shù)據(jù)，并將剩余的de特征和psd特征作為測試集；提取源域的de特征和psd特征作為訓練集；
9、步驟六，將測試集和訓練集共同輸入多分支特征融合網(wǎng)絡，具體是：所述多分支特征融合網(wǎng)絡包括信道注意力加權空間卷積分支、結構相同的第一動態(tài)圖卷積網(wǎng)絡分支和第二動態(tài)圖卷積網(wǎng)絡分支；將測試集和訓練集中的de特征分別輸入第一動態(tài)圖卷積網(wǎng)絡分支和信道注意力加權空間卷積分支，將測試集和訓練集中的psd特征輸入第二動態(tài)圖卷積網(wǎng)絡分支；
10、步驟七，所述第一動態(tài)圖卷積網(wǎng)絡分支對輸入的de特征進行處理獲得時域特征，所述第二動態(tài)圖卷積網(wǎng)絡分支對輸入的psd特征進行處理獲得頻域特征；將時域特征和頻域特征連接起來，得到時域-頻域特征；
11、所述信道注意力加權空間卷積分支采用信道注意力加權學習de特征的通道自適應權值；
12、最后，采用空間卷積塊對加權的多通道腦電信號進行處理，最終獲得空間特征；
13、步驟八，將步驟七得到的時域-頻域特征輸入帶有適配器微調(diào)的自適應transformer特征融合網(wǎng)絡，得到高級時域-頻域特征 ha；
14、步驟九，將高級時域-頻域特征和空間特征連接得到時域-頻域-空間特征，然后將時域-頻域-空間特征輸入帶有適配器微調(diào)的自適應transformer特征融合網(wǎng)絡，得到新的輸出；
15、步驟十，將步驟五得到的適配器微調(diào)數(shù)據(jù)輸入帶有適配器微調(diào)的自適應transformer特征融合網(wǎng)絡的適配器微調(diào)模塊，得到的結果作為適配器微調(diào)數(shù)據(jù)的輸出 ht；
16、步驟十一，分別將新的輸出和適配器微調(diào)數(shù)據(jù)的輸出 ht通過全連接層和 softmax函數(shù)，分別獲取的預測情感概率和 ht的預測情感概率；其中，的預測情感概率的最大值被視為的分類結果，該分類結果即為的預測情感標簽； ht的預測情感概率的最大值被視為的分類結果，該分類結果即為的預測情感標簽；
17、步驟十二，根據(jù)預測情感概率，計算適配器微調(diào)數(shù)據(jù)和訓練集的交叉熵損失函數(shù)值；
18、步驟十三，重復執(zhí)行步驟六~步驟十二，通過最小化模型預測與實際標簽之間的交叉熵損失函數(shù)值，得到當前被測者的訓練好的模型；
19、步驟十四，將下一個被測者作為目標域，其余被測者作為源域，重復步驟五~步驟十三，直到每個被測者均被作為目標域一次，最終得到每個被測者的訓練好的模型。
20、另一方面，本專利技術提供了一種基于多分支特征融合的腦電情感識別系統(tǒng)，具體包括如下模塊：
21、腦電數(shù)據(jù)獲取模塊，用于獲取多個被測者的腦電數(shù)據(jù)；
22、預處理模塊，用于對多個被測者的腦電數(shù)據(jù)進行預處理，得到每個被測者的預處理后的腦電數(shù)據(jù)；
23、頻段特征提取模塊，用于提取每個被測者的預處理后的腦電數(shù)據(jù)的五個頻段的特征，五個頻段分別為delta、theta、alpha、beta和gamma；
24、特征劃分模塊，用于將第一個被測者的五個頻段的特征作為目標域，將其余被測者的五個頻段的特征作為源域；
25、數(shù)據(jù)集劃分模塊，用于提取目標域的時域特征和頻域特征，時域特征和頻域特征分別為de特征和psd特征；從de特征和psd特征中取出10%~20%作為適配器微調(diào)數(shù)據(jù)，并將剩余的de特征和psd特征作為測試集；提取源域的de特征和psd特征作為訓練集；
26、數(shù)據(jù)輸入模塊，用于將測試集和訓練集共同輸入多分支特征融合網(wǎng)絡，具體是：所述多分支特征融合網(wǎng)絡包括信道注意力加權空間卷積分支、結構相同的第一動態(tài)圖卷積網(wǎng)絡分支和第二動態(tài)圖卷積網(wǎng)絡分支；將測試集和訓練集中的de特征分別輸入第一動態(tài)圖卷積網(wǎng)絡分支和信道注意力加權空間卷積分支，將測試集和訓練集中的psd特征輸入第二動態(tài)圖卷積網(wǎng)絡分支；
27、特征融合模塊，用于實現(xiàn)如下功能：所述第一動態(tài)圖卷積網(wǎng)絡分支對輸入的de特征進行處理獲得時域特征，所述第二動態(tài)圖卷積網(wǎng)絡分支對輸入的psd特征進行處理獲得頻域特征；將時域特征和頻域特征連接起來，得到時域-頻域特征；所述信道注意力加權空間卷積分支采用信道注意力加權學習de特征的通道自適應權值；最后，采用空間卷積塊對加權的多通道腦電信號進行處理，最本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于多分支特征融合的腦電情感識別方法，其特征在于，具體包括如下步驟：
2.如權利要求1所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟五中，DE特征和PSD特征的計算公式分別如下：
3.如權利要求2所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟七中，時域特征和頻域特征的計算公式如下：
4.如權利要求3所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟七中，DE特征的通道自適應權值計算公式如下：
5.如權利要求4所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟七中，空間特征的計算公式如下：
6.如權利要求5所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟八中，帶有適配器微調(diào)的自適應Transformer特征融合網(wǎng)絡包括多頭自注意力機制模塊和適配器微調(diào)模塊，其計算公式表示如下：
7.如權利要求6所述的基于多分支特征融合的腦電情感識別方法，其特征在于，所述多頭自注意力機制模塊MHSA中，自注意力機制的計算公式：
8.如權利要求7所述的基
9.一種基于多分支特征融合的腦電情感識別系統(tǒng)，其特征在于，具體包括如下模塊：
...【技術特征摘要】
1.一種基于多分支特征融合的腦電情感識別方法，其特征在于，具體包括如下步驟：
2.如權利要求1所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟五中，de特征和psd特征的計算公式分別如下：
3.如權利要求2所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟七中，時域特征和頻域特征的計算公式如下：
4.如權利要求3所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟七中，de特征的通道自適應權值計算公式如下：
5.如權利要求4所述的基于多分支特征融合的腦電情感識別方法，其特征在于，步驟七中，空間特征的計算公...
【專利技術屬性】
技術研發(fā)人員：肖云，張益朦，韓述政，陳紅衛(wèi)，王俊逸，馮雪嬌，陳曉江，房鼎益，
申請(專利權)人：西北大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。