本發(fā)明屬于多模態(tài)腦信號(hào)情感識(shí)別，具體涉及一種基于eeg和fnirs融合的音樂誘發(fā)情緒識(shí)別方法。

背景技術(shù)：

1、情緒對(duì)人類健康有顯著影響，并且與多種心理健康障礙(如抑郁癥、焦慮癥和注意力缺陷多動(dòng)障礙)密切相關(guān)，這凸顯了準(zhǔn)確識(shí)別情緒和制定有效調(diào)節(jié)策略在疾病預(yù)防和治療管理中的必要性。音樂在日常減壓和情緒提升中廣泛應(yīng)用，這說明了音樂能夠促進(jìn)情緒調(diào)節(jié)；與其他方式(如視頻、沙盤互動(dòng)等)相比，音樂對(duì)設(shè)備低要求、跨文化適應(yīng)性等特性使其成為一種更實(shí)用且可擴(kuò)展的情緒調(diào)節(jié)工具。以往的技術(shù)已經(jīng)開始探討了音樂誘發(fā)情緒以及音樂在情緒調(diào)節(jié)方面可能存在的作用，但目前的范式主要依賴主觀報(bào)告來評(píng)估情緒反應(yīng)，這種方法存在固有的局限性，例如內(nèi)省偏差。人們?cè)谠噲D理解和報(bào)告自己的心理狀態(tài)或情緒時(shí)，可能會(huì)受到主觀因素的影響，從而導(dǎo)致不準(zhǔn)確或存在偏差的結(jié)果，這種偏差通常源于人類對(duì)自身內(nèi)在狀態(tài)的認(rèn)知局限性，或者受到記憶、情感、社會(huì)期望等因素的干擾。因此，建立情感狀態(tài)與音樂模式之間的客觀映射至關(guān)重要，這種系統(tǒng)化方法對(duì)于推進(jìn)基于音樂的精準(zhǔn)情緒調(diào)節(jié)具有重要意義。

2、目前，使用腦信號(hào)進(jìn)行情緒誘發(fā)和情緒調(diào)控的方法在音樂刺激、腦信號(hào)模態(tài)和設(shè)備便攜性方面仍然存在關(guān)鍵的局限性，具體包括以下幾個(gè)方面：

3、音樂刺激的限制：現(xiàn)有的技術(shù)研究大多采用小規(guī)模的音樂語料庫，這主要受到版權(quán)和成本的限制，這種小規(guī)模的音樂語料庫可能導(dǎo)致統(tǒng)計(jì)偏差，甚至在情緒識(shí)別過程中引發(fā)模型過擬合的風(fēng)險(xiǎn)。音樂刺激的選擇通常是基于實(shí)驗(yàn)者對(duì)情緒-音樂映射的啟發(fā)式假設(shè)而主觀決定的，忽視了個(gè)體之間特有的情感特征差異，這可能會(huì)降低模型的魯棒性和普適性。另外，廣泛流傳的經(jīng)典音樂作品可能激發(fā)相關(guān)個(gè)人經(jīng)歷的聯(lián)想，從而通過額外的認(rèn)知處理(如記憶檢索)影響目標(biāo)情緒的誘發(fā)，而不是單純地通過音樂誘發(fā)的情感反應(yīng)，這種現(xiàn)象會(huì)干擾實(shí)驗(yàn)設(shè)計(jì)的有效性。

4、腦信號(hào)模式的限制：大多數(shù)情感計(jì)算范式依賴于單一模態(tài)的神經(jīng)信號(hào)，如僅使用eeg(electroencephalography，腦電圖)，盡管eeg具有時(shí)間分辨率，并且仍然是非侵入性情感計(jì)算的主要模態(tài)，但是其空間特異性會(huì)因大腦皮層的信號(hào)衰減而受到內(nèi)在限制。多模態(tài)融合可以通過提供互補(bǔ)信息來緩解這一問題，從而更全面地分析情緒，例如fnirs(functional?near?infrared?spectroscopy，功能性近紅外光譜)能夠捕捉到獨(dú)特的血液動(dòng)力學(xué)響應(yīng)模式，反應(yīng)相應(yīng)區(qū)域的血氧含量變化。

5、便攜性的限制：雖然音樂能夠以簡單直接的方式誘發(fā)情緒，但是現(xiàn)有范式忽視了另一個(gè)影響音樂誘發(fā)情緒乃至調(diào)控情緒落地實(shí)際應(yīng)用的關(guān)鍵因素——腦信號(hào)采集設(shè)備的便攜性。龐大復(fù)雜的腦信號(hào)采集設(shè)備(如需要導(dǎo)電凝膠的64通道eeg信號(hào)采集帽)需要專業(yè)的配套設(shè)施和專業(yè)的操作人員，增加了成本并限制了擴(kuò)展性；而且多模態(tài)監(jiān)測中使用者通常同時(shí)穿戴幾套不同的設(shè)備(如腦電帽、眼動(dòng)儀等)，需要超過30分鐘的準(zhǔn)備時(shí)間。這些操作瓶頸從根本上制約了實(shí)際應(yīng)用的可能性。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述，本發(fā)明提供了一種基于eeg和fnirs融合的音樂誘發(fā)情緒識(shí)別方法，通過便攜式頭帶設(shè)備收集eeg和fnirs信號(hào)，用于分析aigc(artificial?intelligencegenerated?content，人工智能生成內(nèi)容)音樂所誘發(fā)的情緒。

2、一種基于eeg和fnirs融合的音樂誘發(fā)情緒識(shí)別方法，包括如下步驟：

3、（1）設(shè)計(jì)一個(gè)基于效價(jià)-喚醒體系的音樂庫；

4、（2）利用aigc技術(shù)為音樂庫自動(dòng)生成大量音樂片段；

5、（3）通過打分對(duì)音樂庫中的音樂片段進(jìn)行篩選；

6、（4）設(shè)計(jì)一套多模態(tài)腦信號(hào)采集范式，播放音樂庫中的音樂片段并在所述多模態(tài)腦信號(hào)采集范式下采集不同受試者的eeg和fnirs信號(hào)，以構(gòu)建得到數(shù)據(jù)集；

7、（5）將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，并構(gòu)建eeg-fnirs雙模態(tài)分類模型，利用訓(xùn)練集中的eeg和fnirs信號(hào)對(duì)模型進(jìn)行訓(xùn)練；

8、（6）將測試集中的eeg和fnirs信號(hào)輸入至訓(xùn)練好的模型中，即能夠識(shí)別輸出對(duì)應(yīng)的情緒狀態(tài)。

9、進(jìn)一步地，所述步驟（1）中的音樂庫遵循效價(jià)-喚醒環(huán)形模型，該模型中的目標(biāo)情緒分布在二維平面上，以效價(jià)和喚醒度分別作為二維平面的橫軸和縱軸，效價(jià)指的是情緒的正負(fù)程度，喚醒度指的是情緒的強(qiáng)度；根據(jù)該模型設(shè)定四種情緒狀態(tài)即hahv(高喚醒高效價(jià))、halv(高喚醒低效價(jià))、lahv(低喚醒高效價(jià))以及l(fā)alv(低喚醒低效價(jià))，音樂庫中的音樂片段需能夠誘發(fā)以上四種情緒狀態(tài)，誘發(fā)hahv的音樂片段具有激昂或響亮的特征，誘發(fā)halv的音樂片段具有雜亂或尖銳的特征，誘發(fā)lahv的音樂片段具有舒緩或平靜的特征，而誘發(fā)lalv的音樂片段具有哀婉、凄切或凝重的特征。

10、進(jìn)一步地，所述步驟（2）中采用musicgen(可控音樂生成)模型自動(dòng)生成音樂片段，該模型在生成音樂片段過程中考慮了文本描述和旋律特征，為此需設(shè)計(jì)一套提示詞模板，該模板通過文本句子從特定情感、樂器風(fēng)格、情感基調(diào)、情境場景的多角度來描述音樂片段，模板中存在的占位符用于各種描述性元素的替換，從而實(shí)現(xiàn)對(duì)不同類型音樂片段的定制化生成；在所述提示詞模板中填入相應(yīng)的詞語以生成各種類型的提示句，將這些提示句輸入至musicgen模型中，模型自動(dòng)生成誘發(fā)相應(yīng)情緒狀態(tài)的音樂片段，進(jìn)而對(duì)每一音樂片段對(duì)應(yīng)的情緒狀態(tài)類型進(jìn)行標(biāo)注，并確保四種情緒狀態(tài)類型的音樂片段數(shù)量均衡。

11、進(jìn)一步地，所述步驟（3）的具體實(shí)施方式為：首先剔除音樂庫中存在明顯技術(shù)缺陷的音樂片段(例如突然的噪音、長時(shí)間的靜音間隔)，然后招募志愿者在效價(jià)和喚醒度兩個(gè)維度上對(duì)音樂片段進(jìn)行評(píng)分，評(píng)分范圍為1~9分；對(duì)于效價(jià)，分值1~9對(duì)應(yīng)情緒從消極到積極(即愉悅程度，越感到愉快分值越高)；對(duì)于喚醒度，分值1~9對(duì)應(yīng)情緒從低喚醒到高喚醒(即興奮程度，越激動(dòng)興奮分值越高)；對(duì)于任一類情緒狀態(tài)的音樂片段，從中篩選出最接近理想情緒評(píng)分的n首音樂片段，總共選出4n首音樂片段，n為大于1的自然數(shù)；對(duì)于情緒狀態(tài)類型為hahv的音樂片段，其理想情緒評(píng)分為喚醒度9分&效價(jià)9分；對(duì)于情緒狀態(tài)類型為halv的音樂片段，其理想情緒評(píng)分為喚醒度9分&效價(jià)1分；對(duì)于情緒狀態(tài)類型為lahv的音樂片段，其理想情緒評(píng)分為喚醒度1分&效價(jià)9分；對(duì)于情緒狀態(tài)類型為lalv的音樂片段，其理想情緒評(píng)分為喚醒度1分&效價(jià)1分。

12、進(jìn)一步地，所述步驟（4）中多模態(tài)腦信號(hào)采集范式的具體實(shí)現(xiàn)過程如下：

13、4.1?受試者坐在屏蔽室中，使其佩戴一體式頭環(huán)的eeg-fnirs信號(hào)無線采集設(shè)備以同步采集受試者前額區(qū)的eeg和fnirs信號(hào)，進(jìn)而使受試者跟隨指引完成以下測試任務(wù)；

14、4.2?每個(gè)試次開始首先靜息5秒鐘，在此期間受試者需閉上眼睛調(diào)整心態(tài)，盡量平靜下來；

15、4.3?通過音頻播放器軟件為受試者播放音樂庫中的一首音樂片段，連續(xù)播放兩遍；

16、4.4?播放結(jié)束后，受試者需對(duì)從音樂片段感受到的情緒進(jìn)行量表評(píng)分；

17、4.5?在完成量表評(píng)分后受試者休息15秒，休息結(jié)束即完成一個(gè)試次；

18、4.6?重復(fù)執(zhí)行步驟4.2~4.5，每完成五個(gè)試次受試者需做20道簡單的心算題，每位受試者共需完成40個(gè)試次。

19、進(jìn)一步地，所述步驟4.1中的測試任務(wù)包含兩個(gè)階段，每個(gè)階段分為四個(gè)區(qū)塊，每個(gè)區(qū)塊由五個(gè)試次組成，同一區(qū)塊內(nèi)的五個(gè)試次對(duì)受試者播放相同情緒狀態(tài)類型的音樂片段，用以最大限度地降低誘發(fā)情緒潛在的交替效應(yīng)影響。

20、進(jìn)一步地，所述步驟4.3中的量表評(píng)分基于情緒體驗(yàn)的sam?(self-assessmentmanikin，自我評(píng)估人偶)量表，包括對(duì)音樂片段的效價(jià)、喚醒度和喜好度分別進(jìn)行評(píng)分，評(píng)分范圍為1~9分；效價(jià)反映了受試者聽到音樂后的愉悅程度，愉悅程度越高，評(píng)分越接近9分，愉悅程度越低，評(píng)分越接近1分；喚醒度反映了受試者聽到音樂后的興奮程度，興奮程度越高，評(píng)分越接近9分，興奮程度越低，評(píng)分越接近1分；喜好度反映了受試者對(duì)音樂片段的喜好程度(探討的是受試者對(duì)音樂的品味和興趣偏好)，越喜歡評(píng)分越接近9分，越反感評(píng)分越接近1分。

21、進(jìn)一步地，所述eeg和fnirs信號(hào)在輸入模型進(jìn)行訓(xùn)練或預(yù)測之前需經(jīng)過預(yù)處理：關(guān)于eeg信號(hào)，先對(duì)其進(jìn)行降采樣，然后使用帶通濾波器將信號(hào)頻率范圍限制在0.1~40hz；關(guān)于fnirs信號(hào)，先將其轉(zhuǎn)換為光密度變化信號(hào)，然后使用帶通濾波器將信號(hào)頻率范圍限制在0.5~4hz，以提取得到ppg(光電容積描記)信號(hào)，同時(shí)根據(jù)比爾-朗伯定律計(jì)算出關(guān)于hbo(氧合血紅蛋白)、hbr(脫氧血紅蛋白)和hbt(總血紅蛋白)濃度的相對(duì)變化量；進(jìn)而將預(yù)處理后的eeg信號(hào)與ppg信號(hào)以及hbo、hbr和hbt濃度的相對(duì)變化量進(jìn)行組合作為模型的輸入，模型訓(xùn)練過程中以對(duì)應(yīng)試次中受試者對(duì)音樂片段的量表評(píng)分作為真值標(biāo)簽，進(jìn)而采用交叉熵?fù)p失函數(shù)衡量模型對(duì)效價(jià)和喚醒度的預(yù)測概率與真值標(biāo)簽之間的誤差，利用優(yōu)化器通過梯度下降法對(duì)模型參數(shù)不斷迭代更新，直至損失函數(shù)收斂，訓(xùn)練完成。

22、進(jìn)一步地，所述eeg-fnirs雙模態(tài)分類模型在eeg?conformer(一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和transformer架構(gòu)的深度學(xué)習(xí)模型，專門用于腦電圖信號(hào)的解碼和分類任務(wù))模型架構(gòu)基礎(chǔ)上擴(kuò)展了一條專門針對(duì)ppg和血紅蛋白濃度特征提取的網(wǎng)絡(luò)分支，從而將eeg特征與ppg特征和血紅蛋白濃度特征進(jìn)行融合，最后將融合后的特征映射為情緒狀態(tài)分類結(jié)果。

23、進(jìn)一步地，所述eeg-fnirs雙模態(tài)分類模型首先將輸入信號(hào)依次通過時(shí)間卷積模塊、空間卷積模塊、平均池化層得到特征嵌入表示，其中時(shí)間卷積模塊用于在時(shí)間維度上提取信號(hào)的時(shí)序特征，空間卷積模塊用于在空間維度上提取信號(hào)的通道特征，平均池化層用于匯聚時(shí)序相鄰的特征；然后將eeg、ppg、血紅蛋白濃度(hbo、hbr和hbt)三路輸入信號(hào)的特征嵌入表示經(jīng)轉(zhuǎn)置及線性投影到同一特征空間后直接拼接，并通過線性變換映射為固定長度的序列特征；進(jìn)而將該序列特征通過多級(jí)注意力機(jī)制模塊，以捕獲長期全局依賴關(guān)系與上下文信息，得到融合特征；最后通過兩個(gè)分類器將融合特征映射為關(guān)于效價(jià)和喚醒度的分類結(jié)果。

24、本發(fā)明首先建立了覆蓋多維度情緒空間(效價(jià)-喚醒度)的基礎(chǔ)音樂庫，通過科學(xué)維度劃分確保情緒刺激的多樣性與典型性。其次，本發(fā)明創(chuàng)新性地融合aigc技術(shù)構(gòu)建提示詞模板系統(tǒng)，實(shí)現(xiàn)音樂片段的批量自動(dòng)化生成，突破傳統(tǒng)人工創(chuàng)作的效率瓶頸；隨后開展主觀情緒評(píng)分實(shí)驗(yàn)，通過招募志愿者對(duì)生成的音樂片段進(jìn)行多輪次情感維度評(píng)分，基于統(tǒng)計(jì)分析篩選出情緒誘發(fā)效果顯著的優(yōu)質(zhì)片段。在此基礎(chǔ)上，本發(fā)明設(shè)計(jì)了標(biāo)準(zhǔn)化多模態(tài)腦信號(hào)采集范式，同步采集受試者聆聽音樂時(shí)的eeg與fnirs信號(hào)，構(gòu)建包含時(shí)間序列特征與腦區(qū)血氧動(dòng)力學(xué)變化的綜合數(shù)據(jù)集。最后，本發(fā)明通過開發(fā)多模態(tài)信號(hào)融合算法，構(gòu)建融合eeg?時(shí)頻特征與?fnirs?腦區(qū)激活模式的情緒分類模型，經(jīng)交叉驗(yàn)證實(shí)現(xiàn)了對(duì)多維情緒狀態(tài)的高精度分類。綜上可見，本發(fā)明通過技術(shù)創(chuàng)新與方法整合，構(gòu)建了從音樂生成到腦信號(hào)分析的完整閉環(huán)，為情緒計(jì)算領(lǐng)域提供了可復(fù)現(xiàn)的研究范式和有效的分類模型。