腦機(jī)啟偵 | 基于多通道腦電信號(hào)特征的積極和消極情緒的分類研究

在這項(xiàng)研究中，研究者們通過情緒視頻誘發(fā)26名受試者的腦電信號(hào)，并基于多通道和前額雙通道提取了不同情緒的腦電特征。結(jié)果表明，頻帶能量比和微分熵能有效區(qū)分積極與消極情緒，其中支持向量機(jī)分類器效果最佳；僅使用前額雙通道信號(hào)時(shí)，最高分類準(zhǔn)確率可達(dá)66%，而使用全通道數(shù)據(jù)時(shí)，模型準(zhǔn)確率最高可達(dá)82%，經(jīng)過通道選擇優(yōu)化后，最佳模型的分類準(zhǔn)確率進(jìn)一步提升至86%以上。

01研究背景RESEARCH BACKGROUND

情緒在我們的日常生活中扮演著關(guān)鍵角色，它不僅反映了個(gè)體的身心狀態(tài)，還深刻影響著認(rèn)知、溝通和決策過程。情緒通常被認(rèn)為具有兩個(gè)維度：?jiǎn)拘讯群托r(jià)。其中，喚醒度指情緒的強(qiáng)度，而效價(jià)則指具體的情緒內(nèi)容，可分為積極、消極和中性。積極情緒能提升主觀幸福感，促進(jìn)身心健康；而持續(xù)的消極情緒則可能損害身心健康和工作狀態(tài)。情緒的產(chǎn)生源于對(duì)外部環(huán)境刺激的反應(yīng)，并伴隨著個(gè)體表征和心理狀態(tài)的變化，這些變化可以通過科學(xué)方法進(jìn)行測(cè)量和識(shí)別。

在眾多可用于識(shí)別情緒的信號(hào)中，腦電圖因其高時(shí)間分辨率和非侵入性特點(diǎn)，已成為情緒識(shí)別研究中的常用方法。盡管已有大量研究利用多通道EEG信號(hào)進(jìn)行情緒分類，并取得了豐碩成果，例如發(fā)現(xiàn)前額葉和枕葉等腦區(qū)對(duì)情緒分類貢獻(xiàn)顯著，但該領(lǐng)域仍存在一些亟待解決的問題。首先，由于情緒本身的復(fù)雜性和抽象性，目前情緒分類的標(biāo)準(zhǔn)尚未統(tǒng)一，不同研究采用的情緒誘發(fā)材料和分類標(biāo)簽各異，可能導(dǎo)致樣本分類的初始混淆。其次，在EEG信號(hào)特征提取方面，雖然時(shí)域、頻域、統(tǒng)計(jì)和時(shí)頻域等多種特征已被應(yīng)用，但何種特征組合與情緒分類最相關(guān)仍不明確。近年研究表明，微分熵特征在情緒分類中效果良好，但其在不同頻段（如高頻與低頻）的分類效能仍存在爭(zhēng)議。此外，不同腦區(qū)提取的特征對(duì)分類效果的影響也存在差異。最后，出于便攜性考慮，研究?jī)A向于使用盡可能少的通道進(jìn)行情緒識(shí)別，但雙通道與多通道在相同實(shí)驗(yàn)設(shè)置下的分類效果孰優(yōu)孰劣，尚缺乏直接比較。因此，本研究旨在聚焦于效價(jià)維度上的積極與消極情緒，利用視頻誘發(fā)EEG信號(hào)，探討基于能量比例和微分熵特征的分類效果，比較不同頻段、不同腦區(qū)微分熵特征的分類效能，并分析多通道與前額雙通道在情緒分類準(zhǔn)確率上的差異。

02研究發(fā)現(xiàn)RESEARCH FINDINGS

本研究通過一系列對(duì)照實(shí)驗(yàn)，系統(tǒng)評(píng)估了不同特征、頻段、腦區(qū)及分類算法在基于腦電圖（EEG）的情緒二分類任務(wù)中的表現(xiàn)。關(guān)鍵發(fā)現(xiàn)包括：在特征選擇方面，微分熵特征相較于能量占比特征能更有效地捕捉情緒差異，且在線性歸一化或標(biāo)準(zhǔn)歸一化處理后分類效果并未提升；在頻段分析中，γ波和β波的微分熵特征對(duì)情緒分類最具判別力，其有效性排序?yàn)棣?> β > δ > α > θ，同時(shí)結(jié)合β與γ波特征優(yōu)于單獨(dú)使用γ波特征；在腦區(qū)定位上，基于γ波微分熵的通道貢獻(xiàn)度分析顯示，大腦左側(cè)前額葉區(qū)域（如FP1電極）對(duì)情緒分類至關(guān)重要，實(shí)驗(yàn)進(jìn)一步證實(shí)外側(cè)環(huán)狀腦區(qū)電極組合的分類效果最優(yōu)。

在算法比較中，支持向量機(jī)（SVM）在通道選擇前提下準(zhǔn)確率最高（達(dá)86%），且未出現(xiàn)明顯過擬合問題；而決策樹（DT）存在嚴(yán)重過擬合（測(cè)試集準(zhǔn)確率平均低于訓(xùn)練集20%以上）。對(duì)于多被試數(shù)據(jù)，SVM與k近鄰（kNN）的泛化性能穩(wěn)定，而DT和BP神經(jīng)網(wǎng)絡(luò)在分別訓(xùn)練各被試模型與合并訓(xùn)練時(shí)效果差異顯著（約10%）。在雙通道二分類任務(wù)中，最佳特征組合為δ、θ、α、β、γ頻帶的能量占比與微分熵（共20維特征），SVM分類準(zhǔn)確率達(dá)66%，綜合考慮泛化能力后仍為最優(yōu)選擇。這些結(jié)果為EEG情緒識(shí)別中的特征提取、頻段篩選、腦區(qū)定位及算法優(yōu)化提供了實(shí)證依據(jù)。

03圖片解讀IMAGE INTERPRETATION

圖1 多通道情緒分類算法流程圖

該圖展示了用于情緒分類的多通道算法的整體流程。算法首先從多個(gè)輸入通道（例如，腦電圖、心電圖、皮膚電反應(yīng)等生理信號(hào)）同步采集數(shù)據(jù)。隨后，對(duì)原始信號(hào)進(jìn)行預(yù)處理，包括濾波以去除噪聲、偽影校正以及信號(hào)歸一化。預(yù)處理后的數(shù)據(jù)進(jìn)入特征提取階段，從每個(gè)通道中計(jì)算時(shí)域、頻域和非線性特征。提取的特征被融合成一個(gè)綜合的特征向量，然后輸入到分類器（如支持向量機(jī)、隨機(jī)森林或深度學(xué)習(xí)模型）中進(jìn)行情緒狀態(tài)（例如，積極、消極、中性）的分類。最后，輸出分類結(jié)果并進(jìn)行性能評(píng)估。該流程圖清晰地概述了從多模態(tài)數(shù)據(jù)采集到最終情緒識(shí)別的完整計(jì)算流程。

結(jié)論：該算法通過整合多通道生理信號(hào)，旨在實(shí)現(xiàn)更準(zhǔn)確、更穩(wěn)健的情緒狀態(tài)自動(dòng)分類。

圖2 雙通道情緒分類算法流程圖

該流程圖展示了雙通道情緒分類算法的整體流程。算法首先通過兩個(gè)獨(dú)立的通道（例如，生理信號(hào)通道和面部表情通道）并行處理輸入數(shù)據(jù)。每個(gè)通道分別進(jìn)行特征提取和初步分類。隨后，兩個(gè)通道的分類結(jié)果通過一個(gè)融合模塊進(jìn)行整合，最終輸出綜合的情緒分類結(jié)果。該算法旨在通過結(jié)合多模態(tài)信息，提高情緒識(shí)別的準(zhǔn)確性。

圖3 用于多通道情緒識(shí)別的最優(yōu)電極示意圖

該圖是一個(gè)示意圖，展示了用于多通道情緒識(shí)別的最優(yōu)電極配置。圖中描繪了一個(gè)人腦的輪廓，并在其表面標(biāo)記了多個(gè)電極位置。這些電極被連接到一個(gè)數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)用于采集和分析腦電信號(hào)，以實(shí)現(xiàn)情緒識(shí)別。示意圖直觀地說明了用于情緒識(shí)別研究的腦電圖（EEG）電極布局方案。

結(jié)論：該示意圖展示了用于多通道情緒識(shí)別研究的最優(yōu)電極布局方案。

04臨床意義CLINICAL SIGNIFICANCE

本研究通過系統(tǒng)性的實(shí)驗(yàn)，探索了基于腦電圖（EEG）信號(hào)進(jìn)行情緒分類的最優(yōu)特征組合與算法。結(jié)果表明，在多種特征中，微分熵特征對(duì)于情緒區(qū)分具有關(guān)鍵作用，其效果優(yōu)于能量占比特征。進(jìn)一步分析發(fā)現(xiàn)，在γ波和β波頻段的微分熵特征對(duì)情緒分類的貢獻(xiàn)最為顯著，其中γ波效果最佳。通過基于梯度提升決策樹的通道選擇，研究確定了大腦側(cè)環(huán)區(qū)域（特別是左前額區(qū)域FP1）的電極組合對(duì)于情緒識(shí)別最為有效，這為情緒相關(guān)腦功能定位提供了實(shí)證依據(jù)。在算法層面，支持向量機(jī)（SVM） 在保證良好泛化能力的前提下，取得了最佳的分類性能（準(zhǔn)確率高達(dá)86%）。相比之下，決策樹存在明顯的過擬合問題。研究同時(shí)探討了針對(duì)個(gè)體單獨(dú)建模與混合所有被試數(shù)據(jù)統(tǒng)一建模的策略，發(fā)現(xiàn)SVM和k近鄰算法在不同策略下表現(xiàn)穩(wěn)定，而決策樹和BP神經(jīng)網(wǎng)絡(luò)則對(duì)建模方式非常敏感，其性能差異顯著。這些發(fā)現(xiàn)為構(gòu)建魯棒、實(shí)用的實(shí)時(shí)情緒識(shí)別系統(tǒng)提供了重要的算法與特征選擇依據(jù)，推動(dòng)了情感計(jì)算在腦機(jī)接口領(lǐng)域的臨床應(yīng)用。

05實(shí)驗(yàn)策略EXPERIMENTAL STRATEGY

這篇研究論文的核心實(shí)驗(yàn)策略可以概括為以下兩點(diǎn)：

第一段：系統(tǒng)性的特征篩選與模型優(yōu)化策略。

研究團(tuán)隊(duì)首先構(gòu)建了一個(gè)包含59維特征、總計(jì)1888維的基線特征集，涵蓋了時(shí)域、頻域、統(tǒng)計(jì)和時(shí)頻域等多個(gè)方面。為了找到對(duì)情緒分類最有效的特征，他們進(jìn)行了多輪控制變量實(shí)驗(yàn)。關(guān)鍵步驟包括：1）驗(yàn)證了能量占比和微分熵這兩類特征在情緒分類中的有效性，并發(fā)現(xiàn)單用微分熵特征即可達(dá)到最佳效果；2）進(jìn)一步分析了不同頻段（δ, θ, α, β, γ）微分熵的分類效能，確定γ波和β波的微分熵特征最具區(qū)分度；3）基于γ波微分熵特征，利用梯度提升決策樹（GBDT）進(jìn)行通道貢獻(xiàn)度分析，篩選出對(duì)分類貢獻(xiàn)最大的腦區(qū)電極。最終，通過這種層層遞進(jìn)的篩選，確定了最優(yōu)的特征組合（特定頻段的微分熵）與腦區(qū)組合（位于頭部側(cè)環(huán)區(qū)域的電極），從而將模型分類準(zhǔn)確率從基線水平提升至86%以上。

第二段：多通道與雙通道的對(duì)比驗(yàn)證策略。

為了兼顧高精度與便攜性應(yīng)用的不同需求，論文設(shè)計(jì)了并行的兩條技術(shù)路線進(jìn)行對(duì)比。對(duì)于多通道方案，研究使用全部32通道的EEG數(shù)據(jù)，經(jīng)過預(yù)處理、特征提取（采用上述篩選出的最優(yōu)特征）后，投入四種分類器（SVM、決策樹、BP神經(jīng)網(wǎng)絡(luò)、K近鄰）進(jìn)行訓(xùn)練與評(píng)估。對(duì)于雙通道方案，為模擬便攜設(shè)備（如前額帶），研究?jī)H使用前額（Fp1, Fp2）兩個(gè)通道的信號(hào)。由于通道數(shù)少無(wú)法直接進(jìn)行獨(dú)立成分分析（ICA）去噪，該方案引入了集成經(jīng)驗(yàn)?zāi)B(tài)分解（EEMD）來處理信號(hào)，后續(xù)特征提取與分類流程與多通道方案一致。通過對(duì)比，研究明確了多通道因信息更全面而準(zhǔn)確率（最高86%）顯著高于雙通道（最高66%），同時(shí)也驗(yàn)證了即使在有限通道下，SVM分類器結(jié)合微分熵等特征仍能實(shí)現(xiàn)有效的情緒二分法分類。這一策略為不同應(yīng)用場(chǎng)景下的技術(shù)選型提供了直接依據(jù)。

06主要結(jié)論MAIN CONCLUSIONS

這篇研究通過分析多通道和雙通道腦電圖（EEG）信號(hào)，探索了基于能量比例和微分熵特征對(duì)積極與消極情緒進(jìn)行分類的有效性。研究結(jié)果顯示，使用支持向量機(jī)（SVM）分類器時(shí)，結(jié)合所有通道數(shù)據(jù)，模型最高準(zhǔn)確率可達(dá)82%；經(jīng)過通道選擇后，最佳模型的準(zhǔn)確率超過86%。這表明，能量比例和微分熵特征在情緒分類中具有顯著效果，且SVM分類器在多種算法中表現(xiàn)最優(yōu)。

此外，研究還發(fā)現(xiàn)，僅使用前額雙通道信號(hào)時(shí)，最高分類準(zhǔn)確率為66%，顯著低于多通道的結(jié)果。這表明，盡管雙通道設(shè)備在便攜性方面具有優(yōu)勢(shì)，但在情緒分類的準(zhǔn)確性上，多通道系統(tǒng)能提供更豐富的信息，從而獲得更好的分類效果。該研究為開發(fā)便攜式情緒監(jiān)測(cè)設(shè)備提供了理論依據(jù)，并指出未來研究可進(jìn)一步探索深度學(xué)習(xí)模型以提高分類效率。

https://doi.org/10.3389/fnbeh.2021.720451 Long F, Zhao S, Wei X, Ng S-C, Ni X, Chi A, Fang P, Zeng W and Wei B (2021) Positive and Negative Emotion Classification Based on Multi-channel. Front. Behav. Neurosci. 15:720451.

doi: 10.3389/fnbeh.2021.720451

來源 | 腦機(jī)接口社區(qū)

浙大科技園啟真腦機(jī)智能產(chǎn)業(yè)化基地是在浙大控股集團(tuán)領(lǐng)導(dǎo)下，由浙江大學(xué)科技園發(fā)展有限公司與杭州未來科技城管委會(huì)共建，圍繞腦機(jī)智能產(chǎn)業(yè)主體，輻射腦機(jī)+生命健康、腦機(jī)+智能制造、腦機(jī)+新一代信息技術(shù)、腦機(jī)+新材料等領(lǐng)域的專業(yè)化特色產(chǎn)業(yè)基地，由杭州啟真未來科技發(fā)展有限公司負(fù)責(zé)全面運(yùn)營(yíng)。

基地依托浙江大學(xué)在腦機(jī)智能方面的學(xué)科優(yōu)勢(shì)，以腦機(jī)智能作為核心科技支撐，貫徹浙江大學(xué)國(guó)家大學(xué)科技園“有組織科技成果轉(zhuǎn)化、有靶向科技企業(yè)孵化、有體系未來產(chǎn)業(yè)培育”的服務(wù)體系，致力于打造腦機(jī)智能領(lǐng)域具備成果顯示度、區(qū)域影響力的產(chǎn)業(yè)化高地。