多模態情感分析的三重解耦表征學習

Triple disentangled representation learning for multimodal affective analysis

用于多模態情感分析的三重解耦表征學習

https://www.sciencedirect.com/science/article/pii/S156625352400441X

摘要：

在多模態情感分析（MAA）任務中，不同模態之間存在的異質性推動了對解耦（disentanglement）方法的探索，使其成為一個關鍵研究方向。許多新興研究聚焦于從輸入數據中解耦出模態不變（modality-invariant）表示和模態特異性（modality-specific）表示，然后將它們融合用于預測。然而，我們的研究表明，模態特異性表示可能包含與任務無關甚至沖突的信息，從而降低了所學多模態表示的有效性。我們重新審視了解耦問題，并提出了一種新穎的三重解耦方法——TriDiRA，該方法從輸入數據中解耦出模態不變表示、有效的模態特異性表示以及無效的模態特異性表示。通過僅融合模態不變表示和有效的模態特異性表示，TriDiRA 能夠顯著緩解在模型訓練和預測過程中跨模態的無關與沖突信息所帶來的負面影響。在四個基準數據集上進行的大量實驗表明，我們提出的三重解耦方法具有優異的有效性和泛化能力，性能超越了當前最先進的（SOTA）方法。代碼已公開于：https://anonymous.4open.science/r/TriDiRA 。

關鍵詞：多模態學習，情感分析，表征學習

1. 引言人們通過協同利用多種感官來感知世界，因為多模態感知能夠從不同方面提供更全面的信息 [1–3]。近年來，由于信息更加豐富，多模態學習顯著提升了多模態情感分析（MAA，包括情感回歸和情緒分類）的性能 [4,5]。一項新興研究 [6] 證實，不同模態通常既包含一致的情感信息，也包含互補的情感信息，其中互補信息能夠顯著提升模型性能。

許多先前的方法開發了復雜的機制，以融合來自不同模態的互補信息 [7,8]。其中大多數方法將每個模態的信息視為一個整體。然而，由于模態之間的異質性以及信息的多樣性，它們往往學到了粗糙或冗余的多模態表示 [9,10]。隨后，一些研究試圖通過首先學習模態的潛在表示，再從每個模態中提取理想特性，從而改進多模態融合。這些方法大致可分為兩類：(1) 一致性表征學習 [11–13]，主要關注模態間的一致信息。它將來自不同模態的特征視為一個統一的整體進行學習和評估，并利用相關性 [13]、互信息 [11] 和相似性 [12,14] 等約束條件，引導模型主要從包含一致信息的模態中學習。然而，這類方法無意中忽略了每個模態所特有的互補信息。(2) 解耦表征學習，不僅學習一致表征，還學習每個模態的特異性表征 [9,15,16]。與第一類方法相比，這是一種更細粒度的多模態表征學習。如圖1(b)所示，所有這些方法都采用二元解耦策略，將每個模態的表征分解為模態不變表征和模態特異性表征 u 。它們認為這兩部分都與標簽相關，并將它們

融合用于預測。然而，我們的研究發現了一個有趣的現象：模態不變表征通常與給定標簽一致，但在模態特異性表征中，只有部分信息與標簽語義一致且具有實際意義。例如，如圖1(a)所示，一個人正在推薦一部有趣的電影。她的面部表情和語調表明她覺得這部電影“有趣”。但某些文本信息，例如“messed up”（一團糟）這樣的詞語，卻反映出負面情感。由于前述方法忽視了這一問題，此類無關甚至沖突的信息實際上會損害模型的訓練和預測效果。

本文的貢獻如下：

(1) 我們重新審視了MAA問題，并提出了一種新穎的三重解耦模型TriDiRA，該模型從每個模態中解耦出模態不變表征和有效的模態特異性表征用于預測，同時排除無效的模態特異性表征。據我們所知，TriDiRA是文獻中首個用于情感分析任務的三重解耦模型。

(2) 我們引入了一個雙輸出注意力模塊。它可以通過高度動態的交互，實現模態特異性子空間與標簽相關子空間之間更好的交集，從而有助于提升三重解耦的有效性。

(3) 在情感回歸和多情緒分類數據集上的實驗驗證了我們所提方法的有效性。

1. 相關工作2.1 多模態表征學習

多模態表征學習旨在從每個模態中提取有效的語義信息并將其融合。大多數先前的工作聚焦于學習不同模態之間的一致性信息。例如，Mittal 等人 [17] 提出了 M3ER 方法，該方法引入了一個檢查步驟，利用典型相關分析（Canonical Correlational Analysis, CCA）[18] 有效區分無效模態與有效模態。類似地，Sun 等人 [19] 提出了 ICCN 模型，通過結合特征對的外積與深度典型相關分析（Deep Canonical Correlation Analysis, DCCA）[13] 來探索有用的多模態嵌入特征。與此不同的是，Han 等人 [11] 設計了 MMIM，旨在在輸入層和融合層同時最大化互信息（Mutual Information, MI）[20]，以在多模態融合過程中保留與標簽相關的信息。Yu 等人 [21] 提出了 Self-MM，這是一種多模態與單模態任務聯合訓練策略，分別促進模態間一致性的學習。Mai 等人 [12] 應用了模態內/模態間對比學習以及半對比學習，以處理樣本間和類別間的關系，同時縮小模態差距。Lin 等人 [22] 引入了一種新穎的極向量與強度向量混合模型（Polar-Vector and Strength-Vector mixer model），稱為 PSMixer，其設計目的是減輕多模態數據集中固有噪聲的影響。

若干研究聚焦于文本模態。例如，Zhang 等人 [23] 提出了 ALMT 框架，旨在在多尺度文本特征的指導下學習能夠抑制無關和沖突信息的表征。在另一項研究中，Wang 等人 [24] 提出了 CENet 模型，通過將視覺和聲學數據整合到單一語言模型框架中，以增強文本表征。此外，Wang 等人 [25] 引入了 TETFN，這是一個創新框架，通過學習以文本為導向的成對跨模態映射，以獲得有效的統一多模態表征。最近的一項工作 UniMSE [26] 將情感分析與情緒識別任務統一起來，并同時利用模態間對比學習來獲取具有判別性的多模態表征。

盡管如此，這些方法中的大多數可能會忽略各模態所獨有的互補特征。

2.2 二元解耦表征學習

近期的研究采用動態分析并學習每個模態內針對單個樣本的特征，從而形成一種細粒度的多模態表征學習方法。這些方法將特征分解為兩部分：在模態間共享的模態不變表征，以及每個模態私有的模態特異性表征。受域分離網絡（Domain Separation Network, DSN）[27] 的啟發，Hazarika 等人 [15] 提出了開創性工作 MISA，將每個模態的特征投影到一個模態不變子空間和一個模態特異性子空間中，隨后使用 Transformer [28] 對這兩個子空間的表征進行融合。Yang 等人 [9] 提出了 FDMER，通過改進解耦約束，并以對抗方式引導特征解耦，確保不同的表征被準確地映射到各自對應的子空間中。另一種方法 TAILOR [29] 同樣將模態特征解耦為兩組，并引入了一個類似 BERT 的 Transformer [30] 編碼器，以粒度遞減的方式逐步融合這些特征。此外，Yang 等人 [31] 提出使用自注意力模塊來增強模態特異性特征，并采用分層跨模態注意力模塊來探索模態不變特征之間的相關性。Li 等人 [16] 提出了一種解耦的多模態蒸餾方法，用于解耦模態特異性和模態不變信息。Yin 等人 [32] 設計了一個 Token 解耦模塊和一個 Token 互注意力 Transformer，以有效挖掘并整合情感信息。Liu 等人 [33] 引入了一種腦機耦合學習方法，利用腦電圖（EEG）信號與視覺圖像及其共享與私有表征進行聯合建模。

然而，值得注意的是，上述方法中極少有考慮到模態特異性表征中可能存在的無關或沖突表征。

我們提出的三重解耦策略 TriDiRA 重新審視了這一問題，聚焦于標簽相關子空間與模態相關子空間。由于這兩個子空間存在交集，TriDiRA 通過僅利用模態不變表征和有效的模態特異性表征，既能從模態特異性表征中學習互補信息，又能同時排除無關和沖突的信息。

1. 方法

3.1 任務定義

我們提出的 TriDiRA 模型由三個模塊組成：特征提取、特征解耦和特征融合，如圖2所示。具體細節如下所述。

3.2 特征提取

近期，基于 Transformer 的多模態學習在特征提取和融合方面展現了顯著的有效性。然而，隨著模態數量的增加，模型結構變得日益復雜，導致參數數量激增。一項新興研究 [34] 表明，模型中的統一架構可以處理不同模態的任意配置，并通過在不同模態間共享部分參數實現更高的參數效率 [35]。受此啟發，我們采用了一個統一的特征提取模塊，如圖2所示。該模塊包含三個模態特異性的 Transformer 編碼器和一個共享的 Transformer 編碼器。

3.3 解耦模塊

3.4 損失函數

每個解耦后的表征都具有自身的特性。為了獲得它們，我們精心設計了以下用于聯合優化的損失函數，包括任務損失、相似性損失、獨立性損失和重構損失。

3.4.1 任務損失

3.4.2 相似性損失

3.4.3 獨立性損失

1. 實驗4.1 數據集

為了與現有的解耦方法 [9,15,16,31] 進行比較，我們遵循它們的實驗協議，并在三個基準數據集 CMU-MOSI [39]、CMU-MOSEI [40] 和 UR-FUNNY [41] 上測試所有方法。這些數據集為每個話語（utterance）提供了多模態信號（文本、視覺和音頻）。由于這些數據集在回歸/分類任務中使用情感極性或強度作為標簽，我們額外引入了一個包含六類情緒的 MELD [42] 數據集，以評估所有方法的泛化能力。此外，與在實驗室環境中采集的數據（例如 IEMOCAP）不同，上述所有數據集中的語句均來自真實場景（in the wild），這正是我們測試的主要目標。四個數據集的詳細統計信息列于表1。

CMU-MOSI 包含從93個視頻中切分出的2199個話語視頻片段，其中89名個體就有趣話題表達自己的觀點。每個片段都經過人工標注，情感值范圍為 ?3 到 +3，表示所表達情感的極性（正/負）及其相對強度（由絕對值體現）。

CMU-MOSEI 在 CMU-MOSI 的基礎上進行了擴展，增大了數據規模。它包含22856個已標注的視頻片段（話語），來自5000個視頻、1000名個體和250個不同話題。

UR-FUNNY 提供了來自 TED 演講的16514個多模態話語樣本，涵蓋多樣化的主題和演講者。每個話語被標注為二元標簽：幽默（humor）或非幽默（non-humor）。

MELD 包含7274個多方對話的視頻片段，其標簽遵循 Ekman 提出的六種基本情緒類別，包括：喜悅（joy）、悲傷（sadness）、恐懼（fear）、憤怒（anger）、驚訝（surprise）和厭惡（disgust）。

4.2 評估指標

遵循先前工作 [9,11,15]，評估在兩個任務上進行：分類與回歸。對于 CMU-MOSI 和 CMU-MOSEI 數據集，報告分類任務中的二分類準確率（Acc-2）、F1分數和七分類準確率（Acc-7）。請注意，Acc-2 和 F1-Score 有兩種計算方式：負/非負（包含零）和負/正（排除零）。我們還報告了回歸任務中的平均絕對誤差（MAE）和皮爾遜相關系數（Corr）。對于 UR-FUNNY 數據集，報告二分類準確率（Acc-2）和 F1-Score。對于 MELD 數據集，報告六分類準確率（Acc-6）。除 MAE 外，所有指標的數值越高代表性能越好。

4.3 實驗設置

對于文本特征，所有數據集均采用基于 BERT 的未區分大小寫預訓練模型 [30]。在 CMU-MOSI、CMU-MOSEI 和 MELD 數據集上，使用 librosa [43] 提取梅爾頻譜圖以獲得聲學特征，并使用預訓練的 EffecientNet [44] 獲取視覺特征。UR-FUNNY 使用 COVAREP [45] 提取聲學特征，使用 OpenFace [46] 提取面部表情特征。UR-FUNNY 的多模態特征是詞對齊的，而其他三個數據集使用詞不對齊的特征。所有方法均在一塊 RTX 3090 GPU 上進行訓練和測試。每次實驗重復五次，報告平均結果。

為解決在四個數據集上訓練時的收斂問題，采用了兩階段訓練策略。在第一階段，訓練不含 DS 模塊（解耦模塊）的模型。在第二階段，將 DS 模塊和多頭注意力模塊插入后繼續訓練。此外，關于隨機種子，第一階段應用其最優權重，第二階段則采用五個隨機種子的平均值。

4.4 與 SOTA 方法的比較

4.4.1 對比方法

由于 TriDiRA 是首個三重解耦方法，性能對比主要與二元解耦方法 [9,15,16,29,31,32] 進行。我們首先核查了它們在文獻中報告的性能，然后選出了前四名（FDMER [9]、DMD [16]、MFSA [31] 和 TMT [32]）以及代表性方法（MISA [15]）作為對比對象。我們還考察了多模態表征學習方法 [11,12,17,19,21–24,26]。前六名方法（MMIM [11]、UniMSE [26]、HyCon [12]、PS-Mixer [22]、CENet (B)1 [24] 和 ALMT [23]）也被納入對比范圍。

4.4.2 結果與分析

4.4.2.1 情感分析。

在 MOSI 和 MOSEI 上的評估結果列于表3。可以觀察到，TriDiRA 在大多數指標上（包括回歸和分類）均優于所有重新實現的對比方法。

至于一致性表征學習方法，MMIM [11]、HyCon [12]、CENet [24] 和 ALMT [23] 均聚焦于縮小模態差距；PS-Mixer [22] 則旨在減少噪聲并促進多模態融合。這些方法都能有效改進多模態融合與預測，但可能會忽略某些模態特異性表征。而 TriDiRA 能進一步利用這些表征以獲取互補信息，從而實現更優的性能。

一項新興工作 UniMSE [26] 通過生成通用標簽，將四個異構數據集統一起來。它通過大幅擴展訓練數據顯著提升了表征學習效果，并取得了當前最優（SOTA）成績。相比之下，TriDiRA 僅依賴給定的數據集，卻憑借在學習過程中剔除無效表征，達到了可比的結果。

4.4.2.2 幽默檢測
由于幽默數據通常在不同模態間包含不一致的信息，我們專門在 UR-FUNNY（一個二分類數據集）上驗證了 TriDiRA 的有效性。表4中的結果顯示出與表3中 ACC-2 結果相似的趨勢，TriDiRA 同樣取得了最佳性能。

4.4.2.3 情緒分類
為測試 TriDiRA 與其他方法的魯棒性，還在更具挑戰性的情緒分類數據集 MELD 上進行了比較。表4中的結果表明，TriDiRA 通過捕捉有效的情緒信息，優于其他方法。

簡言之，TriDiRA 在情感回歸和多情緒分類任務上的優越性表明其具有顯著的泛化能力。

二元解耦方法將模態特異性表征視為與標簽相關，如同模態不變表征一樣。

然而，我們發現并非所有樣本在各模態中都包含與標簽一致的信息，也就是說，模態特異性表征可能包含與標簽沖突的信息。因此，僅在包含沖突信息的樣本上評估模型是很有意義的。然而，很少有數據集提供單模態的標注。為了識別包含沖突信息的樣本，我們在廣泛使用的 MOSI 數據集上應用了 Self-MM 模型 [21]——該模型旨在為每個模態生成偽標簽——以篩選樣本，并構建一個新的子集用于進一步評估。篩選標準是：如果 Self-MM 輸出的任意一個單模態標簽與給定標簽在回歸任務上的差異較大（≥2.5），則該樣本被選中。最終，從原始測試集中選出了 103 個樣本。我們認為這些樣本的一個或多個模態可能包含與標簽沖突的信息。該子集可通過 https://anonymous.4open.science/r/TriDiRA 獲取。

所有對比方法均在此子集上進行了評估。表5所示的結果表明，TriDiRA 在 MAE 指標上相比其他方法提升了 9.5% 至 46.7%，在相關系數（correlation）指標上提升了 3.9% 至 23.1%。如此顯著的性能提升部分解釋了為何 TriDiRA 在第 4.4 節中優于所有對比方法。然而，人們仍可看出 TriDiRA 在該子集上尚有進一步改進的空間。CENet (B) [24] 在 ACC-7 指標上取得了最佳性能，而 TriDiRA 獲得了次優結果。這可能歸因于 CENet 更側重于文本模態，而在 CMU-MOSI 數據集中，相當一部分沖突樣本主要依賴文本信息。此外，我們發現一小部分樣本的三個模態均與給定標簽相沖突。表5中列出的所有方法均無法正確處理這類樣本。這一問題將在第5節“討論與結論”中進一步探討。

4.6 解耦表征的披露

4.7 消融研究

如圖2所示，TriDiRA 由三個模塊組成：特征提取、特征解耦和特征融合。模型優化中使用了五個損失函數。我們在 MOSI 數據集上對每個模塊和損失函數進行評估，并在表8中報告其有效性。

模塊的重要性：我們設置了一個基線模型，用于測試每個關鍵模塊的影響。該基線由三個模態特異性 Transformer 編碼器和多頭自注意力 Transformer 組成（如圖2所示），因為這兩者均為廣泛采用的特征提取與特征融合方法。隨后，分別將解耦模塊（DS）和共享 Transformer（ST）模塊插入基線模型中進行評估。我們可以觀察到，DS 模塊在提升模型性能方面發揮了重要作用。ST 模塊能夠對齊異構的多模態特征，從而提升模型性能，尤其在回歸任務上表現更為明顯。DS 模塊不僅能在不同模態間對齊有效表征，還能捕捉互補信息。將這兩個模塊結合，將進一步增強 DS 模塊提取有效表征的能力。

模態的重要性：我們系統地進行了實驗，通過依次排除單個模態來評估各模態對性能的影響。如表8所示，文本模態在多模態情感分析任務中起著最關鍵的作用。而使用多模態數據可以獲得最優性能，表明模型能夠捕捉互補特性，從而學習到更全面的信息。

損失權重設置：為展示模型在不同損失權重組合下的性能變化，我們在 MOSI 數據集上報告了詳細結果（見表9）。可以看出，權重組合 (a) 能帶來 TriDiRA 更優的性能，因此后續實驗均采用該組合 (a)。

4.8 正則項的變化趨勢

這些損失函數作為衡量模型對三種表征解耦效果的指標。因此，我們在 CMU-MOSI 數據集的訓練集上追蹤了訓練過程中各損失的變化。圖6展示了六種不同損失函數及整體模型損失的收斂曲線。可以看出，所有損失均隨著訓練輪數（epochs）的增加而呈下降趨勢，并且在40個epoch內即可收斂。這表明模型確實在按照設計學習所需的表征。

1. 討論與結論

我們提出了 TriDiRA——一種新穎的三重解耦表征學習方法，旨在防止模型受到模態特異性表征中無關或沖突信息的干擾。盡管 TriDiRA 表面上看似是對二元解耦學習的升級，但它通過深入考察多模態情感分析（MAA）任務的本質，解決了一個被二元方法所忽視的核心問題。因此，TriDiRA 在情感回歸和情緒分類任務上均顯著優于當前最先進的（SOTA）方法，并展現出更強的泛化能力。通過兩個第三方評估器進行的探索性分析揭示了其理想特性：通過剔除與標簽無關的表征，有效表征的質量得到了提升。

在未來的工作中，相似性損失與獨立性損失的建模方式為引入多樣化的正則化替代方案提供了可能。因此，我們計劃探索其他選項，以進一步增強三重解耦的效果，特別是提升模態不變表征的質量。此外，我們識別出一些樣本，其全部三個模態所包含的語義均與給定標簽相沖突。這引出了一個開放性問題：這類樣本中是否仍存在模態不變表征？以及如何從中解耦出可用于預測的表征？這一問題同樣適用于一致性表征學習方法，也是未來需要解決的重要挑戰。

原文鏈接：https://www.sciencedirect.com/science/article/pii/S156625352400441X