A Conflict-Aware Penalty and Statistical Loss Framework for Balancing Modalities and Enhancing Stability in Multimodal Sentiment Analysis

📄 arXiv: 2605.28575v1 📥 PDF

作者: Jianheng Dai, Jiazhang Liang, Sijie Mai

分类: cs.AI

发布日期: 2026-05-27

💡 一句话要点

提出冲突感知惩罚与统计损失框架，平衡多模态信息并提升多模态情感分析稳定性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 梯度冲突 模态平衡 统计损失 冲突感知惩罚

📋 核心要点

  1. 现有MSA方法易受文本模态主导的影响，导致其他模态被抑制，训练过程不稳定。
  2. 提出冲突感知惩罚(CP)和统计损失(SL)，分别解决梯度冲突和模态分布对齐问题。
  3. 实验表明，该方法在CMU-MOSI数据集上取得了SOTA性能，验证了各组件的有效性。

📝 摘要（中文）

多模态情感分析(MSA)融合文本、声音和视觉信息流来推断情感。由于预训练文本编码器比声音和视觉编码器更具表达性，文本模态往往主导优化过程，抑制较弱模态，并导致梯度范数冲突，从而破坏训练的稳定性。为了解决这个问题，我们提出了一种冲突感知惩罚(CP)，它检测并惩罚每个训练步骤中的梯度范数冲突，以及一种统计损失(SL)，它将预测分布统计与经验输入统计对齐。至关重要的是，CP防止主导模态梯度干扰SL目标，从而在统一框架内实现协同训练，该框架结合了自适应模态编码、门控跨模态融合和单模态辅助头。在CMU-MOSI上的实验表明，该方法达到了最先进的性能，消融研究证实了每个组件的有效性。

🔬 方法详解

问题定义：多模态情感分析旨在融合文本、音频和视觉信息来预测情感。然而，由于预训练的文本编码器通常比音频和视觉编码器更强大，文本模态容易主导训练过程，导致其他模态的信息被忽略，模型性能受限。此外，不同模态之间的梯度冲突会进一步 destabilize 训练过程，使得模型难以收敛到一个好的局部最优解。

核心思路：本论文的核心思路是通过引入冲突感知惩罚(Conflict-aware Penalty, CP)来缓解模态之间的梯度冲突，并利用统计损失(Statistical Loss, SL)来对齐不同模态的特征分布。CP旨在检测并惩罚训练过程中出现的梯度范数冲突，从而避免强势模态过度影响其他模态的学习。SL则通过最小化预测分布与输入分布之间的差异，促使模型更好地利用各个模态的信息。

技术框架：该框架包含以下几个主要模块：1) 自适应模态编码：对文本、音频和视觉模态进行特征提取，并使用自适应权重来调整不同模态的贡献。2) 门控跨模态融合：利用门控机制来控制不同模态之间的信息交互，从而实现更有效的跨模态融合。3) 单模态辅助头：为每个模态设置独立的预测头，以增强模型对单模态信息的理解。4) 冲突感知惩罚(CP)：在训练过程中检测并惩罚梯度范数冲突。5) 统计损失(SL)：对齐预测分布与输入分布的统计信息。

关键创新：该论文的关键创新在于提出了冲突感知惩罚(CP)和统计损失(SL)这两个模块。CP能够有效地缓解模态之间的梯度冲突，从而避免强势模态主导训练过程。SL则通过对齐预测分布与输入分布的统计信息，促使模型更好地利用各个模态的信息。与现有方法相比，该方法能够更有效地平衡不同模态的信息，并提升模型的稳定性和泛化能力。

关键设计：CP通过计算不同模态梯度之间的余弦相似度来检测梯度冲突，并对冲突较大的梯度进行惩罚。SL则通过最小化预测分布和输入分布之间的均值和方差差异来实现分布对齐。具体来说，SL的计算公式为：SL = ||mean(predicted) - mean(input)||^2 + ||std(predicted) - std(input)||^2。此外，该框架还采用了自适应模态编码和门控跨模态融合等技术，以进一步提升模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CMU-MOSI数据集上，该方法取得了state-of-the-art的性能。消融实验表明，冲突感知惩罚(CP)和统计损失(SL)都对模型性能有显著贡献。相较于基线模型，该方法在情感分类准确率和F1-score上均有明显提升，验证了其有效性。

🎯 应用场景

该研究成果可应用于情感分析、舆情监控、智能客服等领域。通过更准确地理解用户的情感，可以提升人机交互的自然性和有效性。未来，该方法可以扩展到其他多模态任务，例如视频理解、机器人交互等，具有广阔的应用前景。

📄 摘要（原文）

Multimodal Sentiment Analysis (MSA) fuses text, acoustic, and visual streams to infer sentiment. Because pre-trained text encoders are far more expressive than their acoustic and visual counterparts, the text modality tends to dominate optimization, suppressing weaker modalities and inducing gradient norm conflicts that destabilize training. To address this, we propose a Conflict-aware Penalty (CP) that detects and penalizes gradient norm conflicts at each training step, and a Statistical Loss (SL) that aligns predicted distribution statistics with empirical input statistics. Crucially, CP prevents dominant modality gradients from interfering with the SL objective, enabling synergistic training within a unified framework incorporating adaptive modality encoding, gated cross-modal fusion, and unimodal auxiliary heads. Experiments on CMU-MOSI demonstrate state-of-the-art performance, with ablation studies confirming the effectiveness of each component.