ConsMSA: Semantic Distribution Consistency Learning for Multimodal Sentiment Analysis

📄 arXiv: 2610.31731v1 📥 PDF

作者: Pan Wang, Lipeng Ke, Huajun Ying, Pritish Mohapatra, Rohan Sarkar, Suresh Lakhani, Sankar Venkataraman, Jingtong Hu

分类: cs.LG, cs.MM

发布日期: 2026-10-22

备注: ICML 2026

💡 一句话要点

提出ConsMSA以解决多模态情感分析中的语义一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 语义一致性 特征重加权 情感预测 深度学习

📋 核心要点

  1. 现有的多模态情感分析方法在处理模态间的语义不一致性时存在冗余和冲突，影响了情感理解的准确性和效率。
  2. 本文提出的ConsMSA通过引入模态内和模态间的一致性得分，增强了多模态特征的语义一致性，提升了情感预测的稳健性。
  3. 在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上的实验结果显示，ConsMSA在性能上超越了现有方法，并在特征压缩下保持了良好的准确性。

📝 摘要（中文）

多模态情感分析（MSA）旨在通过整合文本、视频和音频等不同模态的信号来预测人类情感。然而，原始的多模态序列常常存在语义不一致的问题，这会导致冗余或模态间的冲突，从而妨碍对情感的稳健理解并增加计算成本。为此，本文提出了ConsMSA，明确形式化了模态内和模态间的语义分布一致性，提供了一种一致性感知机制以实现稳健且高效的多模态情感预测。具体而言，ConsMSA将多模态特征投影到共享情感空间中，以计算模态内和模态间一致性得分（$I^2CS$）。通过将该得分与预测相关性结合，形成了一致性感知的重要性信号，应用于训练过程中的一致性正则化、适应性多模态特征重加权以及冗余或冲突特征的剪枝。大量实验表明，ConsMSA在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上实现了最先进的性能，并在激进的特征压缩下保持稳健性，仅保留10%的特征仍能获得可比的准确率。

🔬 方法详解

问题定义：本文旨在解决多模态情感分析中存在的语义不一致性问题，现有方法在处理模态间冗余和冲突时效率低下，影响情感预测的准确性。

核心思路：ConsMSA通过明确形式化模态内和模态间的语义分布一致性，设计了一种一致性感知机制，以提高多模态情感分析的稳健性和效率。

技术框架：ConsMSA的整体架构包括三个主要模块：1) 特征投影模块，将多模态特征映射到共享情感空间；2) 一致性得分计算模块，计算模态内和模态间的一致性得分（$I^2CS$）；3) 重要性信号生成模块，利用一致性得分进行特征重加权和剪枝。

关键创新：ConsMSA的主要创新在于引入了一致性得分（$I^2CS$），并将其与预测相关性结合，形成一致性感知的重要性信号，显著提升了多模态情感分析的性能。

关键设计：在模型训练中，使用了一致性正则化损失函数来对齐潜在分布，同时设计了适应性重加权机制以优化多模态特征的贡献，确保模型在特征压缩时仍能保持准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ConsMSA在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上均达到了最先进的性能，相较于基线方法，准确率提升幅度显著。在极端特征压缩情况下，仅保留10%的特征仍能保持与全特征模型相当的准确性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括社交媒体情感分析、视频内容情感理解以及人机交互等。通过提高多模态情感分析的准确性和效率，ConsMSA能够为情感计算和智能系统提供更为可靠的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Multimodal sentiment analysis (MSA) aims to predict human sentiments by integrating signals from different modalities such as text, video, and audio. However, raw multimodal sequences often suffer from semantic inconsistency--exhibiting redundancy or conflicts within and across modalities--which hinders robust understanding and increases computational cost. To this end, we introduce ConsMSA, which explicitly formalizes semantic distribution consistency across both $\textit{intra}$- and $\textit{inter}$-modality, providing a consistency-aware mechanism for robust and efficient multimodal sentiment prediction. Specifically, ConsMSA projects multimodal token features into a shared sentiment space to compute an Intra- and Inter-modality Consistency Score ($I^2CS$). By coupling this score with predictive relevance, we formulate consistency-aware importance signals that are utilized: (i) as a consistency regularizer to align latent distributions during training, (ii) to derive semantic-aware weights for adaptive multimodal token reweighting, and (iii) as a practical criterion to prune redundant or conflicting tokens. Extensive experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS demonstrate that ConsMSA achieves state-of-the-art performance while remaining robust under aggressive token compression--retaining only 10% of tokens yields comparable accuracy. These results establish semantic distribution consistency as a promising foundation for synergizing predictive robustness with computational efficiency.