Learning Invariant Modality Representation for Robust Multimodal Learning from a Causal Inference Perspective

📄 arXiv: 2604.18460v1 📥 PDF

作者: Sijie Mai, Shiqin Han

分类: cs.LG

发布日期: 2026-04-20

备注: Accepted by ACL 2026 Main

💡 一句话要点

提出CmIR框架，通过因果推断学习模态不变表示，提升多模态情感计算的鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 情感计算 因果推断 模态不变表示 鲁棒性 解耦表示 分布外泛化

📋 核心要点

  1. 现有模型在多模态情感计算中易受虚假相关性影响，导致泛化能力不足，尤其是在分布偏移或噪声数据下。
  2. CmIR框架通过因果推断解耦模态表示，分离出与环境无关的因果不变表示和环境相关的虚假表示。
  3. 实验结果表明，CmIR在多个基准数据集上取得了SOTA性能，尤其在分布外和噪声数据上表现出色。

📝 摘要（中文）

多模态情感计算旨在利用语言、声音和视觉模态来预测人类的情感、情绪、意图和观点。然而，当前的模型经常学习到虚假的相关性，这损害了在分布偏移或噪声模态下的泛化能力。为了解决这个问题，我们提出了一个因果模态不变表示（CmIR）学习框架，用于鲁棒的多模态学习。其核心是，我们引入了一种理论上可靠的解耦方法，从因果推断的角度将每个模态分离为“因果不变表示”和“环境特定的虚假表示”。CmIR通过不变性约束、互信息约束和重构约束，确保学习到的不变表示在不同环境中保持与标签的稳定预测关系，同时保留来自原始输入的足够信息。在多个多模态基准数据集上的实验表明，CmIR实现了最先进的性能。CmIR在分布外数据和噪声数据上表现尤为出色，证实了其鲁棒性和泛化能力。

🔬 方法详解

问题定义：多模态情感计算模型容易受到数据集中存在的虚假相关性的影响，导致模型在新的、未见过的环境中表现不佳。例如，模型可能过度依赖于某个模态的特定特征，而忽略了其他模态的信息，或者学习到与环境相关的噪声模式。现有方法缺乏有效的机制来区分因果关系和虚假相关性，从而限制了模型的泛化能力。

核心思路：CmIR的核心思想是从因果推断的角度出发，将每个模态的表示解耦为两部分：一部分是与环境无关的“因果不变表示”，它捕捉了模态中与预测目标具有稳定因果关系的特征；另一部分是“环境特定的虚假表示”，它捕捉了模态中与环境相关的噪声或虚假相关性。通过学习这种解耦表示，模型可以更好地泛化到新的环境，并对噪声模态具有更强的鲁棒性。

技术框架：CmIR框架包含以下主要模块：1) 模态编码器：将原始模态数据编码为高维表示。2) 解耦模块：利用因果推断方法，将每个模态的表示解耦为因果不变表示和环境特定的虚假表示。3) 预测模块：利用学习到的因果不变表示进行情感预测。4) 约束模块：包含不变性约束、互信息约束和重构约束，用于保证学习到的表示的质量和有效性。整体流程是，首先通过模态编码器提取特征，然后通过解耦模块分离因果不变表示和虚假表示，接着利用因果不变表示进行预测，最后通过约束模块优化整个模型。

关键创新：CmIR的关键创新在于其基于因果推断的解耦方法。与传统的特征选择或注意力机制不同，CmIR通过显式地建模因果关系，能够更有效地分离因果不变特征和虚假相关特征。这种方法能够更好地捕捉模态之间的真实关系，并提高模型的泛化能力。此外，CmIR还引入了多种约束，包括不变性约束、互信息约束和重构约束，以保证学习到的表示的质量和有效性。

关键设计：CmIR的关键设计包括：1) 不变性约束：鼓励因果不变表示在不同环境中保持稳定，通过最小化不同环境下的表示之间的差异来实现。2) 互信息约束：最大化因果不变表示与预测目标之间的互信息，以保证表示包含足够的信息用于预测。3) 重构约束：利用因果不变表示和虚假表示重构原始模态数据，以保证表示保留了原始数据的足够信息。损失函数由这三个约束项加权组成，权重参数需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CmIR在多个多模态基准数据集上取得了SOTA性能，例如在CMU-MOSEI数据集上，CmIR的7类情感分类准确率达到了XX%，相比于之前的SOTA模型提升了YY%。此外，CmIR在分布外数据和噪声数据上表现尤为出色，证明了其鲁棒性和泛化能力。消融实验也验证了各个约束项的有效性。

🎯 应用场景

CmIR框架可应用于各种多模态情感计算任务，例如情感识别、情绪分析、意图预测等。该研究成果有助于提升人机交互系统的智能化水平，例如在智能客服、在线教育、智能医疗等领域，可以利用CmIR框架构建更鲁棒、更可靠的情感识别模型，从而提供更个性化、更人性化的服务。未来，该方法还可以扩展到其他多模态学习任务，例如多模态机器翻译、多模态图像描述等。

📄 摘要（原文）

Multimodal affective computing aims to predict humans' sentiment, emotion, intention, and opinion using language, acoustic, and visual modalities. However, current models often learn spurious correlations that harm generalization under distribution shifts or noisy modalities. To address this, we propose a causal modality-invariant representation (CmIR) learning framework for robust multimodal learning. At its core, we introduce a theoretically grounded disentanglement method that separates each modality into causal invariant representation' andenvironment-specific spurious representation' from a causal inference perspective. CmIR ensures that the learned invariant representations retain stable predictive relationships with labels across different environments while preserving sufficient information from the raw inputs via invariance constraint, mutual information constraint, and reconstruction constraint. Experiments across multiple multimodal benchmarks demonstrate that CmIR achieves state-of-the-art performance. CmIR particularly excels on out-of-distribution data and noisy data, confirming its robustness and generalizability.