Conditional Information Bottleneck for Multimodal Fusion: Overcoming Shortcut Learning in Sarcasm Detection

📄 arXiv: 2508.10644v2 📥 PDF

作者: Yihua Wang, Qi Jia, Cong Xu, Feiyu Chen, Yuhan Liu, Haotian Zhang, Liang Jin, Lu Liu, Zhichun Wang

分类: cs.LG

发布日期: 2025-08-14 (更新: 2025-11-17)

备注: Accepted at AAAI 2026 Conference

💡 一句话要点

提出多模态条件信息瓶颈模型，解决讽刺检测中存在的捷径学习问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 讽刺检测 信息瓶颈 捷径学习 情感分析

📋 核心要点

  1. 现有讽刺检测方法易于从数据集中学习捷径，导致模型泛化能力差，无法有效提取讽刺相关特征。
  2. 提出多模态条件信息瓶颈（MCIB）模型，旨在通过高效的多模态融合来提升讽刺检测的性能。
  3. 通过构建去除捷径信号的数据集MUStARD++$^{R}$，并在此基础上进行实验，MCIB模型取得了最佳性能。

📝 摘要（中文）

多模态讽刺检测是一项复杂的任务，它需要区分跨模态的细微互补信号，同时过滤掉不相关的信息。许多先进的方法依赖于从数据集中学习捷径，而不是提取预期的与讽刺相关的特征。然而，我们的实验表明，捷径学习会损害模型在实际场景中的泛化能力。此外，我们通过系统的实验揭示了当前多模态讽刺检测模态融合策略的弱点，突出了关注复杂情感识别的有效模态融合的必要性。为了应对这些挑战，我们通过删除MUStARD++中的捷径信号来构建MUStARD++$^{R}$。然后，引入多模态条件信息瓶颈（MCIB）模型，以实现高效的多模态融合讽刺检测。实验结果表明，MCIB在不依赖捷径学习的情况下实现了最佳性能。

🔬 方法详解

问题定义：现有的多模态讽刺检测方法容易学习数据集中的捷径（shortcut learning），导致模型在实际应用中泛化能力不足。这些方法未能真正理解讽刺的本质，而是依赖于数据集中存在的偏差或模式。因此，如何避免捷径学习，提取真正与讽刺相关的特征，是本文要解决的核心问题。

核心思路：本文的核心思路是利用信息瓶颈（Information Bottleneck, IB）原理，结合条件信息，来约束模型学习到的特征。信息瓶颈的目标是在保留与目标任务相关的信息的同时，尽可能地压缩输入信息。通过引入条件信息，模型可以更好地关注不同模态之间的互补信息，从而避免学习到与讽刺无关的捷径。

技术框架：MCIB模型主要包含以下几个模块：1) 多模态特征提取模块：用于从文本、图像等不同模态中提取特征。2) 条件信息编码模块：用于编码与讽刺相关的条件信息，例如上下文信息。3) 信息瓶颈约束模块：通过引入信息瓶颈损失函数，约束模型学习到的特征既要包含与目标任务相关的信息，又要尽可能地压缩输入信息。4) 融合与分类模块：将不同模态的特征进行融合，并进行讽刺分类。

关键创新：本文的关键创新在于将条件信息与信息瓶颈原理相结合，提出了多模态条件信息瓶颈（MCIB）模型。与传统的信息瓶颈方法不同，MCIB模型考虑了条件信息，使得模型可以更好地关注不同模态之间的互补信息，从而避免学习到与讽刺无关的捷径。此外，本文还构建了一个去除捷径信号的数据集MUStARD++$^{R}$，用于评估模型的泛化能力。

关键设计：在信息瓶颈约束模块中，使用了KL散度来衡量特征压缩的程度。损失函数由分类损失和信息瓶颈损失两部分组成，通过调整两者的权重来平衡分类性能和特征压缩程度。在网络结构方面，可以使用各种常见的神经网络结构，例如Transformer、CNN等。具体的参数设置需要根据数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MCIB模型在MUStARD++$^{R}$数据集上取得了最佳性能，验证了其在避免捷径学习方面的有效性。相较于现有方法，MCIB模型在泛化能力方面有显著提升，表明其能够更好地适应实际应用场景。具体的性能数据需要在论文中查找。

🎯 应用场景

该研究成果可应用于情感分析、舆情监控、人机交互等领域。通过提高讽刺检测的准确率，可以更准确地理解用户的情感倾向，从而改善用户体验，并为决策提供更可靠的依据。未来，该方法可以扩展到其他复杂情感的识别，例如幽默、愤怒等。

📄 摘要（原文）

Multimodal sarcasm detection is a complex task that requires distinguishing subtle complementary signals across modalities while filtering out irrelevant information. Many advanced methods rely on learning shortcuts from datasets rather than extracting intended sarcasm-related features. However, our experiments show that shortcut learning impairs the model's generalization in real-world scenarios. Furthermore, we reveal the weaknesses of current modality fusion strategies for multimodal sarcasm detection through systematic experiments, highlighting the necessity of focusing on effective modality fusion for complex emotion recognition. To address these challenges, we construct MUStARD++$^{R}$ by removing shortcut signals from MUStARD++. Then, a Multimodal Conditional Information Bottleneck (MCIB) model is introduced to enable efficient multimodal fusion for sarcasm detection. Experimental results show that the MCIB achieves the best performance without relying on shortcut learning.