URMF: Uncertainty-aware Robust Multimodal Fusion for Multimodal Sarcasm Detection

📄 arXiv: 2604.06728v1 📥 PDF

作者: Zhenyu Wang, Weichen Cheng, Weijia Li, Junjie Mou, Zongyou Zhao, Guoying Zhang

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-04-08

💡 一句话要点

提出URMF，通过不确定性感知的多模态融合提升多模态讽刺检测的鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态讽刺检测 不确定性建模 鲁棒融合 跨模态交互 注意力机制

📋 核心要点

  1. 现有MSD方法忽略了模态可靠性的差异，易受噪声模态干扰，导致鲁棒性下降。
  2. URMF通过显式建模模态不确定性，动态调节各模态的贡献，从而实现更鲁棒的融合。
  3. 实验表明，URMF在多个MSD基准上显著优于现有方法，验证了其有效性。

📝 摘要（中文）

多模态讽刺检测(MSD)旨在通过文本和图像之间的语义不一致性来识别讽刺意图。虽然最近的方法通过跨模态交互和不一致性推理改进了MSD，但它们通常假设所有模态都同样可靠。然而，在真实的社交媒体中，文本内容可能含糊不清，视觉内容可能相关性较弱甚至不相关，导致确定性融合引入噪声证据并削弱鲁棒推理。为了解决这个问题，我们提出了不确定性感知鲁棒多模态融合(URMF)，这是一个统一的框架，它在交互和融合过程中显式地建模模态可靠性。URMF首先采用多头交叉注意力将视觉证据注入到文本表示中，然后在融合的语义空间中进行多头自注意力以增强不一致性感知推理。然后，它通过将每个模态参数化为可学习的高斯后验，对文本、图像和交互感知潜在表示执行统一的单模态 aleatoric 不确定性建模。估计的不确定性进一步用于动态调节融合期间的模态贡献，抑制不可靠的模态，并产生更鲁棒的联合表示。此外，我们设计了一个联合训练目标，集成了任务监督、模态先验正则化、跨模态分布对齐和不确定性驱动的自采样对比学习。在公共MSD基准上的实验表明，URMF始终优于强大的单模态、多模态和基于MLLM的基线，证明了不确定性感知融合在提高准确性和鲁棒性方面的有效性。

🔬 方法详解

问题定义：多模态讽刺检测旨在利用文本和图像之间的不一致性来识别讽刺意图。然而，现有方法通常假设所有模态都是可靠的，这在实际应用中并不成立。文本可能存在歧义，图像可能不相关，导致融合过程引入噪声，降低模型的鲁棒性。

核心思路：URMF的核心思路是显式地建模每个模态的不确定性，并利用这些不确定性来动态地调节各模态在融合过程中的贡献。通过抑制不可靠模态的影响，可以提高融合表示的质量，从而提升讽刺检测的准确性和鲁棒性。

技术框架：URMF包含以下主要模块：1) 多头交叉注意力：将视觉信息注入文本表示，实现跨模态交互。2) 多头自注意力：增强融合语义空间中的不一致性感知推理。3) 不确定性建模：对文本、图像和交互表示进行单模态不确定性估计，使用可学习的高斯后验参数化每个模态。4) 不确定性驱动的融合：根据估计的不确定性动态调节模态贡献。

关键创新：URMF的关键创新在于显式地建模和利用模态不确定性进行融合。与现有方法不同，URMF能够自适应地调整各模态的权重，从而降低噪声模态的影响，提高模型的鲁棒性。

关键设计：URMF采用 aleatoric 不确定性建模，将每个模态表示为一个高斯分布，并通过学习分布的参数来估计不确定性。损失函数包括任务监督损失、模态先验正则化损失、跨模态分布对齐损失和不确定性驱动的自采样对比学习损失。自采样对比学习损失利用不确定性来选择更有信息量的样本进行对比学习，进一步提升模型的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

URMF在多个公开MSD数据集上取得了显著的性能提升。例如，在Twitter数据集上，URMF的F1-score比最强的基线模型提高了超过3%。实验结果表明，URMF能够有效地降低噪声模态的影响，提高模型的鲁棒性和泛化能力。

🎯 应用场景

URMF可应用于社交媒体情感分析、舆情监控、智能客服等领域。通过准确识别讽刺言论，可以提升情感分析的准确性，更好地理解用户意图，从而改进人机交互体验。此外，该方法也可用于检测网络欺诈和恶意评论，维护健康的网络环境。

📄 摘要（原文）

Multimodal sarcasm detection (MSD) aims to identify sarcastic intent from semantic incongruity between text and image. Although recent methods have improved MSD through cross-modal interaction and incongruity reasoning, they often assume that all modalities are equally reliable. In real-world social media, however, textual content may be ambiguous and visual content may be weakly relevant or even irrelevant, causing deterministic fusion to introduce noisy evidence and weaken robust reasoning. To address this issue, we propose Uncertainty-aware Robust Multimodal Fusion (URMF), a unified framework that explicitly models modality reliability during interaction and fusion. URMF first employs multi-head cross-attention to inject visual evidence into textual representations, followed by multi-head self-attention in the fused semantic space to enhance incongruity-aware reasoning. It then performs unified unimodal aleatoric uncertainty modeling over text, image, and interaction-aware latent representations by parameterizing each modality as a learnable Gaussian posterior. The estimated uncertainty is further used to dynamically regulate modality contributions during fusion, suppressing unreliable modalities and yielding a more robust joint representation. In addition, we design a joint training objective integrating task supervision, modality prior regularization, cross-modal distribution alignment, and uncertainty-driven self-sampling contrastive learning. Experiments on public MSD benchmarks show that URMF consistently outperforms strong unimodal, multimodal, and MLLM-based baselines, demonstrating the effectiveness of uncertainty-aware fusion for improving both accuracy and robustness.