The Devil Is in the Details: Tackling Unimodal Spurious Correlations for Generalizable Multimodal Reward Models

📄 arXiv: 2503.03122v4 📥 PDF

作者: Zichao Li, Xueru Wen, Jie Lou, Yuqiu Ji, Yaojie Lu, Xianpei Han, Debing Zhang, Le Sun

分类: cs.CL, cs.AI

发布日期: 2025-03-05 (更新: 2025-05-21)

备注: ICML 2025

💡 一句话要点

提出Shortcut-aware算法，解决多模态奖励模型中的单模态虚假相关性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 奖励模型 虚假相关性 泛化能力 样本重加权 大型语言模型 分布外泛化

📋 核心要点

  1. 现有的多模态奖励模型易受单模态数据中的虚假相关性影响，导致模型泛化能力不足。
  2. 论文提出Shortcut-aware算法，通过动态重加权样本，减少模型对单模态捷径的依赖，提升多模态理解。
  3. 实验结果表明，该方法在泛化能力、下游任务性能和模型可扩展性方面均有显著提升。

📝 摘要（中文）

多模态奖励模型(MM-RMs)对于将大型语言模型(LLMs)与人类偏好对齐至关重要，尤其是在LLMs越来越多地与多模态数据交互时。然而，我们发现，在现有数据集上训练的MM-RMs常常难以泛化到分布外数据，因为它们依赖于单模态虚假相关性，主要是训练分布中的纯文本捷径，这阻碍了它们利用真正的多模态奖励函数。为了解决这个问题，我们提出了一种Shortcut-aware MM-RM学习算法，通过动态地重新加权训练样本来缓解这个问题，将分布转移到更好的多模态理解，并减少对单模态虚假相关性的依赖。我们的实验表明，在泛化、下游任务性能和可扩展性方面都有显著的改进，从而为多模态奖励建模建立了一个更强大的框架。

🔬 方法详解

问题定义：现有的多模态奖励模型（MM-RMs）在训练时容易受到单模态数据（特别是文本数据）中存在的虚假相关性的影响。这意味着模型可能会学习到一些与真实多模态奖励函数无关的捷径，例如仅仅依赖文本信息来预测奖励，而忽略了图像等其他模态的信息。这种现象导致模型在面对分布外（out-of-distribution）数据时，泛化能力显著下降，无法准确评估真实的人类偏好。

核心思路：论文的核心思路是通过动态地调整训练样本的权重，来减少模型对单模态虚假相关性的依赖。具体来说，该方法会识别出那些主要依赖单模态信息进行预测的样本，并降低这些样本的权重，从而迫使模型更多地关注多模态信息的融合和理解。这种重加权策略旨在引导模型学习更加鲁棒和泛化的多模态奖励函数。

技术框架：该方法的核心是一个Shortcut-aware MM-RM学习算法。算法首先训练一个初始的MM-RM模型。然后，对于每个训练样本，算法会评估模型对该样本的预测是否主要依赖于单模态信息。评估方法可以是计算不同模态对预测结果的贡献度，或者通过遮蔽（masking）某个模态的信息来观察预测结果的变化。根据评估结果，算法会动态地调整样本的权重，降低那些主要依赖单模态信息的样本的权重。最后，使用重新加权的样本重新训练MM-RM模型。

关键创新：该方法最重要的创新点在于其Shortcut-aware的样本重加权策略。与传统的训练方法不同，该方法能够主动识别并降低那些可能导致模型学习到虚假相关性的样本的权重，从而有效地提升模型的泛化能力。这种方法不需要额外的标注数据或复杂的模型结构，易于实现和应用。

关键设计：关键设计包括：(1) 如何评估样本对单模态信息的依赖程度。论文可能采用了基于梯度或注意力机制的方法来计算不同模态对预测结果的贡献度。(2) 如何动态调整样本的权重。论文可能采用了基于样本预测误差或模态贡献度的函数来计算样本的权重。(3) 如何选择合适的损失函数和优化器来训练MM-RM模型。这些细节将直接影响算法的性能和收敛速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的Shortcut-aware算法在多项实验中取得了显著的性能提升。具体来说，该方法在分布外数据上的泛化能力得到了显著提高，同时在下游任务（例如：多模态对话生成）上的性能也得到了提升。实验结果表明，该方法能够有效地减少模型对单模态虚假相关性的依赖，从而提升模型的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可广泛应用于需要多模态信息融合的场景，例如：多模态对话系统、视觉问答、机器人控制等。通过提升多模态奖励模型的泛化能力，可以使这些系统更好地理解人类意图，并做出更符合人类偏好的决策。此外，该方法还可以应用于其他领域，例如：多模态情感分析、多模态内容推荐等。

📄 摘要（原文）

Multimodal Reward Models (MM-RMs) are crucial for aligning Large Language Models (LLMs) with human preferences, particularly as LLMs increasingly interact with multimodal data. However, we find that MM-RMs trained on existing datasets often struggle to generalize to out-of-distribution data due to their reliance on unimodal spurious correlations, primarily text-only shortcuts within the training distribution, which prevents them from leveraging true multimodal reward functions. To address this, we introduce a Shortcut-aware MM-RM learning algorithm that mitigates this issue by dynamically reweighting training samples, shifting the distribution toward better multimodal understanding, and reducing dependence on unimodal spurious correlations. Our experiments demonstrate significant improvements in generalization, downstream task performance, and scalability, establishing a more robust framework for multimodal reward modeling.