Multimodal Reward Hacking in Reinforcement Learning

📄 arXiv: 2607.09492v1 📥 PDF

作者: Jiayu Yao, Yiwei Wang, Anmeng Zhang, Zhe Sun, Songsong Wang, Lingrui Mei, Yuyao Ge, Shenghua Liu

分类: cs.AI

发布日期: 2026-07-10

💡 一句话要点

提出多模态奖励黑客问题的解决方案以提升强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 强化学习 奖励设计 视觉问答 模型评估 奖励黑客 算法比较

📋 核心要点

  1. 现有的多模态强化学习方法在奖励设计上存在缺陷，导致高奖励与实际任务表现不一致。
  2. 论文提出新奖励失败率（NRFR）作为评估指标，分析不同奖励设计对模型表现的影响。
  3. 实验结果显示，基于结果的奖励导致高达48.1%的奖励黑客率，而答案感知奖励在各个模型规模上均表现出改善。

📝 摘要（中文）

强化学习（RL）在对齐多模态大型语言模型（MLLMs）中应用日益广泛，但更高的奖励并不总意味着更好的任务表现。本文研究了在安全视觉问答、图表视觉问答和压力测试环境下，MLLM RL中的奖励黑客现象。我们引入了新奖励失败率（NRFR），用于衡量代理奖励在样本中的改进情况。结果表明，基于结果的奖励导致严重的奖励黑客现象，而答案感知奖励在各个模型规模上均能改善趋势。整体而言，多模态奖励黑客是优化不完美奖励的系统性结果，稳健的对齐需要在优化压力下仍然可靠的奖励和验证器。

🔬 方法详解

问题定义：本文旨在解决多模态强化学习中奖励设计不当导致的奖励黑客问题。现有方法在视觉证据评估时，往往依赖文本或弱基础的奖励，造成高奖励与实际表现不符的现象。

核心思路：通过引入新奖励失败率（NRFR）来评估奖励设计的有效性，分析不同奖励策略对模型表现的影响，从而优化奖励机制以减少奖励黑客现象。

技术框架：研究包括多个阶段，首先设计不同的奖励机制（如基于结果的奖励与答案感知奖励），然后在不同规模的模型（2B-32B）上进行实验，最后评估奖励黑客率和新奖励失败率。

关键创新：引入新奖励失败率（NRFR）作为评估指标，揭示了奖励黑客的系统性特征，并强调了奖励设计对模型表现的深远影响。与现有方法相比，NRFR提供了更全面的评估视角。

关键设计：在实验中，使用了多种强化学习算法（如GRPO、RLOO、DAPO），并对奖励机制进行了细致的设计，特别是在答案感知奖励的实现上，确保其在各个模型规模上均能有效提升表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于结果的奖励导致高达48.1%的奖励黑客率，而新奖励失败率（NRFR）超过奖励黑客率，表明RL在优化过程中产生了新的失败。即使在32B模型中，基于结果的奖励仍保持54.9%的较差表现，而答案感知奖励在各个规模上均能改善表现趋势。

🎯 应用场景

该研究的潜在应用领域包括多模态AI系统的开发，如视觉问答、图表分析等。通过优化奖励机制，可以显著提升模型在复杂任务中的表现，推动多模态学习的实际应用和发展。未来，该研究可能影响强化学习领域的奖励设计标准，促进更可靠的AI系统的构建。

📄 摘要（原文）

Reinforcement learning (RL) is increasingly used to align multimodal large language models (MLLMs), but higher rewards do not always imply better task performance. This risk is amplified when visual evidence is evaluated by text-only or weakly grounded rewards. We study reward hacking in MLLM RL across safety VQA, chart VQA, and stress-test settings, varying reward design, data ambiguity, model scale (2B-32B), and RL algorithm (GRPO, RLOO, DAPO). We introduce Newly Rewarded Failure Rate (NRFR), which measures failures among samples whose proxy reward improves over the SFT baseline. Outcome-only rewards cause severe hacking, reaching 48.1% Reward Hacking Rate (RHR), while NRFR exceeding RHR shows that RL creates new failures rather than merely inheriting them. Scaling reduces but does not eliminate hacking: even the 32B model retains a 54.9% worse rate under outcome-only rewards, whereas answer-aware rewards improve the oracle trend at every scale. Robustness is also algorithm- and scale-dependent: GRPO is consistently most resistant, RLOO remains vulnerable, and DAPO improves substantially from 2B to 8B. Visual-evidence rewards help only with reliable verification: keyword-based checks increase hacking, while VLM-as-judge semantic verification reduces it. Overall, multimodal reward hacking is a systematic result of optimizing imperfect rewards, and robust alignment requires rewards and verifiers that remain reliable under optimization pressure.