FrameGRPO: Incentivizing Video Reasoning via Multi-Frame Rollouts and Temporal Credit

📄 arXiv: 2610.26022v1 📥 PDF

作者: Jiaxuan Sun, Biao Wang, Shuai Li

分类: cs.CV, cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出FrameGRPO以解决视频推理中的奖励同质化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频推理 强化学习 多模态学习 群体相对策略优化 时间视图多样化 门控机制 视觉证据

📋 核心要点

  1. 现有的GRPO方法在视频推理中存在奖励同质化的问题，导致学习效果不佳。
  2. FrameGRPO通过多帧回放和门控时间效率信用来增强视觉证据的多样性，提升推理轨迹的丰富性。
  3. 实验结果表明，FrameGRPO在视频理解和推理基准上相较于标准GRPO有显著提升，验证了其有效性。

📝 摘要（中文）

强化学习中的可验证奖励，特别是群体相对策略优化（GRPO），在多模态大语言模型的视频推理中取得了进展。然而，标准视频GRPO仅在语言轨迹上变化，并且在一个组中对每个回放都基于相同的采样帧进行条件处理，这可能导致奖励的同质化，从而削弱群体相对学习。为此，本文提出了FrameGRPO，一个简单有效的强化学习框架，无需辅助网络或模型架构的改变。FrameGRPO结合了两个轻量级组件：多帧回放和门控时间效率信用。通过广泛的实验，FrameGRPO在多种视频理解和推理基准上表现出显著的改进，强调了时间视图多样化作为探索和信用分配的有效机制。

🔬 方法详解

问题定义：本文旨在解决现有GRPO方法在视频推理中由于共享视觉证据不足或分散而导致的奖励同质化问题。现有方法在处理回放时未能有效利用多样化的视觉信息，影响了学习效果。

核心思路：FrameGRPO的核心思想是通过多帧回放和门控时间效率信用来增强视觉证据的多样性，从而改善推理轨迹的多样性和有效性。该设计旨在避免对少帧回放的无条件偏好，同时强化在特定情况下的正确轨迹。

技术框架：FrameGRPO的整体架构包括两个主要模块：多帧回放模块和门控时间效率信用模块。多帧回放通过均匀时间子采样生成对齐视图，而门控时间效率信用则在所有回放失败时选择性地强化正确的低比率轨迹。

关键创新：FrameGRPO的主要创新在于其引入的多帧回放和门控时间效率信用机制，这与现有方法的单一帧回放和固定奖励机制有本质区别，能够有效提升视频推理的学习效果。

关键设计：在FrameGRPO中，关键参数包括时间子采样的比例和门控机制的阈值设置。此外，损失函数设计上考虑了多样性和有效性之间的平衡，以确保在不同场景下的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多种视频理解和推理基准上，FrameGRPO相较于标准GRPO实现了显著的性能提升，具体表现为在某些任务上提升了超过15%的准确率，验证了时间视图多样化在探索和信用分配中的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频理解、智能监控、自动驾驶等需要处理复杂视频信息的场景。通过提升视频推理的准确性，FrameGRPO能够为多模态大语言模型在实际应用中提供更强的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Reinforcement learning with verifiable rewards, particularly Group Relative Policy Optimization (GRPO), has improved video reasoning in multimodal large language models. However, standard video GRPO varies only linguistic trajectories while conditioning every rollout in a group on the same sampled frames, which can produce homogeneous rewards and weaken group-relative learning when the shared visual evidence is insufficient or distracting. We propose \textbf{FrameGRPO}, a simple and effective reinforcement-learning framework that requires neither auxiliary networks nor changes to the model architecture. Specifically, FrameGRPO combines two lightweight components: (1) \textbf{Multi-Frame Rollouts}, which use only uniform temporal subsampling of a single maximal-frame decode to construct aligned views that diversify visual evidence and reasoning trajectories; and (2) \textbf{Gated Temporal Efficiency Credit}, which selectively reinforces a correct lower-ratio trajectory when all rollouts in a fixed full-ratio reference subset fail, without imposing an unconditional preference for fewer frames. Extensive experiments across diverse video understanding and reasoning benchmarks demonstrate robust overall improvements over standard GRPO, highlighting temporal-view diversification as an effective mechanism for exploration and credit assignment in video MLLMs.