Token-Level Video Reinforcement Learning

📄 arXiv: 2610.01973v1 📥 PDF

作者: Yifan Wang, Gordon Guocheng Qian, Yanyu Li, Anil Kag, Yun Fu

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出Token-Level视频强化学习以解决视频生成中的奖励局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 强化学习 多模态学习 视觉-语言模型 策略优化

📋 核心要点

  1. 现有的视频生成强化学习方法通常使用标量奖励，无法有效定位视频中的具体错误，导致优化效果不佳。
  2. 本文提出的TVRL框架通过从奖励中推导标记级别的信用，利用视觉-语言模型的梯度信息来优化视频生成。
  3. 在VBench-2.0上，TVRL的整体得分为57.69，较基线模型提升3.60分，并在多个基线和奖励模型上均表现出显著提升。

📝 摘要（中文）

视频生成中的强化学习通常为整个视频分配一个标量奖励，但视频的缺陷并不均匀，某些视觉标记可能已经满足提示，而其他则需要修正。标量奖励无法定位错误，导致优化过程中扰动了满意的标记。为此，本文提出了Token-Level视频强化学习（TVRL）框架，从优化的奖励中推导出标记级别的信用。我们的关键见解是，冻结的视觉-语言模型的答案可能性提供了两种信号：其输出贡献于视频级奖励，而其视频输入梯度的大小揭示了哪些生成的视频标记最影响该得分。TVRL在VBench-2.0上取得了57.69的整体得分，超越基线模型3.60分。

🔬 方法详解

问题定义：本文旨在解决现有视频生成强化学习方法中标量奖励无法有效定位视频生成错误的问题。现有方法在优化过程中可能扰动已经满意的标记，导致生成质量下降。

核心思路：TVRL框架的核心思路是通过视觉-语言模型的梯度信息来推导标记级别的信用，从而实现更精确的优化。该方法能够识别哪些视频标记需要修正，避免对满意标记的干扰。

技术框架：TVRL的整体架构包括两个主要模块：一是基于冻结的视觉-语言模型计算视频级奖励，二是利用该模型的梯度信息生成标记信用图。通过将问题导向的奖励平均为组相对优势，优化策略中的密集去噪过渡对数概率。

关键创新：TVRL的创新在于引入了标记级别的信用机制，利用视觉-语言模型的输出和梯度信息来实现更细粒度的优化。这一方法与传统的标量奖励方法本质上不同，能够更有效地定位和修正生成中的错误。

关键设计：在实现中，TVRL采用了组相对策略优化（GRPO）算法，并结合了多种奖励模型（如VideoAlign、VideoScore2等），通过问题导向的奖励和条件标记信用图来优化策略，确保优化过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TVRL在VBench-2.0上取得了57.69的整体得分，超越基线模型3.60分。此外，在多个SDE采样器（如SAGE、Flow和Dance）及四种奖励模型上，TVRL均表现出2.68至3.15分的提升，显示出其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括视频生成、视频编辑和多模态内容创作等。通过精确定位视频生成中的错误，TVRL能够显著提升生成视频的质量和一致性，具有广泛的实际价值和未来影响，尤其在自动化内容生成和增强现实等领域。

📄 摘要（原文）

Reinforcement learning (RL) for video generation usually assigns one scalar reward to an entire sampled video. Yet a video is not uniformly flawed: some visual tokens may already satisfy the prompt, whereas others require correction. A scalar reward cannot localize errors, causing optimization to perturb satisfactory tokens while under-targeting the tokens that actually need to change. We introduce Token-Level Video Reinforcement Learning, TVRL, a framework that derives token-level credit from the reward being optimized. Our key insight is that the answer likelihood of a frozen vision-language model provides both signals: its outputs contribute to the video-level reward, while magnitudes of its video-input gradients reveal which generated video tokens most affect that score. We instantiate TVRL in Group Relative Policy Optimization by averaging prompt-derived question rewards into one group-relative advantage and using detached, question-conditioned token-credit maps to reweight dense denoising-transition log-probabilities inside the clipped policy ratio. On VBench-2.0, TVRL achieves an Overall score of 57.69, outperforming the base model by 3.60 points. TVRL also improves matched GRPO baselines across three SDE samplers (SAGE, Flow, and Dance) by 2.68--3.15 points and across four reward models (VideoAlign, VideoScore2, UnifiedReward2, and Qwen3.5-9B) by 1.33--3.15 points.