RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning
作者: Yongqiang Yao, Jinru Tan, Kaihuan Liang, Zixin Yin, Yazhe Niu, Ruihao Gong, Dahua Lin, Ningyi Xu
分类: cs.LG, cs.AI
发布日期: 2026-10-07
💡 一句话要点
提出RollVerify以解决长尾回滚强化学习中的效率与准确性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 长尾回滚 样本验证 离策略学习 模型训练 数学推理 效率提升
📋 核心要点
- 现有的强化学习方法在处理长尾回滚时，容易导致GPU利用率低下，影响系统性能。
- RollVerify通过引入离策略偏移度量OPS，主动验证和修复样本，提升样本质量。
- 实验结果显示，RollVerify在数学推理任务中准确性与在线训练相当，同时显著降低了训练成本。
📝 摘要（中文）
强化学习在提升大型语言模型的推理和泛化能力方面至关重要，但随着上下文窗口的增长，回滚长度变得越来越长尾。在在线训练中，这些长尾回滚可能导致GPU利用率降低，限制了强化学习的可扩展性。现有方法通过重加权离策略样本来缓解这一问题，但仍存在性能差距。本文提出RollVerify，一个基于部分回滚的轻量级强化学习框架，主动验证和修复样本，确保高质量样本的同时保持效率。实验表明，RollVerify在数学推理任务中实现了与在线训练相当的准确性，同时降低了训练成本。
🔬 方法详解
问题定义：本文旨在解决长尾回滚强化学习中因样本偏差导致的准确性下降问题。现有方法主要依赖重加权离策略样本，无法有效弥补与完全在线训练的性能差距。
核心思路：RollVerify的核心思路是通过主动验证和修复样本，确保输入训练的样本质量。通过引入离策略偏移度量OPS，量化部分生成轨迹的偏差，从而进行有效的样本筛选。
技术框架：RollVerify的整体架构包括样本生成、偏移度量计算、序列级和标记级验证三个主要模块。首先生成部分回滚样本，然后计算其OPS值，最后根据验证结果修剪无效后缀。
关键创新：RollVerify的主要创新在于主动验证样本而非被动重加权，显著提高了样本的有效性和训练的准确性。这一方法与传统的离策略样本处理方式形成了鲜明对比。
关键设计：在设计中，OPS度量用于评估样本的离策略偏差，验证过程包括序列级和标记级的两层检查，以确保样本的高质量和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RollVerify在数学推理任务中达到了与完全在线训练相当的准确性，同时训练成本降低了显著的比例。这一成果展示了RollVerify在提升样本质量和训练效率方面的有效性，具有重要的实际应用价值。
🎯 应用场景
RollVerify的研究成果在大型语言模型的训练中具有广泛的应用潜力，尤其是在需要高效推理和准确性的场景，如自动代码生成、数学推理和复杂决策系统。未来，该方法可能推动强化学习在更多实际应用中的落地，提升模型的整体性能和效率。
📄 摘要（原文）
Reinforcement learning is crucial for improving large language models' reasoning and generalization. It relies on massive rollouts whose lengths become increasingly long-tailed as context windows grow. In on-policy training, these long-tail rollouts can result in GPU bubbles, reducing system utilization and limiting RL scalability. Asynchronous or partial-rollout methods improve throughput by relaxing synchronization, but inevitably introduce stale off-policy samples (trajectories) that may hurt final accuracy. Existing approaches mainly mitigate this off-policy issue by reweighting off-policy samples during training, yet they can still leave a performance gap compared to fully on-policy training. In this work, rather than passively reweighting samples during training, we propose RollVerify, a lightweight RL framework built on partial rollout that actively verifies and repairs samples before they enter training. Specifically, it introduces an off-policy shift metric OPS, to quantify the off-policy deviation of partially generated trajectories. Guided by the OPS constraint, RollVerify performs both sequence-level and token-level verification to identify and truncate invalid suffixes of trajectories. This yields high-quality samples that protect the models' accuracy while preserving the efficiency gains of partial rollout. Experiments on mathematical and tool-assisted mathematical reasoning show that RollVerify achieves accuracy comparable to on-policy training while reducing training cost. Additional code-generation results provide preliminary evidence beyond mathematics.