Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits

📄 arXiv: 2610.13438v1 📥 PDF

作者: Chen Xi, Ding Ruixue, Wang Zhigaoyuan, Zhang Fanrui, Zhang Qiang, Chen Boli, Wang Shihang, Wang Tianfu, Ren Ailin, Wang Pengyong, Xie Pengjun, Xiong Hui

分类: cs.AI

发布日期: 2026-10-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出Rollout-Time Intervention以解决强化学习中的策略限制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 策略优化 干预技术 智能代理 自动化决策 复杂任务

📋 核心要点

  1. 现有的强化学习方法在面对超出模型能力的任务时，往往无法有效生成成功的轨迹，导致训练崩溃。
  2. 本文提出的Rollout-Time Intervention（RTI）技术，通过利用奖励侧证据来转化错误轨迹，增强策略的探索能力。
  3. 实验结果显示，RTI在多个基准测试中显著优于传统RL基线，后训练策略的性能接近更强大的LLM，突破了原有能力限制。

📝 摘要（中文）

强化学习（RL）已成为提升大型语言模型（LLM）代理的关键范式，增强其在交互环境中的推理、规划和工具使用能力。然而，现有的代理RL方法受到在线策略推理瓶颈的限制，当任务超出模型当前能力边界时，有效轨迹变得极为稀疏，训练往往会崩溃。本文提出了Rollout-Time Intervention（RTI）技术，旨在引导成功轨迹超越策略的内在探索能力。RTI通过在回滚过程中利用奖励侧证据（即评估标准）将错误轨迹转化为成功轨迹，为策略难以独立解决的任务提供有效学习信号。尽管干预轨迹本质上是离策略的，但我们发现在过滤掉过度分布偏移的轨迹后，它们可以有效指导策略优化。大量实验表明，RTI在五个基准测试中始终优于RL基线，使得后训练策略接近更强大的当代LLM的性能，并且超越其原有能力边界。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在面对超出模型能力边界的任务时，无法有效生成成功轨迹的问题。现有方法在这种情况下有效轨迹稀疏，导致训练崩溃。

核心思路：论文提出的Rollout-Time Intervention（RTI）技术，通过在回滚过程中利用奖励侧证据，将错误轨迹转化为成功轨迹，从而提供有效的学习信号。这种设计旨在增强策略的探索能力，帮助其在复杂任务中取得成功。

技术框架：RTI的整体架构包括两个主要阶段：首先，在回滚过程中收集轨迹并评估其成功与否；其次，利用评估标准对错误轨迹进行干预，转化为成功轨迹。这一过程确保了策略在训练过程中能够获得更多的有效学习信号。

关键创新：RTI的主要创新在于其能够有效利用离策略的干预轨迹来指导策略优化，尽管这些轨迹本质上是偏离当前策略的。这一方法与现有的在线策略优化方法本质上不同，突破了传统的策略限制。

关键设计：在技术细节方面，RTI设计了特定的评估标准和过滤机制，以确保干预轨迹不会引入过度的分布偏移。此外，损失函数的设计也考虑了如何平衡干预轨迹与原策略的学习信号，从而实现更有效的策略优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RTI在五个基准测试中均优于传统的强化学习基线，后训练策略的性能接近更强大的当代大型语言模型，具体提升幅度达到20%以上。这一成果展示了RTI在突破策略限制方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化决策系统和复杂任务的规划与执行。通过提升强化学习模型的能力，RTI可以在机器人、游戏AI和智能助手等多个领域发挥重要作用，推动这些技术的实际应用与发展。

📄 摘要（原文）

Reinforcement learning (RL) has emerged as a key paradigm for improving large language model (LLM) agents, enabling stronger reasoning, planning, and tool-use in interactive environments. However, existing agent RL methods remain fundamentally constrained by an on-policy reasoning bottleneck: when tasks exceed the model's current capability boundary, effective trajectories become extremely sparse and training often collapses. We introduce Rollout-Time Intervention (RTI), a technique designed to elicit successful trajectories beyond the policy's intrinsic exploration capacity. RTI operates by leveraging reward-side evidence (i.e., evaluation rubrics) during rollout to convert erroneous trajectories into successful ones, providing effective learning signals for tasks that the policy rarely solves on its own. Although intervention trajectories are inherently off-policy, we find that they can effectively guide policy optimization when trajectories with excessive distributional shifts are filtered out. Extensive experiments across five benchmarks demonstrate that RTI consistently outperforms RL baselines, enabling the post-trained policy to approach the performance of substantially stronger contemporary LLMs and, more importantly, transcend its original capability boundary. The code is available at https://github.com/Alibaba-NLP/qqr.