SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning
作者: Dingyi Rong, Yue Shi, Chaofan Ma, Zongrui Wang, Jiezhang Cao, Yixin Cao, Liang He, Ning Liu
分类: cs.AI
发布日期: 2026-10-14
💡 一句话要点
提出SERO以解决长时间代理强化学习中的信用分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间代理强化学习 信用分配 可执行oracle 在线蒸馏 策略可达性加权 智能代理 机器人控制
📋 核心要点
- 现有的长时间代理强化学习方法在信用分配方面存在不足，无法有效利用未访问状态的监督信息。
- 本文提出的SERO方法通过引入可执行的oracle继续，增强了在线策略学习的有效性，使得训练过程更具信息量。
- 在ALFWorld基准上，SERO显著提高了学习效率，相较于传统方法，分布外性能得到了进一步改善。
📝 摘要（中文）
长时间代理强化学习受到当前策略访问未来的限制。当回滚未能达到有用行为时，改进的信用分配无法为未遇到的状态和动作提供监督。现有的在线蒸馏方法引入了教师指导，但未直接使用由oracle控制的未来作为训练轨迹。本文提出的状态根可执行回滚优化（SERO）通过恢复当前策略实际达到的状态，并让训练专用的oracle继续与真实环境交互，使下游观察和oracle动作可用于学习。SERO还应用了策略可达性加权，使得随着策略与oracle分支的兼容性增强，深层监督变得有效。我们在ALFWorld和WebShop两个具有挑战性的交互代理基准上评估了SERO，结果显示在ALFWorld上学习完整的可执行继续比仅监督根oracle动作更有效，且策略可达性加权进一步提升了分布外性能。
🔬 方法详解
问题定义：本文旨在解决长时间代理强化学习中由于当前策略限制而导致的信用分配问题。现有方法在回滚未能达到有用行为时，无法为未遇到的状态和动作提供有效监督。
核心思路：SERO通过恢复当前策略实际达到的状态，并让训练专用的oracle继续与真实环境交互，利用oracle的动作和观察来增强学习过程。这种设计使得学习过程更加信息丰富，从而提高了策略的有效性。
技术框架：SERO的整体架构包括状态恢复模块、oracle交互模块和策略可达性加权模块。首先，恢复当前策略达到的状态，然后由oracle继续与环境交互，最后通过策略可达性加权来优化学习过程。
关键创新：SERO的主要创新在于直接利用oracle控制的未来作为训练轨迹，并通过策略可达性加权来增强深层监督的有效性。这与现有方法的本质区别在于，现有方法通常不直接利用oracle的未来行为。
关键设计：在SERO中，oracle损失与基础强化学习估计器分开优化，且在推理时不使用oracle。这种设计确保了训练过程的独立性和灵活性，同时通过策略可达性加权来提升学习效果。具体的损失函数和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在ALFWorld基准上，SERO的实验结果显示，学习完整的可执行继续比仅监督根oracle动作的效果显著提升，且通过策略可达性加权，分布外性能进一步改善，具体提升幅度未明确给出。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、智能代理和自动化系统等。通过提升长时间代理强化学习的效率，SERO可以在复杂环境中实现更高效的决策和行为规划，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Long-horizon agentic RL is constrained by the futures visited by the current policy. When rollouts fail to reach useful behaviors, improved credit assignment cannot provide supervision for states and actions that were never encountered. On-policy distillation (OPD) introduces teacher guidance on policy-induced states, and recent multi-turn variants improve how this guidance is scheduled, replayed, refined, or validated. However, they do not directly use the oracle-controlled future itself as the training trajectory. We introduce \textbf{State-Rooted Executable Rollout Optimization (SERO)}, which augments on-policy agentic RL with executable oracle continuations. SERO restores a state actually reached by the current policy and lets a training-only oracle continue interacting with the real environment, making the downstream observations and oracle actions themselves available for learning. It then applies \textbf{policy-reachability weighting}, which weights each oracle step by the frozen behavior policy's compatibility with the preceding oracle actions. This allows deeper supervision to become effective as the policy becomes more compatible with the oracle branch. The oracle loss is optimized separately from the base RL estimator and no oracle is used at inference time. We evaluate SERO on two challenging interactive-agent benchmarks, ALFWorld and WebShop, using Qwen2.5-1.5B-Instruct and Qwen2.5-7B-Instruct. On ALFWorld, learning the full executable continuation is substantially more effective than supervising only the root oracle action, while policy-reachability weighting further improves out-of-distribution performance.