Act First, Reason Later: Accelerating On-Policy Distillation for Multi-Turn Agents via Reference-Conditioned Inverse Dynamics

📄 arXiv: 2609.36608v1 📥 PDF

作者: Zubin Zheng, Jiahao Wu, Shaofeng Zhang, Zhirui Zhang, Yew-Soon Ong, Shengcai Liu

分类: cs.LG, cs.CL

发布日期: 2026-09-29

备注: 31 pages, 8 figures

💡 一句话要点

提出ActFirst-OPD以加速多回合智能体的在线蒸馏训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏训练 多回合智能体 逆动态 动作生成 推理效率

📋 核心要点

  1. 现有的在线蒸馏训练方法在每次短期行动前需要长时间的推理，导致环境交互效率低下。
  2. 本文提出的ActFirst-OPD框架通过先执行动作再进行推理，解耦了环境交互与完整响应生成的过程。
  3. 实验结果显示，ActFirst-OPD在多个任务上训练速度提升显著，且在任务成功率上与对比基线持平或超越。

📝 摘要（中文）

在线蒸馏训练（OPD）通过密集的教师监督来训练多回合语言智能体。然而，标准的先思考后行动的策略在每次短期行动前需要较长的推理时间，导致环境过渡和经验收集的延迟。为了解决这个问题，本文提出了ActFirst-OPD框架，该框架将环境交互与完整响应生成解耦。学生通过参考条件逆动态推断和执行动作，并在结果偏离参考轨迹时切换到自主预测。实验表明，ActFirst-OPD在多个基准模型设置中显著提高了训练速度和任务成功率。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏训练中，标准的先思考后行动策略导致的环境交互延迟问题。现有方法在每次短期行动前需要进行长时间推理，影响了训练效率。

核心思路：ActFirst-OPD框架的核心思想是先执行动作再进行推理，允许智能体在环境中快速交互，同时通过参考条件逆动态来指导动作生成。这种设计旨在减少推理时间，提高训练效率。

技术框架：该框架主要包括两个阶段：第一阶段，学生智能体根据当前交互上下文和参考下一个观察生成并执行动作；第二阶段，当生成的过渡偏离参考轨迹时，智能体切换到自主的下一步动作预测。此外，学生还会异步生成完整的思考-行动响应以进行教师监督。

关键创新：最重要的技术创新在于将环境交互与完整响应生成解耦，使得推理过程不再阻碍智能体的行动。这一设计与传统的先思考后行动方法形成鲜明对比。

关键设计：在参数设置上，学生智能体的动作生成依赖于参考条件逆动态，损失函数则结合了教师监督和自主预测的反馈，以确保生成的动作质量和训练效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ActFirst-OPD在ALFWorld、WebShop和ScienceWorld等任务上分别实现了2.3倍、1.8倍和4.9倍的训练速度提升。同时，在九个基准模型设置中，ActFirst-OPD的任务成功率与所有对比基线持平或超越，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、游戏AI和人机交互等。通过提高多回合智能体的训练效率，ActFirst-OPD可以加速智能体的开发与部署，提升其在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) trains multi-turn language agents with dense teacher supervision on student-generated responses. However, standard think-then-act rollouts require lengthy reasoning before each short action, delaying environment transitions and experience collection. Generating actions directly reduces this delay but can degrade rollout quality. To address this, we propose ActFirst-OPD, an act-first, reason-later training framework that decouples environment interaction from full-response generation. The student infers and executes actions through reference-conditioned inverse dynamics using its current interaction context and a reference next observation, and switches to autonomous next-action prediction when the resulting transition deviates from the reference trajectory. From the collected interaction contexts, the student asynchronously generates full think-then-act responses for token-level teacher supervision. Experiments across 0.6B-, 1.7B-, and 4B-parameter Qwen3 students show that ActFirst-OPD achieves average wall-clock training speedups of $2.3\times$ on ALFWorld, $1.8\times$ on WebShop, and $4.9\times$ on ScienceWorld over Vanilla OPD. It matches or exceeds all compared OPD baselines in mean task success rate across eight of nine benchmark-model settings. These results demonstrate that reasoning need not block acting during multi-turn agent distillation.