The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
作者: Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-07-27
💡 一句话要点
提出统一控制的多回合长远规划方法以提升基础模型能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长远规划 多回合环境 显式世界模型 多教师蒸馏 能力整合 智能体学习 互信息
📋 核心要点
- 现有方法在长远规划能力的获取、塑造和整合上存在不足，难以有效识别规划能力的来源与影响。
- 本文提出统一的多回合环境，通过显式世界模型和多教师蒸馏等方法，系统研究规划能力的获取与整合。
- 实验结果表明，所提方法在低质量和长远设置下，规划能力的整合显著优于现有方法，提升了跨环境的泛化能力。
📝 摘要（中文）
多回合长远规划对基础模型代理至关重要，但如何根本性地提升这一能力仍不明确。现有模型在不可控和不透明的互联网数据上训练，难以识别规划能力的获取、塑造和整合。为此，本文引入统一的多回合环境，系统研究规划能力的三个阶段：预训练阶段的能力获取、后训练阶段的能力塑造和整合。通过构建显式世界模型和多教师蒸馏，本文提出的方法在长远规划上实现了显著的提升。
🔬 方法详解
问题定义：本文旨在解决多回合长远规划能力的获取、塑造和整合问题。现有方法在不可控数据上训练，导致规划能力的来源和影响难以识别。
核心思路：通过引入统一的多回合环境，系统研究规划能力的三个阶段，分别为能力获取、能力塑造和能力整合，强调显式世界模型和多教师蒸馏的重要性。
技术框架：整体架构分为三个主要阶段：1) 预训练阶段，研究数据格式、分布和质量；2) 后训练阶段，利用GRPO和OPD进行能力塑造；3) 最后通过MOPD实现能力整合。
关键创新：最重要的技术创新在于提出了多教师在政策蒸馏（MOPD），通过共享规划模式实现跨环境的能力整合，显著提升了规划能力的泛化性。
关键设计：在技术细节上，采用了显式世界模型构建、互信息区分规划模式与任务特定知识，设计了不同的蒸馏策略以优化学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在低质量和长远设置下，相较于GRPO，OPD在有效区域上表现更佳，且MOPD在跨环境泛化能力上显著提升，验证了多教师蒸馏的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、游戏AI等，能够提升这些系统在复杂环境中的决策能力和适应性。未来，该方法可能推动更高效的长远规划技术的发展，促进智能体在动态环境中的表现。
📄 摘要（原文）
Multi-turn long-horizon planning is critical for foundation model agents, yet how to fundamentally improve it remains unclear. Existing models are trained on uncontrollable and opaque Internet data, making it difficult to identify how planning ability is acquired, shaped, and integrated. To address this challenge, we introduce a unified and controlled multi-turn environment that enables precise control. It allows systematically study long-horizon planning across three stages. (1) Planning ability acquisition during pre-training. We study data format, distribution, and quality. Explicit world model construction through CoT state transition modeling yields stronger long-horizon generalization. Atomic skills alone are insufficient for compositional generalization, whereas a litte long-horizon data works. Moreover, suboptimal trajectories severely impair performance because errors amplify over long horizons. (2) Planning ability shaping via GRPO and OPD post-training. Through mutual information, we distinguish general planning patterns from task-specific planning knowledge. For planning patterns, we identify three application regions of post-training: unnecessary, effective, and unsupported. OPD has a broader effective region than GRPO under low-quality and long-horizon settings, as it provides more consistent update directions. For planning knowledge, distilling unseen procedures from a teacher with different knowledge may impair student's prior world modeling without fully establishing new knowledge. (3) Planning ability integration through MOPD post-training. We show that multi-teacher on-policy distillation (MOPD) integrates capabilities by converging to shared planning-pattern across environments. Compatible patterns enable cross-environment generalization, partially shared patterns support continual learning, while completely conflicting patterns cause severe interference.