WAM-OPD: Sharpening World Action Models via On-Policy Distillation

📄 arXiv: 2609.34250v1 📥 PDF

作者: Panjun Liu, Xiaohan Lei, Shiqi Zhang, Yikun Wang, Yongxin Zhang, Mingyi Hu, Shida Sun, Jiateng Shou, Wengang Zhou, Jiajun Deng, Zhiwei Xiong

分类: cs.RO, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出WAM-OPD以解决机器人任务适应性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 在线蒸馏 机器人操作 任务适应 轨迹重放 知识迁移 性能提升

📋 核心要点

  1. 现有的预训练世界动作模型在特定任务上的表现提升面临环境交互成本高的问题。
  2. WAM-OPD通过在线蒸馏和前缀加权轨迹重放，优化了任务特定知识的迁移过程。
  3. 实验结果显示，WAM-OPD在多种任务上提升了性能，同时保持了未适应任务的表现稳定性。

📝 摘要（中文）

预训练的世界动作模型（WAMs）在多种机器人操作任务中展现了通用能力，但在不降低预训练技能的情况下提高特定任务的表现仍然具有挑战性。本文探索了针对WAMs的在线蒸馏（OPD），并提出了WAM-OPD。该方法通过引入前缀加权轨迹重放（PWTR），避免了在蒸馏过程中重复环境回合的高成本，利用固定的轨迹池和任务特定的教师回合来扩展轨迹覆盖。实验表明，WAM-OPD在不增加环境交互的情况下，显著提高了目标任务的表现，同时在未适应的任务上保持了接近初始的表现。

🔬 方法详解

问题定义：本文旨在解决如何在不降低预训练技能的情况下，通过有效的知识迁移提升机器人在特定任务上的表现。现有方法在进行任务适应时，往往需要大量的环境交互，导致成本高昂且不切实际。

核心思路：WAM-OPD的核心思想是利用在线蒸馏（OPD）方法，在学生模型的自我诱导分布下转移任务特定的教师知识，而不是直接适应狭窄的任务特定数据分布。通过引入PWTR，避免了重复环境回合的需求。

技术框架：WAM-OPD的整体架构包括固定的轨迹池，主要由初始学生回合构成，并通过任务特定的教师回合进行补充。每次重放的轨迹都基于存储的历史生成新的去噪路径，以便教师提供监督。

关键创新：PWTR是WAM-OPD的关键创新，它通过重加权每个决策的蒸馏损失，利用路径得分的代理重要性权重来减轻历史分布的变化。这一设计使得在蒸馏过程中，环境轨迹保持固定，同时仍能适应学生策略的演变。

关键设计：在损失函数设计上，PWTR通过路径前缀的得分来调整蒸馏损失的权重。此外，轨迹池的构建和更新策略也至关重要，以确保覆盖广泛的任务特定知识。整体网络结构保持了高效的知识传递机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WAM-OPD在模拟和现实环境中均显著提升了目标任务的表现，具体表现为在特定任务上性能提升超过20%，同时在未适应任务上保持了接近初始的表现，展示了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提升机器人在特定任务上的适应能力，WAM-OPD可以显著提高机器人在复杂环境中的工作效率和灵活性，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Pretrained world action models (WAMs) provide generalist capabilities across diverse robotic manipulation tasks, yet improving target-task performance to an expert level without degrading pretrained skills remains challenging. We explore on-policy distillation (OPD) for WAMs and introduce WAM-OPD. WAM-OPD inherits the advantage of OPD methods that transfer task-specific teacher knowledge under the student's own induced distribution, rather than directly fitting the student to a narrow task-specific data distribution. However, in closed-loop manipulation, the observation histories change as the student policy evolves, requiring fresh environment rollouts to remain on-policy. Applying OPD to WAMs entails repeated data collection, which is costly even in simulation and often impractical on real robots. To avoid repeated environment rollouts during distillation, we introduce prefix-weighted trajectory replay (PWTR). PWTR uses a fixed trajectory pool composed primarily of initial-student rollouts, supplemented with task-specific teacher rollouts to broaden trajectory coverage. For each trajectory replayed from this pool, PWTR conditions the current policy on successive stored histories to generate fresh denoising paths, along which the task-specific teacher provides supervision. Although these denoising paths are refreshed as the policy evolves, the replayed environment trajectories remain fixed. PWTR therefore reweights per-decision distillation losses using proxy importance weights derived from path scores accumulated over the trajectory prefix preceding each decision to mitigate the resulting shift in the history distribution. Simulated and real-world experiments demonstrate task adaptation without additional environment interaction during distillation. In both settings, WAM-OPD improves target-task performance while retaining near-initial performance on tasks excluded from adaptation.