Direct Experience World-Model Optimization: Learning the World Beyond Action Imitation

📄 arXiv: 2609.37398v1 📥 PDF

作者: Xiangcheng Zhan, Zirui Chen, Yicheng Zhao, Ziteng Gao, Shuo Yang

分类: cs.AI, cs.RO

发布日期: 2026-09-29

备注: World Action Model; post-deployment training; dexterous manipulation

💡 一句话要点

提出直接经验世界模型优化以提升动作模仿效果

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 世界模型 动作生成 后部署学习 灵巧操作 视觉监督 任务进展 优化算法

📋 核心要点

  1. 现有的后部署学习方法在提升行为时未能有效改善世界模型的预测能力，尤其在高维动作空间中，执行误差会导致策略改进受阻。
  2. 本文提出的DEWO方法通过结合视觉经验和动作模仿，优化世界表示，从而提高动作生成的效果，特别是在复杂的交互场景中。
  3. 实验结果表明，DEWO在多个任务中显著提高了成功率，尤其在实际应用中，从初始成功的单元格中成功率提升了20.7个百分点。

📝 摘要（中文）

世界-动作模型（WAMs）将动作生成与物理交互预测结合。然而，现有的后部署学习方法通常在不改善世界预测的情况下提升行为，尤其在灵巧操作中，小的执行误差会在高维动作空间中累积，妨碍策略改进。为此，本文提出直接经验世界模型优化（DEWO），在动作模仿的同时，通过视觉经验优化世界表示，以更好地条件化动作生成。具体而言，DEWO识别交互转折点，并从成功与失败的未来中学习，以支持无分类器引导。实验结果显示，DEWO在五个DexJoCo任务中提升了所有三种WAM模型的平均成功率，并在实际任务中显著提高了成功率。

🔬 方法详解

问题定义：本文旨在解决现有世界-动作模型在后部署学习中未能有效改善世界预测的问题，尤其是在灵巧操作中，执行误差的累积影响策略改进。

核心思路：DEWO通过结合视觉经验与动作模仿，优化世界表示，以更好地支持动作生成，特别是在识别交互转折点和学习成功与失败的未来方面。

技术框架：DEWO的整体架构包括两个主要模块：动作模仿模块和世界表示优化模块。动作模仿模块负责生成初步动作，而世界表示优化模块则通过视觉经验进行调整和优化。

关键创新：DEWO的核心创新在于通过视觉监督从成功与失败的未来中学习，超越了仅依赖动作监督的传统方法，从而显著提升了预测和控制能力。

关键设计：在技术细节上，DEWO采用了特定的损失函数来平衡动作生成与世界表示优化的目标，同时设计了一个额外的价值头来估计任务进展，并在推理过程中激活引导机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DEWO在五个DexJoCo任务中提升了所有三种WAM模型的平均成功率，并在四个实际任务中，通过两轮部署学习，将成功率从51.0%提升至71.7%，提升幅度达到20.7个百分点，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人灵巧操作、自动化制造以及人机交互等场景。通过优化世界模型，DEWO能够在复杂环境中提升机器人的操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

World-Action Models (WAMs) couple action generation with predictions of how physical interactions unfold. However, current post-deployment learning paradigms typically improve behavior without requiring better world predictions. Especially in dexterous manipulation, small execution errors can compound in high-dimensional action spaces, hindering policy improvement and pushing interactions beyond the world model's training distribution. Motivated by this, we propose Direct Experience World-Model Optimization (DEWO), a post-deployment learning paradigm for WAMs that, alongside action imitation, refines world representations through visual experience to better condition action generation. Specifically, it identifies interaction turning points and learns from successful and failed futures to support classifier-free guidance. An additional value head estimates task progress from video representations and activates guidance when progress stalls during inference. Across five DexJoCo tasks, DEWO improves average success across all three WAM formulations. Ablations show that visual supervision from successful and failed continuations improves both prediction and control beyond action supervision alone. On four real-world tasks across Wuji and Sharpa, 3 x 3 grid evaluations show that two rounds of deployment learning increase success from 51.0% to 71.7% in cells with at least one initial success, a gain of 20.7 percentage points. These findings support continued predictive learning for improving control through deployment experience, making world modeling an active part of WAM adaptation.