FutureDuet: Decoupling Observation Access from Future Supervision in World Action Models

📄 arXiv: 2609.34362v1 📥 PDF

作者: Jie Wu, Yuzhi Huang, Junqi Liu, Weichen Zhang, Haibin Huang, Yin Chen, Jingyan Jiang, Chi Zhang

分类: cs.RO

发布日期: 2026-09-28

备注: 13 pages, 7 figures. Project page: https://1723578110.github.io/futureduet-web/

💡 一句话要点

提出FutureDuet以解决WAMs中观察访问与未来监督的耦合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 未来监督 视觉流解耦 机器人控制 任务执行优化

📋 核心要点

  1. 现有的世界动作模型将主摄像头和腕部观察融合，未能充分利用它们的不同视觉动态，导致预测性能不足。
  2. FutureDuet通过为主视图和腕部视图设计不同的未来监督目标，解决了观察访问与未来监督的耦合问题。
  3. 实验结果显示，FutureDuet在RoboTwin50任务上实现了94.2%和94.1%的成功率，相较于Fast-WAM在清洁和随机设置上分别提升了9.2%和12.8%。

📝 摘要（中文）

世界动作模型（WAMs）通过未来视觉监督增强机器人动作生成。现有WAMs通常将主摄像头和腕部观察融合为一个视觉流，并使用相同的未来视频目标进行训练，尽管它们的视觉动态不同。主摄像头稳定地揭示场景级任务演变，而腕部摄像头则随着末端执行器移动，混合了局部交互变化与视角变化。这些对比的预测需求表明，两种视图可能受益于不同的未来目标。我们提出FutureDuet，保留两种视图进行控制，同时允许每个视觉流接收不同的未来目标。实验结果表明，FutureDuet在RoboTwin50和LIBERO上取得了显著的成功率提升。

🔬 方法详解

问题定义：本论文旨在解决现有世界动作模型在处理主摄像头与腕部观察时的耦合问题，导致的预测性能不足。现有方法将两种观察融合为一个流，未能充分利用其不同的视觉动态。

核心思路：论文提出FutureDuet，通过为主视图和腕部视图设计不同的未来监督目标，分别优化它们的预测性能，从而提高整体任务执行效果。

技术框架：FutureDuet的整体架构包括主视图和腕部视图两个视觉流，主视图专注于任务演变的未来RGB模型，而腕部视图则利用潜在预测模型关注短期交互变化。ActionDiT模块结合任务状态和交互状态，整合场景级进展与近距离交互证据。

关键创新：最重要的创新在于将主视图和腕部视图的未来监督目标解耦，使得每个视图能够独立优化，显著提升了对复杂交互任务的处理能力。

关键设计：在设计中，所有辅助预测模块仅用于训练阶段，不增加推理开销。损失函数和网络结构经过精心设计，以确保不同视图的监督目标能够有效引导模型学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FutureDuet在RoboTwin50任务上实现了94.2%和94.1%的成功率，LIBERO上则达到99.2%的平均成功率。与Fast-WAM相比，在清洁和随机设置上分别提升了9.2%和12.8%，显示出在复杂交互任务中的显著优势。

🎯 应用场景

FutureDuet的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过优化机器人对复杂任务的执行能力，该方法能够提升机器人在动态环境中的适应性和效率，未来可能推动智能机器人在更多实际场景中的应用。

📄 摘要（原文）

World Action Models (WAMs) augment robot action generation with future visual supervision. Existing WAMs commonly fuse main and wrist observations into one visual stream and train both with the same future-video objective, despite their different visual dynamics. A stable main camera reveals scene-level task evolution, whereas wrist cameras move with the end effector, mixing local interaction changes with viewpoint shifts and self-occlusion. These contrasting predictive demands suggest that the two views may benefit from different future objectives. We introduce FutureDuet, which retains both views for control, while allowing each visual stream to receive a different future objective. For the main view, future RGB models task evolution, while interaction masks and robot skeletons focus supervision on task objects and robot motion. For the wrist stream, future latent prediction models short-horizon interaction changes without requiring pixel-level reconstruction. ActionDiT jointly reads the resulting Task State and Interaction State, combining scene-level progress with close-range interaction evidence. All auxiliary prediction modules are training-only, adding no inference overhead. FutureDuet achieves 94.2% clean and 94.1% randomized success on RoboTwin50 and 99.2% average success on LIBERO. The improvements are most pronounced on six RoboTwin50 tasks that require precise interaction, averaging gains of 9.2% and 12.8% over Fast-WAM in clean and randomized settings. Controlled studies further show complementary gains from separating the wrist pathway and designing future supervision separately for the two views.