Streaming-WAM: Action-Conditioned World-Action Model for Asynchronous Robot Manipulation

📄 arXiv: 2609.28927v1 📥 PDF

作者: Xuyao Huang, Yixuan Wang, Zengyao Ye, Boyuan Zhao, Chenyang Yu, Haoran Wen, Zhijie Deng

分类: cs.RO

发布日期: 2026-09-24

💡 一句话要点

提出Streaming-WAM以解决异步机器人操作中的视觉预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 异步控制 视觉预测 机器人操作 动作条件建模 流式更新 效率提升

📋 核心要点

  1. 现有的世界动作模型在推理时需要大量的视觉预测计算，导致效率低下。
  2. 本文提出Streaming-WAM，通过将动作条件的世界建模与异步控制结合，优化了视觉预测过程。
  3. 在LIBERO和实际的Stamp Paper任务中，Streaming-WAM显著提高了成功率并减少了执行时间。

📝 摘要（中文）

世界动作模型（WAM）在推理时使用未来视觉预测会产生较高的生成成本。异步执行通过将推理与机器人运动重叠来减少等待时间，但用于后续动作生成的视觉预测必须考虑在推理过程中已调度的动作影响。本文提出Streaming-WAM，将动作条件的世界建模与异步机器人控制相结合，以便在未来视觉预测中考虑已承诺的动作。每次流式更新时，模型根据最新观察和已承诺的动作条件化未来视觉预测，从而指导同一联合更新内剩余动作的生成。实验结果表明，Streaming-WAM在LIBERO上实现了98.35%的平均成功率，并将平均回合时间相较于Fast-WAM减少了2.93倍。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在推理时产生的高生成成本问题，尤其是在异步机器人操作中，如何有效地进行视觉预测以适应已调度的动作。

核心思路：Streaming-WAM通过将动作条件的世界建模与异步控制相结合，确保未来视觉预测考虑到已承诺的动作，从而提高了预测的准确性和效率。

技术框架：该方法的整体架构包括流式更新模块、动作条件化视觉预测模块和异步控制模块。流式更新模块负责实时接收最新观察，动作条件化视觉预测模块则基于这些观察和已承诺的动作生成未来的视觉预测。

关键创新：Streaming-WAM的主要创新在于将动作条件的视觉特征与异步控制相结合，使得未来的视觉预测能够更好地反映即将执行的动作影响，这与传统方法的静态预测方式有本质区别。

关键设计：在模型设计中，采用了特定的损失函数来优化动作条件的视觉特征生成，同时在网络结构上进行了调整，以支持流式更新和异步执行的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO数据集上，Streaming-WAM实现了98.35%的平均成功率，相较于Fast-WAM将平均回合时间减少了2.93倍。在实际的Stamp Paper任务中，平均回合时间从90秒降低至38秒，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人以及任何需要高效异步操作的自动化系统。通过提高机器人在动态环境中的操作效率，Streaming-WAM能够显著提升生产力和任务成功率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

World action models (WAMs) that use future visual prediction at inference time incur substantial generation costs. Asynchronous execution reduces waiting by overlapping inference with robot motion, but visual predictions used for subsequent action generation must anticipate the effects of actions already scheduled for execution during inference. We introduce Streaming-WAM, which couples action-conditioned world modeling with asynchronous robot control to account for committed actions in future visual prediction. At each streaming update, the model conditions future visual prediction on the latest observation and the committed actions, which form the fixed prefix of the next action chunk. The resulting action-conditioned visual features guide generation of the remaining actions within the same joint update, so the continuation is informed by the scene changes expected during execution of the fixed prefix. On LIBERO, Streaming-WAM achieves an average success rate of 98.35\% and reduces mean episode time by a factor of 2.93 relative to Fast-WAM. On the real-world Stamp Paper task, mean episode time falls from 90 s with synchronous Joint-WAM to 38 s with Streaming-WAM. These results show that Streaming-WAM supports efficient asynchronous control while maintaining high task success rates.