RealtimeWAM: How Fast Can I Run My World Action Model?

📄 arXiv: 2610.10079v1 📥 PDF

作者: Huanan Liu, Ye Li, Kangye Ji, Xiaoyu Chen, Hanyun Cui, Yutian Shen, Yuan Meng, Chenglei Wu, Jingyan Jiang, Bo Li, Zhi Wang

分类: cs.RO

发布日期: 2026-10-07

备注: 24 pages, including appendix. Project page: https://anonymous.4open.science/w/realtimewam/

💡 一句话要点

提出RealtimeWAM以解决世界动作模型推理延迟问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 推理延迟 自适应计算 并行执行 机器人控制 视觉动态建模 性能提升

📋 核心要点

  1. 现有的世界动作模型在推理时存在高延迟，限制了机器人控制的实时性和响应能力。
  2. 本文提出的RealtimeWAM框架通过并行执行和自适应计算，优化了推理过程，降低了延迟。
  3. 在多个真实世界任务中，RealtimeWAM在成功率上较原生推理提高了17.2至37.2个百分点，展示了显著的性能提升。

📝 摘要（中文）

世界动作模型（WAMs）结合了视觉动态建模和动作生成，但其高推理延迟限制了机器人控制的响应性。近期的研究通过去除测试时的显式未来视频生成来加速推理，然而这需要特定的架构设计。为了解决这些挑战，本文提出了RealtimeWAM，一个通用的、无训练的框架，通过协调并行执行和自适应计算，实现低延迟推理。我们利用层级依赖关系重叠观察处理与预测，并通过选择性重用和缓存视觉稳定区域的观察特征来适应计算需求。实验结果显示，RealtimeWAM在多个任务中显著提高了成功率。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型（WAMs）在推理时的高延迟问题，导致机器人控制响应不及时。现有方法如FastWAM虽然加速推理，但需要特定架构，且一般的缓存策略未能有效应对闭环控制的计算需求变化。

核心思路：RealtimeWAM通过无训练的方式协调并行执行与自适应计算，利用层级依赖关系重叠观察处理与预测，从而降低推理延迟。

技术框架：该框架包括多个模块，首先是观察处理模块，接着是预测模块，最后是结果输出模块。通过并行执行和选择性重用，优化了计算资源的使用。

关键创新：RealtimeWAM的核心创新在于其无训练的自适应计算策略，能够在不同的WAM架构中灵活应用，显著提升推理速度和成功率。与现有方法相比，它不再依赖特定的架构设计。

关键设计：在设计中，选择性重用观察特征和Transformer残差是关键，特别是在视觉稳定区域进行缓存，以减少计算负担，同时为小的预测调整保留额外的精细化处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RealtimeWAM在FastWAM和OpenWAM上的平均推理延迟分别为24.09毫秒和63.09毫秒，平均加速比达到8.90倍和10.67倍。成功率方面，分别提高了17.2和37.2个百分点，显示出显著的性能提升。

🎯 应用场景

RealtimeWAM的研究成果在机器人控制、自动驾驶、智能制造等领域具有广泛的应用潜力。通过降低推理延迟，能够提升机器人在动态环境中的实时反应能力，从而提高任务执行的效率和成功率。未来，该框架可能推动更多实时智能系统的发展。

📄 摘要（原文）

World Action Models (WAMs) combine visual dynamics modeling with action generation, but their high inference latency limits responsive robot control. Recent efforts accelerate inference by removing explicit future-video generation at test time, as in FastWAM, an approach that requires a specially tailored architectural design. More general caching strategies exploit feature redundancy, but redundancy alone does not capture the changing computational demands of closed-loop control. To address these challenges, we present RealtimeWAM, a general, training-free framework that coordinates parallel execution with adaptive computation for low-latency inference across diverse WAM architectures. We exploit layerwise dependencies to overlap observation processing with prediction. However, concurrent branches still compete for GPU resources, limiting the benefit of parallel execution. We therefore adapt computation throughout the pipeline through selective reuse, caching observation features in visually stable regions and reusing Transformer residuals while reserving additional refinement for small predicted adjustments. We evaluate RealtimeWAM on FastWAM and OpenWAM across RoboTwin, LIBERO, and LIBERO-Plus. On an RTX 4090, measured mean inference latencies are 24.09 and 63.09 ms, corresponding to average speedups of 8.90$\times$ and 10.67$\times$. Average success rates are 82.75% and 87.41%, respectively, within 0.02 and 0.53 percentage points of native inference. Across five real-world tasks, RealtimeWAM improves average success rates over native inference by 17.2 and 37.2 percentage points on FastWAM and OpenWAM, respectively.