RealtimeWAM: One-Step Asynchronous World Action Models

📄 arXiv: 2610.06617v1 📥 PDF

作者: Chengtao Lv, Jinyang Du, Shuyi Feng, Yang Yong, Shiqiao Gu, Shunzi Yang, Ruihao Gong, Shen Ren, Tianwei Zhang, Wenya Wang

分类: cs.CV, cs.LG, cs.RO

发布日期: 2026-10-05

备注: The code and checkpoints are available at $\href{https://github.com/ModelTC/LightX2V/tree/main/examples/realtimewam}{\text{this https URL}}$

🔗 代码/项目: GITHUB

💡 一句话要点

提出RealtimeWAM以解决视频行动预测效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界行动模型 视频理解 异步推理 蒸馏训练 混合变换器 机器人控制 实时决策

📋 核心要点

  1. 现有的世界行动模型在推理效率上存在瓶颈，尤其是在专家间的等待和内部迭代方面。
  2. 本文提出的RealtimeWAM通过教师锚定一致性蒸馏和交叉专家波前流水线，显著提高了行动生成的效率。
  3. 实验结果显示，RealtimeWAM在多个基准上保持了低于1%的性能下降，同时实现了约25倍的加速。

📝 摘要（中文）

世界行动模型（WAMs）结合视频生成骨干的视觉表示来指导行动预测。现有高效WAMs采用混合变换器架构，但在专家间的等待和专家内部的迭代仍限制了推理效率。为此，本文提出了RealtimeWAM，一个极其高效的WAM变体，具有一步行动生成和异步推理，解决了这两个瓶颈。通过教师锚定一致性蒸馏（TACD），补充局部一致性以实现准确的一步行动生成。同时，提出交叉专家波前流水线（CEWP），消除不必要的专家级等待。广泛的实验表明，RealtimeWAM在多个基准上保持近乎无损的性能，同时实现显著的端到端加速。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在推理效率上的不足，特别是多步骤行动去噪和专家间的等待问题。

核心思路：提出RealtimeWAM，通过一步行动生成和异步推理来提高效率，采用教师锚定一致性蒸馏（TACD）来减少局部一致性误差，同时通过交叉专家波前流水线（CEWP）来消除不必要的等待。

技术框架：RealtimeWAM的整体架构包括视频生成骨干、行动专家和教师模型。视频表示通过块级共享的KV缓存实现重用，专家间的同步仅在必要时进行。

关键创新：最重要的创新在于TACD和CEWP的结合，前者通过教师模型的多步骤回滚端点提供显式监督，后者通过重叠专家的执行来提高推理效率。

关键设计：在损失函数设计上，TACD引入了局部一致性和全局一致性的结合，确保生成的行动具有更高的准确性。网络结构上，采用混合变换器架构以提高表示能力和计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RealtimeWAM在LIBERO、LIBERO-Plus和RoboTwin等多个基准上表现优异，保持了低于1%的性能下降，同时实现了约25倍的端到端加速，显示出其在高效推理方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、视频监控等需要实时决策的场景。通过提高视频理解和行动预测的效率，RealtimeWAM能够在复杂环境中实现更快速的响应，具有重要的实际价值和未来影响。

📄 摘要（原文）

World Action Models (WAMs) incorporate visual representations from video generation backbones to guide action prediction. Recent efficient WAMs adopt Mixture-of-Transformers (MoT) architectures and compute video representations once for reuse by the action expert. However, intra-expert iteration (\ie, multi-step action denoising) and inter-expert waiting (\ie, sequential execution of the video and action experts) still limit inference efficiency. To this end, we present RealtimeWAM, an extremely efficient WAM variant with one-step action generation and asynchronous inference, addressing these two bottlenecks. To reduce intra-expert iteration, we propose Teacher-Anchored Consistency Distillation (TACD) to address a local-global error gap: low local consistency error alone does not guarantee accurate final actions. TACD supplements local consistency with explicit supervision from the frozen teacher's multi-step rollout endpoint, enabling accurate one-step action generation. Additionally, we propose Cross-Expert Wavefront Pipelining (CEWP) to eliminate unnecessary expert-level waiting. It overlaps the two experts through block-wise sharing of the video KV cache, synchronizing only immediately before the corresponding action attention consumes it. Extensive experiments across diverse benchmarks (\eg, LIBERO, LIBERO-Plus and RoboTwin) and model variants (\eg, Fast-WAM and Faster-WAM) demonstrate the superiority of RealtimeWAM. Notably, RealtimeWAM maintains near-lossless performance (\ie, $<1\%$ drop) across these benchmarks while delivering significant end-to-end speedup (\eg, $\sim25\times$ on H100). Our code and checkpoints are available via this \href{https://github.com/ModelTC/LightX2V/tree/main/examples/realtimewam}{link}.