Sparse-WAM: Accelerating World Action Models via Action-Guided Sparse Imagination

📄 arXiv: 2609.38984v1 📥 PDF

作者: Xinling Xie, Haodong Wang, Jiazhi Mi, Zhiming Liu, Zicong Hong, Xiaoyi Pang, Qianli Liu, Yangjia Hu, Ying Chen, Zhengyang Yan, Song Guo

分类: cs.RO, cs.AI

发布日期: 2026-09-30

备注: Xinling Xie and Haodong Wang contributed equally to this work

💡 一句话要点

提出Sparse-WAM以加速世界动作模型推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 稀疏推理 动作引导 机器人控制 视频分析 计算效率

📋 核心要点

  1. 现有的世界动作模型在推理时计算成本高，尤其是在去噪过程中需要处理大量未来帧标记。
  2. 本文提出Sparse-WAM框架，通过动作引导的稀疏想象，选择性处理未来帧标记，从而加速推理。
  3. Sparse-WAM在LIBERO和RoboLab-120数据集上分别实现了约2.0倍和1.8倍的推理速度提升，且任务性能基本保持不变。

📝 摘要（中文）

世界动作模型（WAMs）利用预训练的视频模型，通过联合预测未来视觉状态和动作来提升机器人控制的泛化能力。然而，这一能力在推理时面临高昂的计算成本，尤其是在去噪过程中需要反复处理密集的未来帧标记。现有方法通过标记剪枝来降低去噪成本，但未能利用动作相关性来选择保留的未来帧标记。本文提出了Sparse-WAM，一个无训练的框架，通过动作引导的稀疏想象，选择性地处理未来帧标记，从而加速WAM推理。实验结果表明，Sparse-WAM在LIBERO和RoboLab-120上分别实现了约2.0倍和1.8倍的推理加速，同时保持了任务性能。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在推理时的高计算成本，尤其是密集未来帧标记的处理效率低下的问题。现有方法主要依赖于标记剪枝，但未能有效利用动作相关性来优化未来帧标记的选择。

核心思路：Sparse-WAM通过动作引导的稀疏想象，选择性地处理与动作相关的未来帧标记，从而减少不必要的计算开销。该方法利用动作标记与未来帧标记之间的空间注意力分布重叠，优化了去噪过程。

技术框架：Sparse-WAM的整体架构包括动作引导标记选择模块和Pilot高效引擎。前者负责选择与动作相关的未来帧标记，后者则通过轻量级评分和跨步骤重用来降低稀疏推理的开销。

关键创新：本文的主要创新在于引入了动作引导标记选择机制，能够在去噪过程中保留与动作相关的帧特征，同时显著减少计算负担。与现有方法相比，Sparse-WAM在保留视觉保真度的同时，提升了推理效率。

关键设计：在设计中，Sparse-WAM采用了轻量级的注意力评分机制，并实现了跨步骤的标记选择重用，以降低计算开销。此外，模型在训练过程中不需要额外的训练步骤，直接应用于推理阶段。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO和RoboLab-120数据集上，Sparse-WAM分别实现了约2.0倍和1.8倍的推理速度提升，相较于密集推理方法，在保持任务性能的同时显著降低了计算成本，展示了其在实际应用中的有效性。

🎯 应用场景

Sparse-WAM的研究成果在机器人控制、自动驾驶、视频分析等领域具有广泛的应用潜力。通过加速推理过程，该方法能够提升机器人在动态环境中的反应速度和决策能力，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

World-action models (WAMs) leverage pretrained video models to improve generalization in robot control by jointly predicting future visual states and actions. This capability comes at a substantial inference cost, as dense future-frame tokens are repeatedly processed during denoising. Prior methods address this by token pruning that prioritizes visual fidelity to reduce denoising costs in video diffusion models. However, these methods do not use action relevance to determine which future-frame tokens to retain during joint denoising in WAMs. In this paper, we propose Sparse-WAM, a training-free framework for action-guided sparse imagination that selectively processes future-frame tokens to accelerate WAM inference. We observe substantial overlap in the spatial distribution of attention from action tokens to future-frame tokens (action-to-future attention) between consecutive denoising steps, despite continued updates to the future representations. Motivated by this, we develop Action-Guided Token Selection to retain frame-specific action-relevant regions together with cross-frame context. However, a naive implementation can incur attention-scoring and token-packing overhead that offsets the computational savings from pruning. We therefore introduce Pilot, an efficient engine that reduces sparse inference overhead through lightweight scoring and cross-step reuse of token selections. On LIBERO with FastWAM-Joint and RoboLab-120 with Cosmos 3 Edge, Sparse-WAM achieves inference speedups of approximately $2.0\times$ and $1.8\times$, respectively, over dense eager inference on an NVIDIA RTX 4090, while largely preserving task performance.