SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

📄 arXiv: 2610.13740v1 📥 PDF

作者: Timi Owolabi, Hikmah Olawore, Frances Adelakun, Ayotomiwa Oyewumi

分类: cs.RO, cs.LG

发布日期: 2026-10-09

备注: Accepted at the NeurIPS 2026 Robot Learning with World Models Workshop. Code: https://github.com/iitimii/SmolWAM Project: https://smolwam.vercel.app/

💡 一句话要点

提出SmolWAM以解决边缘设备上机器人操作的计算效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 边缘计算 世界-动作模型 计算效率 深度学习

📋 核心要点

  1. 现有的世界-动作模型依赖于计算成本高昂的视频扩散变换器，难以在边缘设备上有效运行。
  2. SmolWAM通过保留预训练的主干并重建推理接口，显著降低了计算复杂度，适用于资源受限的环境。
  3. 在400个LIBERO实验中，SmolWAM实现了95.5%的成功率，计算效率显著提升，表现出色。

📝 摘要（中文）

世界-动作模型（WAMs）用于预测机器人动作及其产生的观察结果。然而，现有最强模型依赖于视频扩散变换器，这对于资源受限的边缘设备来说计算成本过高。我们提出了SmolWAM，这是一种潜在的WAM，通过保留预训练的主干并重建推理接口来实现：单帧视觉潜变量、缓存文本特征、12个变换器块和1,008个令牌。经过3.6 GPU小时的训练，SmolWAM在400个LIBERO实验中成功率达到95.5%，每16个动作块的计算时间为57毫秒，计算量为2.3 TFLOP，使用2.4 GiB的GPU内存，相比于其教师模型速度提升11倍，FLOP减少18.5倍，内存减少3.2倍，同时其世界头仍能预测场景运动。

🔬 方法详解

问题定义：本论文旨在解决现有世界-动作模型在边缘设备上计算效率低下的问题。现有模型依赖于复杂的视频扩散变换器，导致资源消耗过大，难以应用于实际场景。

核心思路：论文提出的SmolWAM模型通过保留2B参数的Cosmos Policy的预训练主干，并重建推理接口，利用单帧视觉潜变量和缓存文本特征来降低计算复杂度。

技术框架：SmolWAM的整体架构包括单帧视觉潜变量输入、缓存文本特征、12个变换器块和1,008个令牌，所有这些模块共同工作以生成动作和未来视觉潜变量。

关键创新：SmolWAM的主要创新在于其高效的推理接口设计，使得模型在保持高成功率的同时，显著降低了计算时间和资源消耗，与传统模型相比具有本质区别。

关键设计：模型在训练过程中使用了特定的参数设置，选择了12个变换器块，并通过优化损失函数来提高性能，确保在2.4 GiB的GPU内存下实现高效推理。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，SmolWAM在400个LIBERO实验中成功率达到95.5%，每16个动作块的计算时间为57毫秒，计算量为2.3 TFLOP，使用2.4 GiB的GPU内存。与其教师模型相比，SmolWAM速度提升11倍，FLOP减少18.5倍，内存使用减少3.2倍，展现出显著的性能优势。

🎯 应用场景

SmolWAM的研究成果在机器人操作、自动化生产和智能家居等领域具有广泛的应用潜力。其高效的计算能力使得在资源受限的边缘设备上实现复杂的机器人任务成为可能，推动了智能设备的普及和应用。未来，SmolWAM可能会在更多实时处理和决策场景中发挥重要作用。

📄 摘要（原文）

World-action models (WAMs) predict a robot's actions together with the observations those actions will produce. However, the strongest models rely on video diffusion transformers that are far too computationally expensive for resource-constrained edge devices. We present SmolWAM, a latent WAM that we derive from the 2B-parameter Cosmos Policy by keeping its pretrained trunk and rebuilding its inference interface: single-frame visual latents, cached text features that preserve the trunk's attention sinks, 12 of 28 transformer blocks, and 1,008 tokens from which actions and future visual latents are read out in one rectified-flow step. Trained in 3.6 GPU-hours, SmolWAM succeeds in 95.5% of 400 LIBERO episodes at 57 ms and 2.3 TFLOP per 16-action chunk with 2.4 GiB of GPU memory, 11x faster than its teacher with 18.5x fewer FLOPs and 3.2x less memory, and its world head still forecasts scene motion.