vla.simd: Efficient CPU Inference for Language-Conditioned Manipulation

📄 arXiv: 2609.24274v1 📥 PDF

作者: Khanh D. Nguyen, Hoang M. Truong, An T. Le

分类: cs.RO, cs.AI, eess.SY

发布日期: 2026-09-21

备注: 8 pages, 7 tables, 5 figures. Project page: https://vla-simd.github.io/

💡 一句话要点

提出vla.simd以解决无GPU环境下语言条件操作的高效推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言条件操作 CPU推理 SIMD微内核 实时响应 机器人控制

📋 核心要点

  1. 现有方法在无GPU环境下进行语言条件操作时，推理效率低，无法满足实时性要求。
  2. vla.simd通过共享SIMD微内核和目标特定优化，提升CPU推理效率，减少策略查询延迟。
  3. 实验结果表明，vla.simd在多种CPU上实现了约1.4倍的加速，并在Raspberry Pi 5上成功实现高频率动作供应。

📝 摘要（中文）

在没有专用GPU的情况下，语言条件操作的部署需要高效的推理和覆盖策略查询延迟的动作块。本文提出了vla.simd，一个结合共享SIMD微内核、可重用计算和目标特定优化的CPU推理引擎。我们将查询延迟和执行时间与动作可用性关联，区分动作供应与反馈频率。在六种策略和四种CPU上，vla.simd在保持fp32数值精度的同时，相比编译的PyTorch参考实现实现了约1.4倍的中位数加速。此外，我们还引入了IMPACT，这是一种基于ACT的策略，具有缓存的文本表示和语言调制的视觉特征。IMPACT是我们评估集中唯一在Raspberry Pi 5上提供至少30个动作/秒的语言条件策略。经过90秒的热浸泡后，它在fp32下提供33.5个动作/秒，在int8下提供81.2个动作/秒。独立的GPU评估在四个LIBERO套件中实现了76.4%的平均成功率，指令洗牌测试展示了在熟悉目标之间的选择。IMPACT在SO-101臂和SmolVLA在UR10e与Robotiq夹具上的试验展示了在两种机器人形态上的CPU部署。

🔬 方法详解

问题定义：本文旨在解决在没有专用GPU的情况下，如何高效进行语言条件操作的推理问题。现有方法在推理效率和实时性方面存在明显不足，特别是在策略查询延迟较高的情况下，无法及时响应用户指令。

核心思路：vla.simd的核心思路是结合共享SIMD微内核和可重用计算，通过优化目标特定的执行路径，降低查询延迟并提高动作的可用性。这种设计旨在最大化CPU的计算能力，确保在无GPU环境下仍能实现高效推理。

技术框架：vla.simd的整体架构包括多个模块：首先是共享SIMD微内核，用于并行处理；其次是可重用计算模块，减少重复计算；最后是目标特定优化，针对不同硬件平台进行调整。整个流程从接收语言指令开始，经过解析、推理到执行动作，确保高效的响应时间。

关键创新：vla.simd的主要创新在于其独特的SIMD微内核设计和可重用计算策略，这与传统的基于GPU的推理方法有本质区别。通过这些创新，vla.simd能够在CPU上实现与GPU相近的推理效率。

关键设计：在设计中，vla.simd采用了fp32和int8两种数值表示，确保在不同精度下的性能表现。同时，IMPACT策略通过缓存文本表示和调制视觉特征，进一步提升了语言条件操作的效率和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，vla.simd在四种CPU上实现了约1.4倍的中位数加速，同时在Raspberry Pi 5上，IMPACT策略在经过90秒热浸泡后，成功提供33.5个动作/秒（fp32）和81.2个动作/秒（int8），展现了其高效的推理能力。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能家居控制和人机交互等场景。通过在无GPU环境下实现高效的语言条件操作，vla.simd能够推动更多低成本设备的智能化，提升其在实际应用中的价值和影响力。

📄 摘要（原文）

Deploying language-conditioned manipulation without a dedicated GPU requires efficient inference and action chunks that cover the delay between policy queries. We present vla.simd, a CPU inference engine that combines shared SIMD micro-kernels, reusable computation, and target-specific optimization. We relate query latency and execution horizon to action availability under lagged and time-aligned execution, distinguishing action supply from feedback frequency. Across six policies and four CPUs, vla.simd achieves approximately $1.4\times$ median speedup over compiled PyTorch references while preserving fp32 numerical fidelity. We also introduce IMPACT, an ACT-based policy with cached text representations and language-modulated visual features. IMPACT is the only language-conditioned policy in our evaluated set that supplies at least 30 actions/s on the Raspberry Pi 5: after a 90 s thermal soak, it supplies 33.5 actions/s in fp32 and 81.2 with int8. Separate GPU evaluations yield $76.4\%$ mean success across four LIBERO suites without robot pretraining; instruction-shuffling tests demonstrate selection among familiar goals. Trials with IMPACT on an SO-101 arm and SmolVLA on a UR10e with a Robotiq gripper demonstrate CPU deployment on two robot embodiments.