EdgeVLA: Efficient Vision-Language-Action Models
作者: Paweł Budzianowski, Wesley Maa, Matthew Freed, Jingxiang Mo, Winston Hsiao, Aaron Xie, Tomasz Młoduchowski, Viraj Tipnis, Benjamin Bolte
分类: cs.RO, cs.CL
发布日期: 2025-07-18
期刊: IROS-MoMA3 Workshop 2024
🔗 代码/项目: GITHUB
💡 一句话要点
EdgeVLA：高效的视觉-语言-动作模型，加速边缘设备部署
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作模型 边缘计算 机器人控制 推理加速 小型语言模型
📋 核心要点
- 现有VLA模型计算量大，难以在资源受限的移动机器人平台上实时部署。
- EdgeVLA通过消除自回归预测和使用小型语言模型，显著提升推理速度。
- 实验表明，EdgeVLA在保持训练性能的同时，推理速度提升7倍，内存效率更高。
📝 摘要（中文）
视觉-语言模型（VLM）已成为解决机器人领域数据稀缺问题的一种有前景的方法，能够开发出可泛化的视觉运动控制策略。虽然像OpenVLA这样的模型展示了这种范例的潜力，但在资源受限的移动操作系统中部署大规模VLM仍然是一个巨大的障碍。本文介绍了一种名为Edge VLA（EVLA）的新方法，旨在显著提高视觉-语言-动作（VLA）模型的推理速度。EVLA在保持这些模型的表征能力的同时，实现了边缘设备的实时性能。我们通过两个关键创新来实现这一目标：1）消除末端执行器位置预测的自回归要求，从而使推理速度提高7倍；2）利用小型语言模型（SLM）的效率，证明了与大型模型相当的训练性能，同时显著降低了计算需求。我们的早期结果表明，EVLA实现了与OpenVLA相当的训练特性，同时在推理速度和内存效率方面提供了显著的提升。我们发布了我们的模型检查点和训练代码库，以促进进一步的研究。
🔬 方法详解
问题定义：现有视觉-语言-动作模型（VLA）通常计算量庞大，难以在边缘设备上实现实时推理。这限制了它们在移动机器人等资源受限平台上的应用。现有方法，如OpenVLA，虽然展示了VLA的潜力，但其计算复杂度使其难以部署到实际的机器人系统中。
核心思路：EdgeVLA的核心思路是通过减少计算冗余和优化模型结构来提高推理效率。具体来说，它通过消除末端执行器位置预测的自回归依赖，并采用更小、更高效的语言模型，从而在保持模型性能的同时显著降低计算需求。
技术框架：EdgeVLA的整体框架仍然遵循VLA的范式，即接收视觉输入（例如，图像或视频）和语言指令，然后输出动作指令。关键区别在于，它对动作预测模块和语言模型进行了优化。动作预测模块不再需要自回归预测，而是直接预测末端执行器的位置。语言模型则替换为更小的SLM。
关键创新：EdgeVLA最重要的技术创新点在于：1）消除了末端执行器位置预测的自回归依赖，这极大地减少了推理所需的计算量；2）采用了小型语言模型（SLM），在保持模型性能的同时，显著降低了计算需求和内存占用。与现有方法相比，EdgeVLA能够在边缘设备上实现实时推理，而无需牺牲模型性能。
关键设计：关于关键设计细节，论文中提到消除了自回归预测，具体实现方式未知。小型语言模型的选择和训练策略也未知。损失函数和网络结构等其他技术细节也未在摘要中详细说明，需要参考论文全文。
🖼️ 关键图片
📊 实验亮点
EdgeVLA的实验结果表明，它在训练特性上与OpenVLA相当，同时推理速度提高了7倍，内存效率也得到了显著提升。这些结果表明，EdgeVLA是一种有前景的解决方案，可以在资源受限的边缘设备上部署高性能的视觉-语言-动作模型。具体性能数据和对比基线需要在论文全文中查找。
🎯 应用场景
EdgeVLA有望应用于各种移动机器人和自动化任务中，例如家庭服务机器人、仓库物流机器人、自动驾驶汽车等。通过在边缘设备上实现高效的视觉-语言-动作控制，EdgeVLA可以使这些机器人能够更快速、更可靠地响应环境变化和用户指令，从而提高其自主性和实用性。未来的影响包括更智能、更灵活的机器人系统，能够更好地适应现实世界的复杂环境。
📄 摘要（原文）
Vision-Language Models (VLMs) have emerged as a promising approach to address the data scarcity challenge in robotics, enabling the development of generalizable visuomotor control policies. While models like OpenVLA showcase the potential of this paradigm, deploying large-scale VLMs on resource-constrained mobile manipulation systems remains a significant hurdle. This paper introduces Edge VLA (EVLA), a novel approach designed to significantly enhance the inference speed of Vision-Language-Action (VLA) models. EVLA maintains the representational power of these models while enabling real-time performance on edge devices. We achieve this through two key innovations: 1) Eliminating the autoregressive requirement for end-effector position prediction, leading to a 7x speedup in inference, and 2) Leveraging the efficiency of Small Language Models (SLMs), demonstrating comparable training performance to larger models with significantly reduced computational demands. Our early results demonstrate that EVLA achieves comparable training characteristics to OpenVLA while offering substantial gains in inference speed and memory efficiency. We release our model checkpoints and training \href{https://github.com/kscalelabs/evla }{codebase} to foster further research.