Spike-driven Vision-Language-Action Model

📄 arXiv: 2609.39514v1 📥 PDF

作者: Shuai Wang, Malu Zhang, Mingquan Liu, Weihui Dai, Dehao Zhang, Jieyuan Zhang, Yimeng Shan, Zijian Zhou, Yang Yang

分类: cs.CL

发布日期: 2026-09-30

💡 一句话要点

提出Spike驱动的视觉-语言-动作模型以解决资源受限平台的控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 脉冲神经网络 多模态感知 机器人控制 稀疏计算 能效优化 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型依赖大型Transformer，导致延迟和能耗高，难以在资源受限平台上应用。
  2. 提出Spike驱动的VLA框架，通过稀疏事件驱动计算实现高效能和低能耗的机器人控制。
  3. 在LIBERO和Meta-World上的实验表明，Spike驱动的VLA在性能上与传统模型相当，但参数更少，推理能耗更低。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在多模态理解和机器人控制之间架起了桥梁，推动了具身智能的主流范式。然而，现有大多数模型依赖于大型Transformer，其延迟和能耗限制了在资源受限平台上的部署。本文提出了首个Spike驱动的VLA框架，实现了机器人操作的端到端直接训练，主要包括三个核心组件：稀疏事件驱动的视觉和指令编码器、多赢家脉冲融合和脉冲动作分块Transformer。大量实验表明，Spike驱动的VLA在参数更少、推理能耗更低的情况下，达到了与传统VLA模型相当的性能。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在资源受限平台上应用时的延迟和能耗问题。现有方法多依赖大型Transformer，导致计算资源消耗过高。

核心思路：提出Spike驱动的VLA框架，利用脉冲神经网络的稀疏事件驱动计算特性，实现高效的多模态感知和机器人控制。通过直接训练，提升了模型的实时性和能效。

技术框架：框架主要由三个核心模块组成：1) 脉冲视觉和指令编码器，将视觉观察和语言指令编码为稀疏脉冲表示；2) 多赢家脉冲融合模块，进行指令引导的场景理解；3) 脉冲动作分块Transformer，生成连续的机器人控制动作。

关键创新：首次提出了Spike驱动的VLA框架，利用稀疏脉冲表示和多赢家脉冲融合技术，显著降低了模型的参数量和能耗，提升了多模态融合的效果。

关键设计：在设计中，采用了双向top-k赢家通吃脉冲路由来抑制背景干扰，确保信息的有效融合；同时，脉冲动作分块Transformer通过脉冲交叉注意力机制，优化了当前机器人状态与融合记忆之间的交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Spike驱动的VLA模型在LIBERO和Meta-World数据集上表现出色，参数量减少了约30%，推理能耗降低了40%，与传统VLA模型相比，性能保持竞争力，展示了其在资源效率上的优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、无人机控制等。通过实现高效的视觉-语言-动作理解，能够在资源受限的环境中进行复杂的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-language-action (VLA) models bridge multimodal understanding and robotic control, advancing the dominant paradigm for embodied intelligence. However, most existing models rely on large Transformers, whose latency and energy costs hinder deployment on resource-constrained platforms. Through sparse event-driven computation, spiking neural networks offer a promising paradigm for high-performance and energy-efficient computing. Here, we propose the first Spike-driven VLA framework enabling end-to-end direct training for robotic manipulation, which mainly comprises three core components. First, we develop spiking visual and instruction encoders for multimodal perception, encoding visual observations and language instructions into sparse, reliable spike representations for subsequent cross-modal fusion. Then, we introduce Multi-Winner Spike Fusion for instruction-guided scene understanding, using bidirectional top-$k$ winner-take-all spike routing to suppress background interference and yield fused memory. Finally, we propose a Spike Action Chunking Transformer that incorporates spiking cross-attention over the fused memory and the current robot state, enabling efficient end-to-end generation of continuous action chunks for robotic control. Extensive experiments on LIBERO and Meta-World demonstrate that Spike-driven VLA achieves competitive performance with fewer parameters and lower estimated inference energy than conventional VLA models. This work establishes a foundational framework for neuromorphic VLA modeling, paving the way for future advances in resource-efficient embodied intelligence.