SpikingVLA: Asynchronous Spiking Vision-Language-Action Models

📄 arXiv: 2610.09710v1 📥 PDF

作者: Jingya Wang, Dehao Zhang, Shuai Wang, Malu Zhang, Yang Yang, Haizhou Li

分类: cs.CL

发布日期: 2026-10-07

💡 一句话要点

提出SpikingVLA以解决低延迟脉冲视觉语言行动模型问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脉冲神经网络 视觉语言行动 ANN到SNN转换 低延迟推理 异步执行机制

📋 核心要点

  1. 现有的ANN到SNN转换方法在保持竞争性能时需要较多的时间步，导致实时应用中的推理延迟过高。
  2. 本文提出了一种新的DIF神经元，通过树突混合和自适应发火机制，减少了ANN到SNN转换所需的时间步数。
  3. 实验结果显示，SpikingVLA在导航性能上提升了11.9%和12.6%，并将首次动作延迟减少了11.2倍，展现出优越的推理效率。

📝 摘要（中文）

ANN到SNN的转换为实现高效能的脉冲视觉语言行动（VLA）模型提供了一条可行的路径，但现有方法通常需要较多的时间步以维持竞争性能，导致实时部署时的推理延迟较大。为了解决这一挑战，本文提出了SpikingVLA，一个能够实现准确且低延迟脉冲VLA推理的ANN到SNN转换框架。我们提出了一种树突整合与发火（DIF）神经元，通过树突混合和自适应体细胞发火来缓解通道激活异常，从而实现更少时间步的准确ANN到SNN转换。此外，我们引入了一种异步执行机制，重叠VLA组件间的时间计算，减少同步开销和延迟。实验结果表明，SpikingVLA在导航性能上具有竞争力，同时显著提高了推理效率。

🔬 方法详解

问题定义：本文解决的是现有ANN到SNN转换方法在实时应用中推理延迟过高的问题，尤其是在视觉语言行动（VLA）模型的部署中。现有方法需要较多时间步以维持性能，影响了其实用性。

核心思路：论文的核心思路是通过引入DIF神经元和异步执行机制，优化ANN到SNN的转换过程，减少所需时间步，从而降低推理延迟。DIF神经元通过树突混合和自适应发火来处理激活异常，提升了转换的准确性。

技术框架：整体架构包括DIF神经元的设计和异步执行机制。DIF神经元负责处理输入信号的整合与发火，而异步机制则在不同VLA组件之间重叠时间计算，减少同步开销。

关键创新：最重要的技术创新在于DIF神经元的设计和异步执行机制的引入。与现有方法相比，DIF神经元有效减少了时间步数，而异步机制则显著降低了推理延迟。

关键设计：关键设计包括DIF神经元的结构，采用树突混合技术来处理激活异常，以及自适应体细胞发火机制。此外，异步执行机制的实现也需要对各组件的时间计算进行优化，以确保高效的推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpikingVLA在导航任务中相较于现有脉冲VLA方法，成功提升了成功率（SR）和成功路径长度（SPL）分别达到11.9%和12.6%，同时首次动作延迟减少了11.2倍，展现了显著的推理效率提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟现实等需要实时处理视觉和语言信息的场景。SpikingVLA的高效推理能力使其在资源受限的环境中具有实际价值，能够支持更复杂的任务执行和交互。未来，随着技术的进一步发展，SpikingVLA可能在更多领域中得到应用，推动智能系统的进步。

📄 摘要（原文）

ANN-to-SNN conversion offers a practical route toward energy-efficient spiking Vision-Language-Action (VLA) models by bypassing the substantial cost of training large-scale SNNs from scratch. However, existing methods often require many timesteps to maintain competitive performance, resulting in substantial inference latency for real-time VLA deployment. To address this challenge, we introduce SpikingVLA, an ANN-to-SNN conversion framework that enables accurate and low-latency spiking VLA inference. Specifically, we propose a Dendritic Integrate-and-Fire (DIF) neuron that alleviates channel-wise activation outliers through dendritic mixing and adaptive somatic firing, enabling accurate ANN-to-SNN conversion with fewer timesteps. Building on DIF neurons, we further introduce an asynchronous execution mechanism that overlaps temporal computation across VLA components, reducing synchronization overhead and latency. Extensive experiments demonstrate that SpikingVLA achieves competitive navigation performance with substantially improved inference efficiency. Compared with existing spiking VLA methods, SpikingVLA improves SR and SPL by 11.9\% and 12.6\%, respectively, while reducing first-action latency by 11.2$\times$. These results establish SpikingVLA as a practical framework for deploying pretrained VLA models with high-performance and low-latency spiking inference.