AnoleVLA: Lightweight Vision-Language-Action Model with Deep State Space Models for Mobile Manipulation

📄 arXiv: 2603.15046v1 📥 PDF

作者: Yusuke Takagi, Motonari Kambara, Daichi Yashima, Koki Seno, Kento Tokura, Komei Sugiura

分类: cs.RO, cs.AI

发布日期: 2026-03-16

💡 一句话要点

提出AnoleVLA，一种基于深度状态空间模型，用于移动操作的轻量级视觉-语言-动作模型。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 机器人操作 深度状态空间模型 轻量级模型 移动机器人

📋 核心要点

  1. 现有VLA模型计算成本高昂，难以在资源受限的移动机器人上部署，限制了其应用范围。
  2. AnoleVLA采用深度状态空间模型处理多模态序列，实现轻量级和快速的视觉与语言信息处理。
  3. 实验表明，AnoleVLA在真实场景中，任务成功率显著优于大型VLA模型，且推理速度更快。

📝 摘要（中文）

本研究旨在解决语言引导的机器人操作问题，即要求机器人基于视觉观察和自然语言指令来操作各种物体。这项任务对于在人类环境中运行的服务机器人至关重要，并且需要安全性、效率和任务级别的通用性。尽管视觉-语言-动作模型（VLA）已证明在此任务中具有强大的性能，但由于标准Transformer骨干网络的计算成本，它们在资源受限环境中的部署仍然具有挑战性。为了克服这个限制，我们提出了AnoleVLA，一种轻量级VLA，它使用深度状态空间模型来有效地处理多模态序列。该模型利用其轻量级和快速的序列状态建模来处理视觉和文本输入，这使得机器人能够有效地生成轨迹。我们在仿真和物理实验中评估了所提出的方法。值得注意的是，在真实世界的评估中，AnoleVLA在任务成功率方面优于具有代表性的大规模VLA 21个百分点，同时实现了大约三倍的推理速度。

🔬 方法详解

问题定义：论文旨在解决语言引导的机器人操作问题，即机器人需要根据视觉信息和自然语言指令来完成各种操作任务。现有VLA模型通常依赖于Transformer架构，计算量大，难以部署在计算资源有限的移动机器人平台上，限制了其在实际场景中的应用。

核心思路：论文的核心思路是利用深度状态空间模型（Deep State Space Models, DSSM）来替代传统的Transformer架构，从而降低模型的计算复杂度。DSSM能够高效地对序列数据进行建模，并且具有更低的计算成本，更适合在资源受限的环境中使用。通过轻量化的模型设计，AnoleVLA能够在保证性能的同时，显著提升推理速度。

技术框架：AnoleVLA模型主要包含视觉编码器、文本编码器和动作解码器三个模块。视觉编码器负责提取图像特征，文本编码器负责提取语言指令特征，然后将两种特征输入到基于DSSM的状态空间模型中进行融合，最后通过动作解码器生成机器人的运动轨迹。整个框架采用端到端的方式进行训练，以优化机器人的操作性能。

关键创新：该论文的关键创新在于将深度状态空间模型应用于视觉-语言-动作模型中，从而实现了轻量级的VLA模型设计。与传统的Transformer架构相比，DSSM具有更低的计算复杂度，更适合在资源受限的移动机器人平台上部署。此外，该论文还针对机器人操作任务对DSSM进行了优化，使其能够更好地处理视觉和语言信息。

关键设计：在视觉编码器方面，可以使用预训练的卷积神经网络（CNN）提取图像特征。在文本编码器方面，可以使用预训练的语言模型（如BERT）提取文本特征。状态空间模型可以使用LSTM或GRU等循环神经网络实现。动作解码器可以使用多层感知机（MLP）将状态向量映射到机器人的关节控制指令。损失函数可以采用模仿学习或强化学习的方式进行设计，以优化机器人的操作性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AnoleVLA在真实世界的机器人操作任务中表现出色，任务成功率比代表性的大规模VLA模型高出21个百分点，同时推理速度提升了约3倍。这表明AnoleVLA在保证性能的同时，显著降低了计算成本，使其更适合在资源受限的环境中使用。该结果验证了深度状态空间模型在视觉-语言-动作模型中的有效性。

🎯 应用场景

AnoleVLA具有广泛的应用前景，例如家庭服务机器人、仓储物流机器人、医疗辅助机器人等。该模型能够使机器人在理解人类指令的基础上，完成各种复杂的操作任务，从而提高机器人的智能化水平和服务能力。轻量化的设计使得该模型更容易部署在资源受限的移动机器人平台上，加速了机器人技术在实际场景中的应用。

📄 摘要（原文）

In this study, we address the problem of language-guided robotic manipulation, where a robot is required to manipulate a wide range of objects based on visual observations and natural language instructions. This task is essential for service robots that operate in human environments, and requires safety, efficiency, and task-level generality. Although Vision-Language-Action models (VLAs) have demonstrated strong performance for this task, their deployment in resource-constrained environments remains challenging because of the computational cost of standard transformer backbones. To overcome this limitation, we propose AnoleVLA, a lightweight VLA that uses a deep state space model to process multimodal sequences efficiently. The model leverages its lightweight and fast sequential state modeling to process visual and textual inputs, which allows the robot to generate trajectories efficiently. We evaluated the proposed method in both simulation and physical experiments. Notably, in real-world evaluations, AnoleVLA outperformed a representative large-scale VLA by 21 points for the task success rate while achieving an inference speed approximately three times faster.