MambaAct: Efficient Mamba Action Experts for Flow-Matching Vision-Language-Action Models

📄 arXiv: 2610.22951v1 📥 PDF

作者: Khuyen Pham, Tran Nguyen Le, Edoardo Fazzari, Cesare Stefanini

分类: cs.RO, cs.CV

发布日期: 2026-10-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出MambaAct以提高流匹配视觉-语言-动作模型的效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 流匹配 机器人操作 高效推理 Mamba动作专家 上下文压缩器 实时控制

📋 核心要点

  1. 现有的视觉-语言-动作模型在实时控制中面临推理成本高的问题，尤其是在流匹配模型中表现尤为明显。
  2. 本文提出MambaAct，通过引入紧凑的Mamba动作专家，优化了流匹配VLA策略的效率，减少了推理延迟。
  3. 实验结果显示，MambaAct在LIBERO上减少了$64.8\%$的去噪延迟，并提高了成功率，展现出显著的性能提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在通用机器人操作中展现出强大的潜力，但其推理成本仍然是实时控制的主要瓶颈。特别是在流匹配VLA模型如$π_{0.5}$中，动作专家在迭代去噪过程中被反复评估。为此，本文提出了MambaAct，一个高效的Mamba动作专家，旨在优化流匹配VLA策略。MambaAct保留了$π_{0.5}$的预训练视觉-语言前缀编码器，同时用紧凑的Mamba动作专家替代了基于变换器的动作专家。Mamba作为动作混合器，建模噪声连续动作序列之间的依赖关系。MambaAct使用轻量级的上下文压缩器，将视觉-语言模型前缀标记映射为紧凑的条件信号，从而调节每个Mamba动作块。实验表明，MambaAct的动作专家体积缩小了$10 imes$，在LIBERO上减少了流匹配去噪延迟$64.8\%$，在实际部署中减少了$58.8\%$，同时在LIBERO上提高了成功率$1.08$个百分点。

🔬 方法详解

问题定义：本文旨在解决流匹配视觉-语言-动作模型在实时控制中的高推理成本问题，尤其是在迭代去噪过程中动作专家的反复评估带来的延迟。

核心思路：MambaAct通过引入紧凑的Mamba动作专家，替代传统的基于变换器的动作专家，从而降低模型的复杂性和推理时间，同时保留视觉-语言条件。

技术框架：MambaAct的整体架构包括预训练的视觉-语言前缀编码器、Mamba动作专家和上下文压缩器。上下文压缩器负责将视觉-语言模型的前缀标记映射为紧凑的条件信号，调节Mamba动作块的输出。

关键创新：MambaAct的主要创新在于使用Mamba作为动作混合器，建模噪声连续动作序列之间的依赖关系，并通过上下文压缩器优化了条件信号的使用，显著提高了效率。

关键设计：MambaAct的设计中，动作专家的规模缩小了$10 imes$，并通过轻量级的上下文压缩器实现了高效的条件信号映射，确保了模型在保持性能的同时减少了延迟。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MambaAct在实验中表现出色，动作专家体积缩小了$10 imes$，在LIBERO数据集上减少了$64.8\%$的去噪延迟，并在实际部署中减少了$58.8\%$的延迟。同时，成功率提高了$1.08$个百分点，展现出显著的性能提升。

🎯 应用场景

MambaAct的研究成果在机器人操作、自动化控制和人机交互等领域具有广泛的应用潜力。通过提高视觉-语言-动作模型的效率，MambaAct能够支持更复杂的实时任务，推动智能机器人在动态环境中的应用。未来，该技术可能会在智能家居、工业自动化和服务机器人等场景中发挥重要作用。

📄 摘要（原文）

Vision-language-action (VLA) models have shown strong promise for generalist robotic manipulation, but their inference cost remains a major bottleneck for real-time control. This limitation is especially pronounced in flow-matching VLAs such as $π_{0.5}$, where the action expert is evaluated repeatedly during iterative denoising. We introduce MambaAct, an efficient Mamba action expert for flow-matching VLA policies. MambaAct retains the pretrained visual-language prefix encoder of $π_{0.5}$, while replacing its transformer-based action expert with a compact Mamba-based action expert. Within this expert, Mamba serves as the action mixer that models dependencies across the noisy continuous-action sequence. To preserve visual-language conditioning without repeated token-level cross-attention, MambaAct uses a lightweight Context Compressor to map Vision-language model (VLM) prefix tokens into a compact conditioning signal that gates and modulates each Mamba action block. MambaAct uses a $10\times$ smaller action expert and reduces flow-matching denoising latency by $64.8\%$ on LIBERO and $58.8\%$ in real-world deployment, while improving mean LIBERO success by $1.08$ percentage points across three independent fine-tuning seeds and maintaining gains on LIBERO-Plus and real-world benchmarks. Our code and model weights are publicly available at https://github.com/giakhuyendihoc/MambaAct.