SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

📄 arXiv: 2610.30732v1 📥 PDF

作者: Shiyang Zhang, Miao Yang, Zhengda Li, Yang Shao, Ruifang Zhai, Hui Peng, Peng Song

分类: cs.CV

发布日期: 2026-10-22

备注: 16 pages, 5 figures, 4 tables; conference paper prepared for IROS2027

🔗 代码/项目: GITHUB

💡 一句话要点

提出SmolVLA-MoE以解决多任务机器人操作中的计算效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 稀疏混合专家 多任务学习 机器人操作 计算效率

📋 核心要点

  1. 现有的轻量级VLA模型使用单一密集动作专家，限制了多任务处理能力，尤其在计算资源受限的情况下。
  2. 本文提出SmolVLA-MoE框架，通过引入稀疏混合专家机制，使得每个令牌能够选择最适合的专家进行动作生成。
  3. 在LIBERO基准测试中，SmolVLA-MoE的平均成功率达到84.25%，显著优于其他基线模型，同时保持了推理效率。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在多任务机器人操作中展现了良好的效果，但现有轻量级VLA模型使用单一密集动作专家处理所有任务，限制了其在计算资源受限情况下的多任务能力。为了解决这一问题，本文提出了SmolVLA-MoE框架，通过在VLA模型的FFN层中引入稀疏混合专家（MoE），用多个并行专家FFN和一个令牌级路由器替代密集FFN层，使每个令牌能够自适应选择最合适的专家进行动作生成。实验结果表明，SmolVLA-MoE在LIBERO基准的四个任务套件上实现了84.25%的平均成功率，超越了SmolVLA和OpenVLA-7B，同时保持了相似的推理效率。

🔬 方法详解

问题定义：本文旨在解决现有轻量级VLA模型在多任务机器人操作中由于使用单一密集动作专家而导致的多任务能力不足的问题，尤其是在计算资源受限的场景下。

核心思路：提出SmolVLA-MoE框架，通过在FFN层中引入稀疏混合专家（MoE），使得每个令牌可以自适应选择最合适的专家进行动作生成，从而提高多任务处理能力和计算效率。

技术框架：该框架主要包括多个并行的专家FFN和一个令牌级路由器，令牌级路由器负责根据输入令牌的特征动态选择激活的专家FFN。通过这种设计，SmolVLA-MoE在推理时仅激活一个专家FFN，显著减少了计算开销。

关键创新：最重要的创新在于引入了稀疏混合专家机制，使得模型在保持较大参数量的同时，仅在推理时激活一个专家，从而提高了效率和灵活性。这与现有方法的密集专家设计形成了鲜明对比。

关键设计：在模型设计中，设置了一个共享专家并引入可调权重参数，以平衡预训练能力的继承与任务特定专家的专业化。此外，模型的总参数量约为800M，其中推理时激活的参数约为500M，确保了高效的计算性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO基准测试中，SmolVLA-MoE的平均成功率达到了84.25%，相比于SmolVLA的82.75%和OpenVLA-7B的76.5%有显著提升，且在推理效率方面保持了相似的表现，展示了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、工业自动化和服务机器人等多任务机器人操作场景。通过提高机器人在复杂环境中的操作能力，SmolVLA-MoE能够显著提升机器人在实际应用中的灵活性和效率，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have shown promising results in multi-task robotic manipulation by leveraging visual and language understanding for action generation. However, existing lightweight VLA models employ a single dense action expert to handle all tasks, which limits their multi-task capability under constrained computational budgets. To address this issue, we propose SmolVLA-MoE, a novel framework that introduces sparse Mixture-of-Experts (MoE) into the FFN layers of the action expert in VLA models. SmolVLA-MoE replaces dense FFN layers with multiple parallel expert FFNs and a token-level router, enabling each token to adaptively select the most suitable expert for action generation. We further introduce a shared expert with a tunable weight parameter to balance the inheritance of pre-trained capabilities and task-specific expert specialization. Through sparse activation, SmolVLA-MoE activates only a single expert FFN during inference, with a total activated parameter count of approximately 500M including the frozen VLM backbone, while benefiting from approximately 800M total stored parameters. We evaluate our method on four task suites of the LIBERO benchmark. SmolVLA-MoE achieves an average success rate of 84.25%, outperforming SmolVLA (82.75%) and OpenVLA-7B (76.5%), while maintaining comparable inference efficiency. Our code is publicly available at https://github.com/dudu435/smolvla-moe.