Dense to MoE Adaptation for Compact Vision Language Action Policies

📄 arXiv: 2609.16503v1 📥 PDF

作者: Muchun Niu, Shuang Chen, Yuzhou Wu, Linfeng Zhang

分类: cs.RO

发布日期: 2026-09-15

💡 一句话要点

提出AdaDE以解决资源受限机器人平台的VLA策略部署问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 专家混合 动态掩码 模型压缩 机器人平台

📋 核心要点

  1. 现有的视觉语言动作策略参数数量不断增加，导致在资源受限的机器人平台上部署面临挑战。
  2. 本文提出的AdaDE方法通过将稠密前馈块适配为专家混合层，动态调整专家掩码以优化性能。
  3. 实验结果显示，AdaDE在减少40%参数的情况下，LIBERO任务成功率达到95.1%，在RobotWin2.0任务中成功率为42.0%。

📝 摘要（中文）

视觉语言动作（VLA）策略的参数数量不断增加，使得在资源受限的机器人平台上部署变得困难。本文的核心目标是减少部署策略中保留的LLM侧参数数量，同时保持下游任务性能。我们提出的AdaDE方法将选定的稠密前馈块适配为专家混合（MoE）层，并在微调过程中根据路由器统计信息推导专家保留掩码。Dense2MoE转换在初始化时保留了原始稠密前馈网络的功能，从而使专家停用可以在没有单独恢复阶段的情况下开始。通过动态更新专家掩码，AdaDE在减少40% LLM参数的同时，在LIBERO任务中保持了95.1%的平均成功率，在所有50个RobotWin2.0任务中保持了42.0%的平均成功率。这些结果表明，动态专家停用的稠密到MoE适配是一种减少活跃VLA模型大小而不严重损失性能的实用方向。

🔬 方法详解

问题定义：本文旨在解决视觉语言动作策略在资源受限环境中部署时的参数过多问题，现有方法在保持性能的同时难以有效减少模型大小。

核心思路：提出的AdaDE方法通过将稠密前馈网络转换为专家混合层，利用动态专家掩码来优化模型的参数使用，避免了固定停用规则带来的性能损失。

技术框架：AdaDE的整体架构包括稠密前馈块的选择、专家混合层的构建、动态专家掩码的更新以及分阶段训练等模块，确保模型在微调过程中保持高效性。

关键创新：最重要的创新在于动态更新专家掩码的机制，使得模型在训练过程中能够根据实际使用情况调整专家的激活状态，避免了早期崩溃的问题。

关键设计：在参数设置上，AdaDE在初始化时保留了原始稠密前馈网络的功能，采用了基于路由器统计信息的动态掩码更新策略，确保了模型的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdaDE在减少40% LLM参数的情况下，LIBERO任务的平均成功率达到了95.1%，而在所有50个RobotWin2.0任务中，平均成功率为42.0%。这些结果显示了该方法在保持性能的同时有效减小模型规模的能力。

🎯 应用场景

该研究的潜在应用领域包括资源受限的机器人平台、智能家居系统以及移动设备中的视觉语言处理任务。通过优化模型参数，AdaDE能够在保持高性能的同时，降低计算和存储需求，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision language action (VLA) policies continue to grow in parameter count, making deployment on resource-constrained robot platforms difficult. The central goal is to reduce the number of LLM-side parameters retained in the deployed policy while preserving downstream task performance. Our approach, AdaDE, adapts selected dense feed forward blocks into mixture of experts (MoE) layers and derives expert retention masks from router statistics during fine tuning. The Dense2MoE conversion preserves the original dense FFN function at initialization, so expert deactivation can start without a separate recovery stage. Instead of using a fixed shutdown rule, expert masks are updated dynamically from router usage statistics, with staged training and expert protection to avoid early collapse. With 40% of the LLM parameters deactivated, AdaDE retains 95.1% average success in LIBERO and 42.0% average success across all 50 RobotWin2.0 tasks. These results suggest that dense to MoE adaptation with dynamic expert deactivation is a practical direction for reducing active VLA model size without severe performance loss.