NestedVLA: Learning to Consolidate and Generate Skills for Vision-Language-Action Models

📄 arXiv: 2610.23271v1 📥 PDF

作者: Guodong Du, Wanyu Lin

分类: cs.RO, cs.LG

发布日期: 2026-10-16

备注: Accepted at NeurIPS 2026. 23 pages, 3 figures. Code: https://github.com/WanyuGroup/NeurIPS2026-NestedVLA

🔗 代码/项目: GITHUB

💡 一句话要点

提出NestedVLA以解决视觉-语言-动作模型技能整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 技能整合 嵌套超网络 多任务学习 强化学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在异构任务和环境中整合技能时面临数据分散和干扰等问题。
  2. 本文提出NestedVLA，通过独立学习技能后再进行整合，利用嵌套超网络生成任务自适应参数。
  3. 在MetaWorld、ManiSkill和CALVIN三个基准上，NestedVLA的表现超越了最强模型合并基线41个百分点，显示出显著的性能提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型有望实现通用机器人代理，但在异构任务和环境中整合学习到的技能仍然面临挑战：训练数据分散、联合多任务训练干扰严重、模型合并引入参数冲突或需架构调整。为此，本文提出NestedVLA，通过后期整合技能，采用嵌套超网络生成任务自适应的动作专家参数，与冻结的基础VLA组合，保留任务特定的压缩VLM残差。这一方法在三个强化学习基准（MetaWorld、ManiSkill、CALVIN）上表现优异，平均超越最强模型合并基线41个百分点，在ManiSkill上与每任务微调相差1个百分点，并在CALVIN上显著缩小差距，指向一种高效的技能整合路径。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在异构任务和环境中技能整合的困难，现有方法面临训练数据分散、干扰和模型合并引入的参数冲突等痛点。

核心思路：NestedVLA通过先独立学习技能，再进行后期整合，采用嵌套超网络生成任务自适应的动作专家参数，避免了传统方法中的参数聚合问题。

技术框架：该方法的整体架构包括一个冻结的基础VLA和一个嵌套超网络。嵌套超网络根据目标任务生成适应性参数，同时保留任务特定的压缩VLM残差，以实现灵活的技能重用。

关键创新：NestedVLA的主要创新在于用参数生成替代参数聚合，显著减少了干扰并提高了技能重用的灵活性，这与现有的模型合并方法有本质区别。

关键设计：在设计上，NestedVLA采用了嵌套超网络结构，具体的参数设置和损失函数设计尚未详细说明，需进一步研究以优化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，NestedVLA在MetaWorld、ManiSkill和CALVIN三个强化学习基准上表现优异，平均超越最强模型合并基线41个百分点，在ManiSkill上与每任务微调相差仅1个百分点，显示出显著的性能提升，表明其在技能整合方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括通用机器人、智能家居和自动化工业等，能够提升机器人在复杂环境中的适应能力和任务执行效率。未来，NestedVLA有望推动多模态学习和机器人技能整合的研究进展，促进更智能的机器人系统的开发。

📄 摘要（原文）

Vision--Language--Action (VLA) models promise generalist robotic agents, yet consolidating skills learned across heterogeneous tasks and environments remains difficult: training data is fragmented across platforms, joint multi-task training suffers from interference, and model merging tends to introduce parameter conflicts or require architectural changes. We instead advocate a paradigm in which skills are first learned independently and then consolidated post hoc. To this end, we propose NestedVLA, which replaces parameter aggregation with parameter generation: a nested hypernetwork, conditioned on the target task, synthesizes task-adaptive action-expert parameters that compose with a frozen base VLA. Task-specific compressed VLM residuals are retained separately. This formulation enables flexible task-conditioned skill reuse while mitigating interference. Across three RL benchmarks (MetaWorld, ManiSkill, CALVIN), NestedVLA outperforms the strongest model-merging baseline by 41 pp on average, matches per-task fine-tuning within 1 pp on ManiSkill, and substantially closes the gap on CALVIN, pointing toward a storage-efficient route to skill consolidation. Code is available at https://github.com/WanyuGroup/NeurIPS2026-NestedVLA.