Cooperative Multi-Agent Vision-Language-Action Models via Reinforced Fine Tuning

📄 arXiv: 2609.36588v1 📥 PDF

作者: Ruixiao Xu, Wong Lik Hang Kenny, Zhiqian Liu, Jianing Guo, Hanxiao Li, Kejian Shi, Shuning Zhang, Pu Feng, Yongjia Ma, Yuqing Ma, Kai Chen, Qi Dou, Yaodong Yang, Xianglong Liu, Simin Li

分类: cs.RO, cs.AI, cs.MA

发布日期: 2026-09-29

💡 一句话要点

提出三阶段强化微调方法以解决多智能体视觉-语言-动作模型协作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 视觉-语言-动作 强化学习 微调方法 机器人协作

📋 核心要点

  1. 现有的多智能体视觉-语言-动作模型在协作能力上存在不足，主要由于缺乏有效的微调机制。
  2. 论文提出的三阶段强化微调流程，通过初始化感知的数据收集、离线信用过滤调优和在线潜在空间微调来提升模型性能。
  3. 实验结果显示，使用该方法的多智能体VLA在多个任务中的成功率显著提高，验证了其有效性。

📝 摘要（中文）

本研究探讨了用于协作多智能体视觉-语言-动作（VLA）模型的强化学习（RL）方法。由于VLA模型在大规模单智能体数据上预训练，因此缺乏机器人间协作所需的细粒度协调能力。虽然通过多机器人演示进行监督微调（SFT）可以部分弥补这一差距，但其性能受限于演示数据，无法通过自身经验进行改进。我们提出了一种三阶段的强化微调（RFT）流程，旨在提高多智能体VLA的表现。通过在RoboTwin、RoboFactory和真实世界操作中进行评估，我们的多智能体VLA在成功率上分别提高了23.1%、16.4%和44%。

🔬 方法详解

问题定义：本论文旨在解决多智能体视觉-语言-动作（VLA）模型在协作任务中的表现不足，现有方法主要依赖于单智能体数据预训练，缺乏有效的多智能体协调能力。

核心思路：提出三阶段的强化微调（RFT）流程，旨在通过更有效的数据收集和调优策略，提升多智能体在复杂任务中的协作能力。

技术框架：RFT流程包括三个主要阶段：第一阶段是初始化感知的数据收集，只有在VLA模型多次失败时才调用人类演示；第二阶段是离线信用过滤调优，针对每个智能体的正向轨迹进行微调；第三阶段是在线潜在空间微调，通过冻结VLA模型并在其潜在噪声空间中进行强化学习。

关键创新：本研究的主要创新在于引入了初始化感知的数据收集和在线潜在空间微调策略，这与现有方法相比，显著提高了多智能体任务的稳定性和有效性。

关键设计：在技术细节上，采用了信用过滤机制来评估个体智能体的表现，并在微调过程中关注正向优势轨迹，确保每个智能体的学习过程更加高效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用三阶段强化微调方法的多智能体VLA在RoboTwin、RoboFactory和真实世界任务中的平均成功率分别提高了23.1%、16.4%和44%。这些显著的提升验证了所提方法的有效性，尤其是在复杂的多智能体协作场景中。

🎯 应用场景

该研究的成果可广泛应用于多机器人协作任务，如工业自动化、智能物流和服务机器人等领域。通过提升多智能体系统的协作能力，能够显著提高任务执行效率和成功率，具有重要的实际价值和潜在影响。

📄 摘要（原文）

We study reinforcement learning (RL) methods for cooperative multi-agent Vision-Language-Action (VLA) models. This problem is challenging because VLAs are pretrained on large-scale single-agent data and therefore lack the fine-grained coordination skills required for inter-robot collaboration. Supervised fine-tuning (SFT) on multi-robot demonstrations partially bridges this gap, but its performance is bounded by the demonstration data and cannot improve from its own experience. We present a three-stage reinforced fine-tuning (RFT) pipeline for multi-agent VLAs. First, initialization-aware data collection sweeps over initial configurations and invokes human demonstrations only when the pretrained VLA repeatedly fails, yielding robustness to initialization shift with reduced human cost. Second, offline credit-filtered tuning assigns credit to individual agents and fine-tunes on per-agent trajectories with positive advantage rather than on entire joint rollouts. Third, we find existing online RL for VLAs are less effective for hard multi-agent tasks, which we attribute to noisy co-exploration and unstable updates. We instead use online latent-space fine tuning, which freeze the VLA and perform RL in its latent noise space. We evaluate our multi-agent VLA with both $π_0$ and $π_{0.5}$ backbones across 11 tasks in RoboTwin, RoboFactory and real-world manipulation with two Franka robots. Our multi-agent VLA improves the average success rate by $+23.1\%$, $+16.4\%$, and $+44\%$ on RoboTwin, RoboFactory, and real-world tasks, respectively. Code available at https://anonymous.4open.science/r/mavla_rft-2BC0/.