MA-VLCM: A Vision Language Critic Model for Value Estimation of Policies in Multi-Agent Team Settings

📄 arXiv: 2603.15418v1 📥 PDF

作者: Shahil Shaik, Aditya Parameshwaran, Anshul Nayak, Jonathon M. Smereka, Yue Wang

分类: cs.RO, cs.AI

发布日期: 2026-03-16

备注: 7 pages, 6 figures

💡 一句话要点

提出MA-VLCM，利用视觉语言模型提升多智能体强化学习策略价值估计的样本效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体强化学习 视觉语言模型 价值估计 零样本学习 中心化评论家

📋 核心要点

  1. 传统MARL依赖中心化评论家，但从头学习评论家样本效率低，泛化性差，难以适应复杂环境。
  2. MA-VLCM用预训练视觉语言模型微调作为评论家，评估多智能体行为，无需从头学习，提升样本效率。
  3. 实验表明，MA-VLCM在多智能体环境中，利用不同VLM骨干网络，实现了良好的零样本回报估计。

📝 摘要（中文）

多智能体强化学习（MARL）通常依赖于中心化的评论家来估计价值函数。然而，从头开始学习这样的评论家效率低下，且缺乏跨环境的泛化能力。同时，在互联网规模数据上训练的大型视觉-语言-动作模型（VLA）表现出强大的多模态推理和零样本泛化能力，但直接将其部署到机器人执行在计算上是不可行的，尤其是在具有不同形态和资源约束的异构多机器人系统中。为了解决这些挑战，我们提出了多智能体视觉-语言-评论家模型（MA-VLCM），该框架用经过微调的预训练视觉-语言模型来评估多智能体行为，从而取代了MARL中学习的中心化评论家。MA-VLCM充当一个中心化的评论家，以自然语言任务描述、视觉轨迹观察和结构化的多智能体状态信息为条件。通过消除策略优化期间的评论家学习，我们的方法显著提高了样本效率，同时产生了适用于在资源受限的机器人上部署的紧凑执行策略。结果表明，在多智能体团队设置中，具有不同VLM骨干的模型在分布内和分布外场景中都表现出良好的零样本回报估计。

🔬 方法详解

问题定义：多智能体强化学习中，中心化评论家需要大量样本才能学习，且泛化能力不足，难以适应不同环境。直接使用大型视觉-语言-动作模型进行机器人控制计算成本高，不适用于资源受限的机器人系统。

核心思路：利用预训练的视觉-语言模型（VLM）强大的多模态推理和零样本泛化能力，将其微调为中心化评论家，用于评估多智能体行为，从而避免从头开始学习评论家，提高样本效率和泛化能力。

技术框架：MA-VLCM框架包含以下几个关键部分：1) 预训练的视觉-语言模型（VLM），作为价值评估的基础；2) 微调模块，用于将VLM适应到特定的多智能体任务中；3) 中心化评论家，以自然语言任务描述、视觉轨迹观察和结构化的多智能体状态信息为输入，输出价值估计。整个流程是，首先使用预训练的VLM，然后使用多智能体环境中的数据对VLM进行微调，使其能够根据输入评估多智能体策略的价值。

关键创新：核心创新在于使用预训练的视觉-语言模型作为多智能体强化学习中的中心化评论家，避免了从头开始学习评论家，显著提高了样本效率和泛化能力。与传统方法相比，MA-VLCM不需要大量的训练数据来学习评论家，可以直接利用预训练模型的知识进行价值评估。

关键设计：MA-VLCM的关键设计包括：1) 选择合适的预训练VLM作为骨干网络；2) 设计合适的微调策略，使VLM能够适应多智能体任务；3) 设计合适的输入表示，将自然语言任务描述、视觉轨迹观察和结构化的多智能体状态信息编码为VLM可以理解的格式；4) 设计合适的损失函数，用于微调VLM，使其能够准确地评估多智能体策略的价值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MA-VLCM在多智能体团队设置中，使用不同的VLM骨干网络，在分布内和分布外场景中都表现出良好的零样本回报估计。通过消除策略优化期间的评论家学习，该方法显著提高了样本效率，并生成了适用于资源受限机器人的紧凑执行策略。具体性能数据和对比基线未在摘要中给出。

🎯 应用场景

该研究成果可应用于多机器人协同任务，例如仓库自动化、搜救行动、协同清洁等。通过利用视觉语言模型，可以使多智能体系统更好地理解任务目标，并根据环境信息做出更合理的决策，从而提高任务效率和鲁棒性。未来，该方法有望扩展到更复杂的机器人系统和更广泛的应用场景。

📄 摘要（原文）

Multi-agent reinforcement learning (MARL) commonly relies on a centralized critic to estimate the value function. However, learning such a critic from scratch is highly sample-inefficient and often lacks generalization across environments. At the same time, large vision-language-action models (VLAs) trained on internet-scale data exhibit strong multimodal reasoning and zero-shot generalization capabilities, yet directly deploying them for robotic execution remains computationally prohibitive, particularly in heterogeneous multi-robot systems with diverse embodiments and resource constraints. To address these challenges, we propose Multi-Agent Vision-Language-Critic Models (MA-VLCM), a framework that replaces the learned centralized critic in MARL with a pretrained vision-language model fine-tuned to evaluate multi-agent behavior. MA-VLCM acts as a centralized critic conditioned on natural language task descriptions, visual trajectory observations, and structured multi-agent state information. By eliminating critic learning during policy optimization, our approach significantly improves sample efficiency while producing compact execution policies suitable for deployment on resource-constrained robots. Results show good zero-shot return estimation on models with differing VLM backbones on in-distribution and out-of-distribution scenarios in multi-agent team settings