Open-ended Multi-agent Autocurricula via Visual Inspection of Policies with Multi-modal LLMs

📄 arXiv: 2607.08193v1 📥 PDF

作者: Lorenzo Pantè, Andrea Fanti, Roberto Capobianco

分类: cs.LG, cs.AI

发布日期: 2026-07-09

💡 一句话要点

提出视觉政策检查方法以优化强化学习中的开放式课程设计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 开放式课程 强化学习 视觉政策检查 视频语言模型 多智能体系统 任务难度评估 智能体学习

📋 核心要点

  1. 现有方法在评估任务难度与智能体学习进度之间的关系时存在不足，难以有效设计开放式课程。
  2. 本文提出的视觉政策检查（VIP）方法，通过分析回合视频直接评估策略行为，从而优化课程设计。
  3. 实验结果表明，VIP方法在星际争霸多智能体挑战中，生成的课程效果优于传统文本方法和标量评分方法。

📝 摘要（中文）

开放式课程在强化学习中旨在通过识别任务来训练具有一般能力的智能体，以促进学习日益复杂的技能。然而，设计此类课程的主要挑战在于评估任务难度与智能体当前学习进度的关系。本文提出了一种新方法，通过记录的回合视频直接检查策略行为，称为视觉政策检查（VIP）。该方法利用视频语言模型（VLM）处理视频并提供课程建议。我们在星际争霸多智能体挑战（SMAC）上进行了实证研究，结果表明，即使使用轻量级的VLM（VideoLLaMa2-7B），VIP也能生成比文本仅的消融实验和依赖标量任务评分的方法更有效的课程。

🔬 方法详解

问题定义：本文旨在解决开放式课程设计中，如何有效评估任务难度与智能体学习进度之间的关系。现有方法主要依赖标量任务评分或文本摘要，难以准确反映智能体的实际表现。

核心思路：论文提出通过记录的回合视频直接检查智能体的策略行为，利用视频语言模型（VLM）分析视频内容并生成课程建议。这种方法能够更直观地反映智能体的学习进展。

技术框架：整体架构包括视频录制、视频处理和课程生成三个主要模块。首先，记录智能体在环境中的回合视频；然后，使用VLM对视频进行分析；最后，根据分析结果生成适应性的课程建议。

关键创新：最重要的技术创新在于引入了视觉政策检查（VIP）方法，利用视频数据直接评估智能体的策略表现，与传统的文本分析和标量评分方法相比，提供了更为有效的课程设计方案。

关键设计：在技术细节上，使用了轻量级的VLM（VideoLLaMa2-7B），并在课程生成过程中考虑了视频中的多个可控智能体，确保了课程的多样性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用VIP方法生成的课程在星际争霸多智能体挑战中，表现优于文本仅的消融实验和依赖标量任务评分的方法，具体提升幅度未知，表明该方法在课程设计中的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括游戏AI、机器人控制和教育领域等。通过优化课程设计，可以提高智能体的学习效率和适应能力，推动更复杂任务的自动化解决方案。未来，该方法可能对智能体的自主学习和人机协作产生深远影响。

📄 摘要（原文）

Open-ended curricula in Reinforcement Learning (RL) aim to train generally-capable agents by identifying tasks that facilitate learning increasingly complex skills. A major challenge when designing such curricula is assessing task difficulty relative to the agent's current learning progress. While previous work has explored using scalar task scores or textual summaries of the agent's behavior, here we study a different approach: directly inspecting policy behavior via recorded episode videos. We introduce a simple yet effective instantiation of this approach which leverages a Video Language Model (VLM) to both process these videos and provide curriculum recommendations, which we call Visual Inspection of Policies (VIP). Since videos can naturally contain any number of controllable agents, we empirically study VIP on the StarCraft Multi-Agent Challenge (SMAC). We show that even with a lightweight and openly accessible VLM (VideoLLaMa2-7B), VIP can use policy videos to generate more effective curricula than both its text-only ablation and methods that rely on scalar task scores.