MAGIC: Mixed-Granularity Agent Graphs via Incremental Construction with Dense-Reward Reinforcement Learning

📄 arXiv: 2609.26667v1 📥 PDF

作者: Kairui Yang, Ziheng Yi, Xunkai Li, Minghao An, Zhanke Liu, Zekai Chen, Rong-Hua Li

分类: cs.LG

发布日期: 2026-09-22

💡 一句话要点

提出MAGIC框架以解决多代理系统中的协作拓扑问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多代理系统 协作拓扑 强化学习 密集奖励 功能角色选择 混粒度图生成 智能制造 机器人协作

📋 核心要点

  1. 现有的协作图生成方法未能有效应对不同子任务的协作需求，导致性能和成本的低效。
  2. MAGIC框架通过局部选择功能角色的粒度，结合细粒度控制与可重用模式，优化了代理图的构建。
  3. MAGIC在八个基准测试中表现优异，相较于现有方法在推理效率上有显著提升。

📝 摘要（中文）

协作拓扑影响基于大型语言模型的多代理系统的性能和执行成本。现有方法生成特定任务的协作图，未能考虑子任务间的协作需求差异。本文提出MAGIC框架，通过密集奖励强化学习实现混粒度代理图的生成，结合细粒度控制与可重用协作模式，优化构建策略并提供中间反馈。实验结果表明，MAGIC在八个基准测试中超越了现有最先进的方法，并在效率研究中展示了强大的推理效率。

🔬 方法详解

问题定义：本文旨在解决多代理系统中协作拓扑生成的不足，现有方法通常依赖于单一代理或预定义的组，无法适应不同子任务的需求。

核心思路：MAGIC框架的核心思想是为每个功能角色局部选择粒度，结合细粒度控制与可重用的协作模式，以适应多样化的任务需求。

技术框架：MAGIC的整体架构包括三个主要模块：功能角色选择、代理实例化（单个代理或可重用组）和连接现有单元。通过这些模块的组合，MAGIC能够在构建过程中优化协作图。

关键创新：MAGIC的主要创新在于使用密集奖励强化学习来优化构建策略，并通过潜在奖励塑形提供中间反馈，这与传统方法的稀疏奖励形成鲜明对比。

关键设计：在设计中，MAGIC采用了基于轨迹的返回优化构建策略，并引入了探测性效用和结构信号，以保持任务的累积奖励。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在八个基准测试中，MAGIC框架的表现超越了现有最先进的基线，展示了显著的性能提升，具体数据表明在推理效率上有明显的优势，验证了其在实际应用中的有效性。

🎯 应用场景

MAGIC框架在多代理系统中具有广泛的应用潜力，尤其是在需要灵活协作的复杂任务场景中，如智能制造、自动驾驶和机器人团队协作等领域。其优化的协作拓扑生成能力将提升系统的整体效率和适应性，推动相关技术的发展。

📄 摘要（原文）

Collaboration topology shapes both the performance and execution cost of LLM-based multi-agent systems. Because tasks differ in complexity and required capabilities, recent approaches generate task-specific collaboration graphs that specify agent participation and information flow. However, representative topology generators use either individual agents or predefined groups throughout an organization, overlooking differing collaboration needs across subtasks. Our key insight is to select granularity locally for each functional role, combining fine-grained control with reusable collaboration patterns within one organization. Learning such organizations requires exploring a combinatorial construction space with limited intermediate feedback from final-answer rewards. Therefore, we propose MAGIC, a dense-reward reinforcement learning framework for mixed-granularity graph generation. Specifically, MAGIC constructs a mixed-granularity agent graph by sequentially selecting a functional role, instantiating it as a single agent or reusable group, and connecting it to existing units. We directly optimize the construction policy using returns from trajectories sampled under the current policy and use potential-based reward shaping to provide intermediate feedback from probe-based utility and structural signals while preserving the cumulative task reward. MAGIC outperforms state-of-the-art baselines across eight benchmarks and demonstrates strong inference efficiency in our efficiency study.