Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards

📄 arXiv: 2610.17893v1 📥 PDF

作者: Keru Chen, Sen Lin, Yingbin Liang, Nathaniel D. Bastian, Shaofeng Zou

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-13

备注: 23 pages

💡 一句话要点

提出CoSIR以解决多智能体协作中的信息共享问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体协作 信息共享 贝叶斯评估 后训练 自然语言处理 奖励机制 团队惊讶度

📋 核心要点

  1. 现有方法在多智能体协作中难以有效训练信息共享和决策整合的行为，反馈机制不足。
  2. 本文提出CoSIR，通过后训练和可验证环境来教授代理共享信息和请求缺失信息的能力。
  3. 实验结果显示，CoSIR在七个未见的协作任务中取得最高综合得分，同时在一般任务中表现依然竞争力强。

📝 摘要（中文）

在多智能体系统中，大型语言模型（LLM）代理的有效协作需要共享相关证据、请求缺失信息并将队友的贡献纳入决策。然而，训练这些行为面临挑战，因为最终任务结果对单个消息的价值反馈有限。本文提出了一种后训练方法CoSIR（基于惊讶的信息奖励协作），利用简单的可验证环境来教授可推广到更复杂任务的协作行为。我们提出了一种贝叶斯评估器，通过减少团队惊讶度来评分共享信息，并对请求的信息进行潜在减少评分。实验表明，CoSIR在七个未见的自然语言协作任务中表现优异，且在一般任务中的表现依然具有竞争力。

🔬 方法详解

问题定义：本文旨在解决多智能体系统中代理之间有效协作的训练问题，现有方法在信息共享和反馈方面存在不足，导致代理无法有效利用队友的信息。

核心思路：提出CoSIR方法，通过后训练和可验证环境，利用贝叶斯评估器评分共享信息的价值，促进代理之间的有效协作。

技术框架：CoSIR方法包括信息共享评分、请求评分和奖励机制三个主要模块。信息共享评分基于团队惊讶度的减少，请求评分则考虑潜在的信息价值。

关键创新：最重要的创新在于使用贝叶斯评估器来量化信息的价值，这与传统方法依赖于最终任务结果的反馈机制有本质区别。

关键设计：在设计上，采用了基于负对数概率的团队惊讶度计算，设置了独立的奖励机制以鼓励代理在私有选择中使用接收到的信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，CoSIR在七个未见的自然语言协作任务中取得了最高的综合得分，表现优于其他基线方法。同时，在一般任务中的表现依然保持竞争力，展示了其良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能客服、协作机器人和多智能体游戏等场景。通过提高代理之间的信息共享和决策整合能力，能够显著提升系统的整体效率和智能水平，未来可能对人机协作和自动化系统的发展产生深远影响。

📄 摘要（原文）

Effective collaboration among large language model (LLM) agents in multi-agent systems requires sharing relevant evidence, requesting missing information, and incorporating teammates' contributions into decisions. Training these behaviors is challenging because final task outcomes provide limited feedback on the value of individual messages. We introduce CoSIR (Collaboration via Surprisal-based Information Rewards), a post-training approach that uses a simple, verifiable environment to teach collaboration behaviors that generalize to more complex, unseen tasks. We propose a Bayesian evaluator that scores shared information by its reduction in team surprisal, defined as the sum of the negative log probabilities assigned to the correct option given each agent's available evidence. Requests are scored by the potential reduction in the same quantity if the requested information were truthfully provided. Separate rewards encourage agents to use the received information in their private choices and calculations. We post-train Qwen3-4B, Qwen3-8B, and Gemma-3-4B-it through self-play and evaluate transfer to seven unseen natural-language collaboration tasks. CoSIR achieves the highest aggregate score, while its performance in general tasks remains competitive. Behavioral analyses show increased disclosure of private evidence and fewer judged failures to use teammates' input.