ReCollab: Retrieval-Augmented LLMs for Cooperative Ad-hoc Teammate Modeling

📄 arXiv: 2512.22129v1 📥 PDF

作者: Conor Wallace, Umer Siddique, Yongcan Cao

分类: cs.MA, cs.AI, cs.LG

发布日期: 2025-12-05

💡 一句话要点

提出ReCollab以解决临时团队协作中的行为建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临时团队协作 行为建模 大型语言模型 检索增强生成 智能体适应性 多智能体系统

📋 核心要点

  1. 现有方法在临时团队协作中依赖固定模型，难以应对部分可观测性和有限交互带来的挑战。
  2. 论文提出的ReCollab框架结合了行为标准和检索增强生成，旨在提高对队友行为的推断能力。
  3. 实验结果表明，ReCollab在不同布局中显著提升了适应性，优化了分类准确性与回报之间的平衡。

📝 摘要（中文）

临时团队协作（AHT）要求智能体推断未见过的队友行为并相应调整策略。传统方法通常依赖固定的概率模型或分类器，这在部分可观测性和有限交互下表现脆弱。大型语言模型（LLMs）提供了一种灵活的替代方案：通过将短期行为轨迹映射为高层假设，它们可以作为队友行为的世界模型。我们提出了Collab，一个基于语言的框架，通过从轨迹特征中导出的行为标准来分类伙伴类型，并扩展为ReCollab，结合检索增强生成（RAG）以通过示例轨迹稳定推断。在合作的Overcooked环境中，Collab有效区分队友类型，而ReCollab在不同布局中持续改善适应性，实现分类准确性与情节回报之间的帕累托最优权衡。这些发现展示了LLMs作为AHT行为世界模型的潜力，并强调了在挑战性协调环境中检索基础的重要性。

🔬 方法详解

问题定义：本论文旨在解决临时团队协作中智能体如何推断未见过的队友行为的问题。现有方法通常依赖于固定的概率模型或分类器，容易受到部分可观测性和有限交互的影响，导致推断不准确。

核心思路：论文的核心思路是利用大型语言模型（LLMs）作为行为世界模型，通过将短期行为轨迹映射为高层假设，来增强智能体对队友行为的理解与适应能力。

技术框架：整体架构包括两个主要模块：Collab用于分类队友类型，基于行为标准；ReCollab则在此基础上引入检索增强生成（RAG），通过示例轨迹来稳定推断过程。

关键创新：最重要的技术创新在于将检索增强生成与行为分类相结合，显著提升了在复杂环境中对队友行为的适应能力。这一方法与传统的固定模型方法形成了本质区别。

关键设计：在设计中，使用了基于轨迹特征的行为标准进行分类，并通过RAG机制引入示例轨迹，以增强推断的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ReCollab在合作的Overcooked环境中，成功区分了不同类型的队友，并在不同布局下实现了适应性提升，分类准确性和情节回报之间的帕累托最优权衡得到了显著改善，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人协作、智能助手和多智能体系统等，能够在动态和不确定的环境中提升智能体的协作能力。未来，该方法有望在复杂任务和实时决策中发挥重要作用，推动智能体在临时团队中的应用。

📄 摘要（原文）

Ad-hoc teamwork (AHT) requires agents to infer the behavior of previously unseen teammates and adapt their policy accordingly. Conventional approaches often rely on fixed probabilistic models or classifiers, which can be brittle under partial observability and limited interaction. Large language models (LLMs) offer a flexible alternative: by mapping short behavioral traces into high-level hypotheses, they can serve as world models over teammate behavior. We introduce \Collab, a language-based framework that classifies partner types using a behavior rubric derived from trajectory features, and extend it to \ReCollab, which incorporates retrieval-augmented generation (RAG) to stabilize inference with exemplar trajectories. In the cooperative Overcooked environment, \Collab effectively distinguishes teammate types, while \ReCollab consistently improves adaptation across layouts, achieving Pareto-optimal trade-offs between classification accuracy and episodic return. These findings demonstrate the potential of LLMs as behavioral world models for AHT and highlight the importance of retrieval grounding in challenging coordination settings.