Policy-Conditioned Policies for Multi-Agent Task Solving
作者: Yue Lin, Shuhui Zhu, Wenhao Li, Ang Li, Dan Qiao, Pascal Poupart, Hongyuan Zha, Baoxiang Wang
分类: cs.GT, cs.AI
发布日期: 2025-12-24
💡 一句话要点
提出基于策略条件策略的程序化迭代最佳响应算法，解决多智能体任务中的策略动态适应问题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体学习 策略表示 大型语言模型 程序化策略 迭代最佳响应
📋 核心要点
- 多智能体任务中，策略动态适应是核心挑战，但现有深度强化学习方法难以处理对手策略的复杂性。
- 论文提出将策略表示为可解释的源代码，并利用大型语言模型作为策略的近似解释器和优化器。
- 实验表明，该方法在协调博弈和合作觅食环境中有效，验证了程序化迭代最佳响应算法的有效性。
📝 摘要（中文）
在多智能体任务中，核心挑战在于策略的动态适应。然而，由于“表征瓶颈”的存在，直接以对手的策略为条件进行学习在流行的深度强化学习范式中是难以实现的：神经策略是不透明的、高维的参数向量，其他智能体难以理解。本文提出了一种范式转变，通过将策略表示为人类可解释的源代码，并利用大型语言模型（LLM）作为近似解释器来弥合这一差距。这种程序化表示使我们能够实现博弈论中的“程序均衡”概念。我们通过利用LLM直接在程序化策略空间中执行优化来重新构建学习问题。LLM充当逐点最佳响应算子，迭代地合成和改进自我智能体的策略代码以响应对手的策略。我们将此过程形式化为“程序化迭代最佳响应（PIBR）”，这是一种通过文本梯度优化策略代码的算法，使用从博弈效用和运行时单元测试中获得的结构化反馈。我们证明了这种方法有效地解决了几个标准的协调矩阵博弈和一个合作的基于等级的觅食环境。
🔬 方法详解
问题定义：多智能体任务中，智能体需要根据其他智能体的策略动态调整自身策略。然而，传统的深度强化学习方法中，智能体的策略通常表示为神经网络的参数，这些参数是高维、不透明的，其他智能体难以理解和利用，从而导致“表征瓶颈”。现有方法难以有效地学习和适应对手的策略。
核心思路：论文的核心思路是将智能体的策略表示为人类可读的源代码，并利用大型语言模型（LLM）来理解和优化这些策略。通过将策略表示为程序，智能体可以更容易地理解对手的策略，并根据对手的策略生成最佳响应。LLM则充当策略的解释器和优化器，根据博弈的效用函数和单元测试的结果，迭代地改进策略代码。
技术框架：论文提出的程序化迭代最佳响应（PIBR）算法的整体框架如下： 1. 初始化：为每个智能体生成一个初始的策略代码。 2. 迭代：对于每个智能体，执行以下步骤： a. 观察对手的策略代码。 b. 使用LLM生成针对对手策略的最佳响应策略代码。 c. 使用博弈效用函数和单元测试评估新策略的性能。 d. 根据评估结果，使用文本梯度优化策略代码。 3. 重复步骤2，直到策略收敛或达到最大迭代次数。
关键创新：论文最重要的技术创新在于将策略表示为可解释的源代码，并利用LLM作为策略的解释器和优化器。这种方法克服了传统深度强化学习方法中的“表征瓶颈”，使得智能体可以更容易地理解和适应对手的策略。此外，论文还提出了程序化迭代最佳响应（PIBR）算法，该算法利用文本梯度优化策略代码，从而实现了在程序化策略空间中的优化。
关键设计：论文的关键设计包括： 1. 策略代码的表示：策略代码使用一种简单的编程语言表示，该语言包含基本的控制流语句和函数调用。 2. LLM的选择：论文使用了预训练的LLM，并对其进行了微调，以使其能够更好地理解和生成策略代码。 3. 博弈效用函数：博弈效用函数用于评估策略的性能，并为LLM提供反馈。 4. 单元测试：单元测试用于验证策略代码的正确性，并为LLM提供额外的反馈。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在协调矩阵博弈和合作觅食环境中取得了显著的成果。在协调矩阵博弈中，该方法能够有效地学习到最优的协调策略。在合作觅食环境中，该方法能够使智能体之间实现高效的协作，从而获得更高的奖励。与传统的深度强化学习方法相比，该方法在这些任务中表现出更好的性能和鲁棒性。
🎯 应用场景
该研究成果可应用于各种多智能体协作和竞争场景，例如自动驾驶、机器人协同、资源分配、博弈对抗等。通过将策略表示为可解释的程序，可以提高智能体之间的协作效率和鲁棒性，并促进人与智能体之间的交互和理解。未来，该方法有望应用于更复杂的多智能体系统，并与其他人工智能技术相结合，实现更高级的智能行为。
📄 摘要（原文）
In multi-agent tasks, the central challenge lies in the dynamic adaptation of strategies. However, directly conditioning on opponents' strategies is intractable in the prevalent deep reinforcement learning paradigm due to a fundamental ``representational bottleneck'': neural policies are opaque, high-dimensional parameter vectors that are incomprehensible to other agents. In this work, we propose a paradigm shift that bridges this gap by representing policies as human-interpretable source code and utilizing Large Language Models (LLMs) as approximate interpreters. This programmatic representation allows us to operationalize the game-theoretic concept of \textit{Program Equilibrium}. We reformulate the learning problem by utilizing LLMs to perform optimization directly in the space of programmatic policies. The LLM functions as a point-wise best-response operator that iteratively synthesizes and refines the ego agent's policy code to respond to the opponent's strategy. We formalize this process as \textit{Programmatic Iterated Best Response (PIBR)}, an algorithm where the policy code is optimized by textual gradients, using structured feedback derived from game utility and runtime unit tests. We demonstrate that this approach effectively solves several standard coordination matrix games and a cooperative Level-Based Foraging environment.