Strat-Reasoner: Reinforcing Strategic Reasoning of LLMs in Multi-Agent Games

📄 arXiv: 2605.04906v1 📥 PDF

作者: Yidong He, Yutao Lai, Pengxu Yang, Jiarui Gan, Jiexin Wang, Yi Cai, Mengchen Zhao

分类: cs.AI

发布日期: 2026-05-06

💡 一句话要点

Strat-Reasoner：强化学习驱动LLM在多智能体博弈中的策略推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体博弈 强化学习 大型语言模型 策略推理 递归推理 Chain-of-Thought 群体相对学习

📋 核心要点

  1. 多智能体博弈中，其他智能体策略的非平稳性使得LLM难以有效评估推理过程和分配信用。
  2. Strat-Reasoner通过递归推理整合其他智能体的推理过程，并使用CoT比较模块评估推理质量。
  3. 实验表明，Strat-Reasoner在多智能体博弈中显著提升了LLM的策略能力，平均提升22.1%。

📝 摘要（中文）

大型语言模型（LLMs）在某些推理任务中表现出色，但在多智能体博弈中却面临挑战，因为最终结果取决于所有智能体的联合策略。多智能体博弈中其他智能体的不稳定性给推理过程的评估和多步推理中的信用分配带来了显著挑战。现有的单智能体强化学习（RL）方法及其多智能体扩展未能解决这些挑战，因为它们没有将其他智能体纳入推理过程。本文提出了Strat-Reasoner，一种新颖的基于RL的框架，旨在提高LLMs在多智能体博弈中的策略推理能力。我们引入了一种新颖的递归推理范式，其中智能体的推理也整合了其他智能体的推理过程。为了为中间推理序列提供有效的奖励信号，我们采用了一个集中的Chain-of-Thought（CoT）比较模块来评估推理质量。最后，我们计算了一个精确的混合优势，并开发了一种群体相对RL方法来优化LLM策略。实验结果表明，Strat-Reasoner显著提高了底层LLMs的策略能力，在各种多智能体博弈中实现了平均22.1%的性能提升。

🔬 方法详解

问题定义：论文旨在解决LLM在多智能体博弈中策略推理能力不足的问题。现有方法，如单智能体强化学习及其多智能体扩展，无法有效应对其他智能体策略的非平稳性，导致推理过程评估和信用分配困难。现有方法没有充分考虑其他智能体的推理过程，从而影响了整体策略的有效性。

核心思路：论文的核心思路是引入递归推理范式，使每个智能体的推理过程能够整合其他智能体的推理过程。通过这种方式，智能体可以更好地理解其他智能体的意图和策略，从而制定更有效的策略。此外，论文还使用集中的Chain-of-Thought（CoT）比较模块来评估推理质量，并提供有效的奖励信号。

技术框架：Strat-Reasoner框架包含以下主要模块：1) 递归推理模块，用于整合其他智能体的推理过程；2) CoT比较模块，用于评估推理质量并生成奖励信号；3) 混合优势计算模块，用于计算精确的优势函数；4) 群体相对RL模块，用于优化LLM策略。整体流程是，智能体首先进行递归推理，然后使用CoT比较模块评估推理质量，计算混合优势，最后使用群体相对RL方法优化策略。

关键创新：论文的关键创新在于引入了递归推理范式和集中的CoT比较模块。递归推理范式使得智能体能够更好地理解其他智能体的意图和策略，而CoT比较模块则提供了有效的奖励信号，从而提高了LLM的策略推理能力。与现有方法相比，Strat-Reasoner能够更有效地应对多智能体博弈中的非平稳性。

关键设计：CoT比较模块通过比较不同智能体的推理链来评估推理质量。混合优势函数结合了优势函数和价值函数，从而更准确地评估策略的优劣。群体相对RL方法则通过考虑群体中其他智能体的表现来优化策略。具体的参数设置和网络结构细节在论文中进行了详细描述，例如CoT比较模块的具体实现方式，混合优势函数的计算公式，以及群体相对RL方法的优化算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Strat-Reasoner在各种多智能体博弈中实现了显著的性能提升，平均提升幅度为22.1%。与现有基线方法相比，Strat-Reasoner能够更有效地应对多智能体博弈中的非平稳性，并取得更好的策略效果。这些结果验证了Strat-Reasoner的有效性和优越性。

🎯 应用场景

Strat-Reasoner可应用于各种多智能体博弈场景，如策略游戏、谈判协商、资源分配等。该研究有助于提升AI在复杂环境中的决策能力，具有重要的实际价值。未来，该方法可以扩展到更复杂的博弈场景，并与其他技术相结合，实现更强大的智能体。

📄 摘要（原文）

While Large Language Models (LLMs) excel in certain reasoning tasks, they struggle in multi-agent games where the final outcome depends on the joint strategies of all agents. In multi-agent games, the non-stationarity of other agents brings significant challenges on the evaluation of the reasoning process and the credit assignment over multiple reasoning steps. Existing single-agent reinforcement learning (RL) approaches and their multi-agent extensions fail to address these challenges as they do not incorporate other agents in the reasoning process. In this work, we propose Strat-Reasoner, a novel RL-based framework that improves LLMs' strategic reasoning ability in multi-agent games. We introduce a novel recursive reasoning paradigm where an agent's reasoning also integrates other agents' reasoning processes. To provide effective reward signals for the intermediate reasoning sequences, we employ a centralized Chain-of-Thought (CoT) comparison module to evaluate the reasoning quality. Finally, we compute an accurate hybrid advantage and develop a group-relative RL approach to optimize the LLM policy. Experimental results show that Strat-Reasoner substantially improves strategic abilities of underlying LLMs, achieving 22.1\% average performance improvements across various multi-agent games.