Learning Strategic Language Agents in the Werewolf Game with Iterative Latent Space Policy Optimization

📄 arXiv: 2502.04686v3 📥 PDF

作者: Zelai Xu, Wanjun Gu, Chao Yu, Yi Wu, Yu Wang

分类: cs.AI

发布日期: 2025-02-07 (更新: 2025-06-18)

备注: Published in ICML 2025

💡 一句话要点

提出LSPO框架，解决狼人杀游戏中LLM智能体的策略学习与语言交互难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 策略学习 狼人杀游戏 博弈论 潜在空间策略优化

📋 核心要点

  1. 现有LLM智能体在狼人杀等策略语言游戏中，由于动作分布偏差和文本动作空间探索不足，表现不佳。
  2. 论文提出LSPO框架，将自由形式语言映射到有限潜在策略空间，利用博弈论方法优化策略，并通过DPO微调LLM。
  3. 实验表明，LSPO智能体在狼人杀游戏中迭代提升性能，优于现有智能体，验证了其在策略语言游戏中的有效性。

📝 摘要（中文）

大型语言模型（LLM）智能体在开放式对话和多步骤决策等领域展现了卓越能力。然而，让这些智能体解决像狼人杀这样需要策略决策和自由形式语言交互的策略语言游戏仍然具有挑战性。现有的LLM智能体通常存在动作分布的内在偏差，并且对无界文本动作空间的探索有限，导致性能欠佳。为了解决这些挑战，我们提出了潜在空间策略优化（LSPO），这是一个迭代框架，它结合了博弈论方法与LLM微调，以构建策略性语言智能体。LSPO利用了语言空间在组合上很大，但底层策略空间相对紧凑的观察结果。我们首先将自由形式的表达映射到有限的潜在策略空间，从而产生一个抽象的扩展形式博弈。然后，我们应用反事实后悔最小化（CFR）等博弈论方法来优化潜在空间中的策略。最后，我们通过直接偏好优化（DPO）来微调LLM，使其与学习到的策略对齐。通过迭代地交替执行这些步骤，我们的LSPO智能体逐步增强了战略推理和语言交流能力。在狼人杀游戏上的实验表明，我们的智能体通过不断改进性能来迭代地扩展策略空间，并且优于现有的狼人杀智能体，突显了它们在具有战略交互的自由形式语言游戏中的有效性。

🔬 方法详解

问题定义：论文旨在解决狼人杀游戏中，LLM智能体难以进行有效的策略决策和自由形式语言交互的问题。现有方法的痛点在于，LLM智能体存在固有的动作分布偏差，并且难以充分探索无界的文本动作空间，导致性能受限。

核心思路：论文的核心思路是将复杂的语言空间映射到一个相对紧凑的潜在策略空间。作者认为，虽然语言表达方式多种多样，但底层的策略选择是有限的。通过在潜在策略空间中进行策略优化，可以有效地提升智能体的决策能力。

技术框架：LSPO框架包含以下几个主要阶段：1) 将自由形式的语言表达映射到有限的潜在策略空间，构建抽象的扩展形式博弈。2) 在潜在策略空间中，利用反事实后悔最小化（CFR）等博弈论方法进行策略优化。3) 通过直接偏好优化（DPO）微调LLM，使其与学习到的策略对齐。这三个阶段迭代进行，不断提升智能体的策略推理和语言交流能力。

关键创新：最重要的技术创新在于将博弈论方法与LLM微调相结合，通过在潜在策略空间中进行策略优化，克服了LLM智能体在策略语言游戏中面临的挑战。与现有方法相比，LSPO能够更有效地探索策略空间，并学习到更优的策略。

关键设计：论文的关键设计包括：1) 如何定义和构建潜在策略空间；2) 如何选择合适的博弈论方法进行策略优化；3) 如何利用DPO微调LLM，使其与学习到的策略对齐。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LSPO智能体在狼人杀游戏中表现出色，能够迭代地扩展策略空间并提升性能。LSPO智能体优于现有的狼人杀智能体，证明了其在具有战略交互的自由形式语言游戏中的有效性。具体的性能提升幅度未知，但实验结果表明LSPO具有显著的优势。

🎯 应用场景

该研究成果可应用于各种需要策略决策和自然语言交互的场景，例如谈判、辩论、人机协作等。通过学习有效的策略和语言表达方式，智能体可以更好地与人类或其他智能体进行沟通和协作，从而提高工作效率和决策质量。此外，该研究还可以促进LLM在复杂任务中的应用，推动人工智能技术的发展。

📄 摘要（原文）

Large language model (LLM) agents have recently demonstrated impressive capabilities in various domains like open-ended conversation and multi-step decision-making. However, it remains challenging for these agents to solve strategic language games, such as Werewolf, which demand both strategic decision-making and free-form language interactions. Existing LLM agents often suffer from intrinsic bias in their action distributions and limited exploration of the unbounded text action space, resulting in suboptimal performance. To address these challenges, we propose Latent Space Policy Optimization (LSPO), an iterative framework that combines game-theoretic methods with LLM fine-tuning to build strategic language agents. LSPO leverages the observation that while the language space is combinatorially large, the underlying strategy space is relatively compact. We first map free-form utterances into a finite latent strategy space, yielding an abstracted extensive-form game. Then we apply game-theoretic methods like Counterfactual Regret Minimization (CFR) to optimize the policy in the latent space. Finally, we fine-tune the LLM via Direct Preference Optimization (DPO) to align with the learned policy. By iteratively alternating between these steps, our LSPO agents progressively enhance both strategic reasoning and language communication. Experiment on the Werewolf game shows that our agents iteratively expand the strategy space with improving performance and outperform existing Werewolf agents, underscoring their effectiveness in free-form language games with strategic interactions.