Bayesian Social Deduction with Graph-Informed Language Models
作者: Shahab Rahimirad, Guven Gergerli, Lucia Romero, Angela Qian, Matthew Lyle Olson, Simon Stepputtis, Joseph Campbell
分类: cs.AI, cs.CL, cs.LG, cs.MA
发布日期: 2025-06-21
备注: 32 pages, 10 figures. Under review
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于图结构的语言模型，用于增强LLM在阿瓦隆游戏中的社会推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 社交推理 大型语言模型 贝叶斯推理 概率图模型 人机交互 阿瓦隆游戏 智能体设计
📋 核心要点
- 大型语言模型在社交推理任务中面临挑战，尤其是在需要实时响应的场景下，性能会显著下降。
- 论文提出一种混合推理框架，结合结构化概率模型进行信念推理，并利用LLM进行语言理解和交互。
- 实验结果表明，该方法在阿瓦隆游戏中能与大型模型媲美，并在受控实验中首次击败人类玩家。
📝 摘要（中文）
社交推理，即从其他智能体的部分观察中推断其未知的信念和意图，对于大型语言模型（LLM）来说仍然是一个具有挑战性的任务。我们评估了当前推理语言模型在社交演绎游戏阿瓦隆中的局限性，发现虽然最大的模型表现出强大的性能，但它们需要大量的测试时推理，并且当提炼成更小的、能够实时运行的变体时，性能会急剧下降。为了解决这个问题，我们引入了一种混合推理框架，该框架将信念推理外包给一个结构化的概率模型，同时使用LLM进行语言理解和交互。我们的方法在Agent-Agent对战中取得了与更大模型相媲美的性能，并且值得注意的是，是第一个在受控研究中击败人类玩家的语言智能体——实现了67%的胜率，并且获得了比推理基线和人类队友更高的定性评价。我们发布了代码、模型和一个数据集，以支持未来在LLM智能体中进行社交推理的研究，可以在https://camp-lab-purdue.github.io/bayesian-social-deduction/找到。
🔬 方法详解
问题定义：现有的大型语言模型在社交推理游戏中，例如阿瓦隆，虽然可以通过大量的计算资源获得较好的表现，但是当模型被压缩到可以实时交互的规模时，性能会显著下降。此外，纯粹依赖LLM进行推理难以解释其决策过程，缺乏透明性。因此，如何设计一个既能保证推理性能，又能满足实时性要求，并且具有可解释性的社交推理框架是一个关键问题。
核心思路：论文的核心思路是将信念推理过程从LLM中解耦出来，利用一个结构化的概率模型来显式地表示和更新智能体的信念。LLM则专注于语言理解和生成，负责解析游戏中的对话信息，并生成合理的回复。通过这种方式，可以降低LLM的推理负担，提高实时性，并使信念推理过程更加透明。
技术框架：该混合推理框架包含两个主要模块：语言理解模块（LLM）和信念推理模块（概率图模型）。LLM负责将游戏中的对话信息转化为结构化的输入，例如玩家的行为和发言。这些输入被传递给信念推理模块，该模块使用贝叶斯推理来更新每个玩家的信念状态，包括他们的角色、目标和策略。然后，LLM根据更新后的信念状态生成回复，并将其传递给游戏环境。整个过程迭代进行，直到游戏结束。
关键创新：该方法最重要的创新点在于将LLM与结构化概率模型相结合，实现了LLM在社交推理任务中的可解释性和实时性。与传统的端到端LLM方法相比，该方法能够显式地表示和更新智能体的信念，从而更好地理解其他玩家的行为和意图。此外，通过将信念推理外包给概率模型，可以降低LLM的计算负担，提高实时性。
关键设计：信念推理模块使用贝叶斯网络来表示玩家之间的信念关系。网络中的节点表示玩家的角色、目标和策略，边表示这些变量之间的依赖关系。论文使用马尔可夫链蒙特卡洛（MCMC）方法来近似计算后验概率，从而更新玩家的信念状态。LLM部分使用了预训练的语言模型，并通过微调来适应阿瓦隆游戏的特定任务。损失函数包括语言建模损失和策略预测损失，以提高LLM的语言生成能力和策略推理能力。
🖼️ 关键图片
📊 实验亮点
该方法在阿瓦隆游戏中取得了显著的成果，在Agent-Agent对战中取得了与更大模型相媲美的性能。更重要的是，该方法是第一个在受控研究中击败人类玩家的语言智能体，实现了67%的胜率，并且获得了比推理基线和人类队友更高的定性评价。这些结果表明，该方法在社交推理任务中具有很强的竞争力。
🎯 应用场景
该研究成果可应用于需要复杂社会推理的智能体设计，例如人机协作、谈判协商、自动驾驶等领域。通过结合语言模型和概率图模型，可以构建更智能、更可靠的智能体，从而提高人机交互的效率和安全性。此外，该方法还可以用于分析社交媒体数据，理解用户的情感和意图，从而为舆情分析、推荐系统等应用提供支持。
📄 摘要（原文）
Social reasoning - inferring unobservable beliefs and intentions from partial observations of other agents - remains a challenging task for large language models (LLMs). We evaluate the limits of current reasoning language models in the social deduction game Avalon and find that while the largest models demonstrate strong performance, they require extensive test-time inference and degrade sharply when distilled to smaller, real-time-capable variants. To address this, we introduce a hybrid reasoning framework that externalizes belief inference to a structured probabilistic model, while using an LLM for language understanding and interaction. Our approach achieves competitive performance with much larger models in Agent-Agent play and, notably, is the first language agent to defeat human players in a controlled study - achieving a 67% win rate and receiving higher qualitative ratings than both reasoning baselines and human teammates. We release code, models, and a dataset to support future work on social reasoning in LLM agents, which can be found at https://camp-lab-purdue.github.io/bayesian-social-deduction/