Evaluating Counterfactual Strategic Reasoning in Large Language Models

📄 arXiv: 2603.19167v1 📥 PDF

作者: Dimitrios Georgousis, Maria Lymperaiou, Angeliki Dimitriou, Giorgos Filandrianos, Giorgos Stamou

分类: cs.CL

发布日期: 2026-03-19

💡 一句话要点

评估大语言模型在反事实情境下的策略推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 策略推理 反事实推理 博弈论 囚徒困境

📋 核心要点

  1. 现有方法难以区分LLM的策略行为是基于真实推理还是记忆模式，尤其是在面对结构变化时。
  2. 通过设计反事实博弈变体，改变收益结构和行动标签，打破原有博弈的对称性和优势关系，从而考察LLM的泛化能力。
  3. 实验结果表明，LLM在反事实环境中表现出激励敏感性不足、结构泛化能力有限以及策略推理能力不足的问题。

📝 摘要（中文）

本文评估大型语言模型（LLM）在重复博弈论环境中的表现，旨在判断其策略行为是源于真正的推理，还是依赖于记忆的模式。研究选取了两个经典博弈：囚徒困境（PD）和石头剪刀布（RPS），并引入反事实变体，通过改变收益结构和行动标签来打破原有的对称性和优势关系。通过多指标评估框架，对比默认和反事实情境下的表现，揭示了LLM在激励敏感性、结构泛化以及反事实环境下的策略推理方面的局限性。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在策略推理方面的能力，特别是当博弈规则发生变化时，LLM是否能够进行有效的反事实推理。现有方法难以区分LLM的策略行为是基于真实推理还是记忆模式，尤其是在面对结构变化时，LLM的泛化能力受到挑战。

核心思路：论文的核心思路是通过设计反事实博弈变体来评估LLM的策略推理能力。具体来说，通过改变经典博弈（如囚徒困境和石头剪刀布）的收益结构和行动标签，打破原有的对称性和优势关系，从而考察LLM在面对新的博弈规则时是否能够进行有效的策略调整。这样可以区分LLM是依赖于记忆的模式还是进行真正的推理。

技术框架：论文的技术框架主要包括以下几个部分：1) 选择经典博弈：选取囚徒困境（PD）和石头剪刀布（RPS）作为研究对象。2) 设计反事实变体：通过改变收益结构和行动标签，创建反事实博弈。3) LLM策略生成：使用LLM生成在不同博弈情境下的策略。4) 多指标评估：设计多个指标来评估LLM在默认和反事实情境下的表现，包括激励敏感性、结构泛化能力和策略推理能力。

关键创新：论文的关键创新在于引入了反事实博弈的概念，并将其应用于评估LLM的策略推理能力。通过这种方式，可以更有效地评估LLM是否能够进行真正的推理，而不仅仅是依赖于记忆的模式。此外，论文还提出了一个多指标评估框架，可以全面地评估LLM在不同方面的表现。

关键设计：在反事实博弈的设计中，关键在于如何改变收益结构和行动标签，以打破原有的对称性和优势关系，同时保持博弈的基本结构不变。例如，在囚徒困境中，可以改变合作和背叛的收益，使得合作成为更优的选择。在石头剪刀布中，可以改变行动标签，例如将“石头”改为“火”，将“剪刀”改为“水”，将“布”改为“木”，从而考察LLM是否能够理解新的行动关系。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM在反事实博弈中的表现明显不如在默认博弈中。例如，在改变囚徒困境的收益结构后，LLM的合作意愿显著下降，表明其激励敏感性不足。此外，LLM在改变石头剪刀布的行动标签后，无法有效地调整策略，表明其结构泛化能力有限。这些结果表明，LLM在策略推理方面仍存在很大的提升空间。

🎯 应用场景

该研究的潜在应用领域包括：提升LLM在复杂决策环境下的表现，例如在自动驾驶、金融交易等领域。通过评估和改进LLM的策略推理能力，可以使其在面对不确定性和变化时做出更明智的决策。此外，该研究还可以用于评估和改进其他类型的人工智能系统，提高其在复杂环境中的适应性和鲁棒性。

📄 摘要（原文）

We evaluate Large Language Models (LLMs) in repeated game-theoretic settings to assess whether strategic performance reflects genuine reasoning or reliance on memorized patterns. We consider two canonical games, Prisoner's Dilemma (PD) and Rock-Paper-Scissors (RPS), upon which we introduce counterfactual variants that alter payoff structures and action labels, breaking familiar symmetries and dominance relations. Our multi-metric evaluation framework compares default and counterfactual instantiations, showcasing LLM limitations in incentive sensitivity, structural generalization and strategic reasoning within counterfactual environments.