Choosing LLMs for Strategic Agent Interactions
作者: Arastun Mammadli, Herbert Woisetschläger, Jawad Fayaz, Shiqiang Wang
分类: cs.AI, cs.IR, cs.MA
发布日期: 2026-10-13
备注: NeurIPS workshop on Foundations of Agentic Systems Theory (FAST), 2026
💡 一句话要点
提出战略选择框架以优化LLM在博弈中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 博弈理论 战略选择 动态适应性 多臂老虎机算法 智能代理 在线学习
📋 核心要点
- 现有的博弈理论基准仅评估固定模型的战略表现，未考虑对手的适应性和反馈信号的变化，导致评估结果的局限性。
- 论文提出将战略选择视为基础博弈之上的元博弈，通过在线学习的方式动态选择LLM，以应对潜在的对手变化。
- 实验结果显示，模型的战略能力在不同博弈中表现差异显著，且轻量级多臂老虎机算法在多个博弈中表现优于传统方法。
📝 摘要（中文）
本文探讨了大型语言模型（LLM）在战略决策中的表现，指出现有评估方法仅针对固定模型，未考虑对手的适应性与反馈变化。为此，作者提出了一种新的博弈理论评估框架，将战略选择定义为基础博弈之上的元博弈。通过对5个博弈和10个LLM的评估，发现模型的战略能力因博弈设置和对手而异，并实现了一系列选择方法，结果表明轻量级多臂老虎机算法在多个博弈中表现更为可靠，但仍未超越最佳固定模型。
🔬 方法详解
问题定义：本文旨在解决现有博弈理论评估方法未考虑对手适应性的问题，导致模型在动态环境中的表现评估不准确。
核心思路：通过将战略选择定义为元博弈，动态选择LLM以应对潜在对手的变化，提升模型在博弈中的表现。
技术框架：整体架构包括一个战略选择器，从模型组合中选择LLM，在线学习博弈收益矩阵，评估信号为博弈特定的。主要模块包括模型选择、收益评估和反馈学习。
关键创新：提出了将战略选择视为元博弈的概念，显著区别于传统方法的固定模型评估，强调了动态适应性的重要性。
关键设计：在实验中，采用了多种选择方法，包括基于查询嵌入和LLM自我反思的方法，最终发现轻量级多臂老虎机算法在多个博弈中表现更为稳定。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型的战略能力在不同博弈中表现差异显著，轻量级多臂老虎机算法在多个博弈中表现更为可靠，但仍未超越最佳固定模型，显示出当前方法在应对动态对手方面的不足。
🎯 应用场景
该研究的潜在应用领域包括智能代理、游戏AI和决策支持系统，能够帮助开发更具适应性的智能系统，提升其在动态环境中的决策能力。未来可能影响多种领域，如金融交易、自动驾驶和人机交互等。
📄 摘要（原文）
Game-theoretic benchmarks claim that large language model (LLM) strategic decision-making varies across game types, interaction structures, and capability dimensions. However, they only evaluate strategic performance across individual fixed models. In parallel, contemporary LLM routers pick models under quality-cost trade-offs, but with no notion of a strategic structure. They do not account for an opponent that might be unknown, and that can adapt over time and shift the feedback signal. To address this, we extend the game-theoretic evaluations and define strategic selection as the meta game layered on top of the base game. In each round, a strategic selector fields an LLM from a portfolio of models to navigate a game payoff matrix that is latent and learned online. We find that the evaluation signal is game-specific, and that extracting a reliable signal requires a much higher number of seed runs $N$ compared to traditional benchmarking setups. Evaluating across 5 games and 10 LLMs, we show a model's strategic competence varies significantly depending on the game setup and the opponent faced. Building on this, we implement a suite of selector methods and find that approaches that rely on query embeddings or LLM self-reflection do not consistently capture the underlying strategic signal. A lightweight multi-armed bandit algorithm performs more reliably across games, though it still falls short of the best fixed model. Finally, we show that simple non-stationary and adversarial bandit variants fail to outperform a stationary bandit baseline, pointing to a gap in how current methods handle a shifting opponent in strategic settings.