SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
作者: Scott C. Lowe, Sander W. Keemink
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-10-08
💡 一句话要点
提出SpireBench以评估智能模型的长期战略游戏能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长期战略推理 智能模型 游戏AI 决策支持 基准测试 风险评估 复杂任务
📋 核心要点
- 现有的智能模型在长期战略推理方面的能力尚未得到充分评估，尤其是在复杂任务中表现不佳。
- 论文提出SpireBench，通过让模型在完整的《Slay the Spire》游戏中进行长期决策，评估其战略能力。
- 实验结果显示，尽管前沿模型在初期表现接近专家，但随着游戏进程的延长，其表现显著下降，暴露出模型在风险评估上的不足。
📝 摘要（中文）
智能大型语言模型在处理复杂任务方面取得了显著进展，但对长期战略推理的研究仍然不足。大多数现有基准测试都是短期和情节性的，难以将性能分解为存储知识、推理和运气。本文提出了SpireBench，模型在完整的商业卡牌构建游戏《Slay the Spire》中进行游戏，早期决策决定长期成功。通过对20种大型语言模型在游戏最高难度下的测试，前沿模型超越启发式基线，接近平均人类玩家，但仍远低于专家水平。研究发现，强模型与弱模型的区别在于每场战斗的表现，所有模型在游戏过程中都错误评估风险，过于保守。SpireBench为长期基准测试提供了新的工具，以定位智能体失败的原因。
🔬 方法详解
问题定义：本文旨在解决智能模型在长期战略推理中的不足，现有方法多集中于短期任务，难以评估模型的深层推理能力。
核心思路：通过引入SpireBench，模型在完整的《Slay the Spire》游戏中进行长期决策，能够更好地评估其战略推理能力和决策质量。
技术框架：SpireBench的整体架构包括游戏环境的构建、模型的决策过程以及性能评估模块，重点在于模型在不同阶段的表现分析。
关键创新：SpireBench是首个提供完整游戏环境的基准测试，允许模型在真实游戏中进行长期决策，区别于以往的短期测试方法。
关键设计：在模型训练中，采用了自一致的游戏术语重命名，确保模型能够更好地理解游戏机制，同时设计了针对风险评估的损失函数，以提高模型的决策质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，前沿模型在游戏的第一阶段表现与专家相当，但在后续阶段显著下降，显示出模型在长期决策中的不足。具体而言，模型在面对风险时的保守策略导致其整体表现低于专家水平，揭示了智能模型在复杂任务中的潜在改进方向。
🎯 应用场景
SpireBench的研究成果可广泛应用于游戏AI、智能代理和决策支持系统等领域。通过评估模型在复杂环境中的表现，能够为未来的智能系统设计提供重要的理论基础和实践指导，推动长期战略推理的研究进展。
📄 摘要（原文）
Agentic large language models now tackle complex tasks, yet strategic reasoning over long horizons is under-studied: most agentic benchmarks are short and episodic, and performance on long tasks is hard to dissect into stored knowledge, reasoning and luck. We introduce SpireBench, in which models play the complete commercial deck-builder Slay the Spire (StS), where early decisions decide long-term success. Across 20 large language models (LLMs) at the game's highest difficulty, frontier models beat heuristic baselines and match the average human player but remain far behind experts. This gap widens as the run lengthens: the strongest models win the first act as often as experts, then fall behind. What separates strong models from weak is how well they play each fight; all of them misjudge risk over a run, preserving health rather than spending it to grow stronger. A comprehensive, self-consistent renaming of every game term shows that part of their performance rests on prior knowledge of the game, and models do not improve from the memories they write across runs, which are often wrong and overly cautious. Our harness is the first to give a model the complete original game, and we compare it with existing harnesses. Overall, SpireBench offers an unsaturated long-horizon benchmark with tools to locate where and why agents fail.