ChessArena: A Chess Testbed for Evaluating Strategic Reasoning Capabilities of Large Language Models

📄 arXiv: 2509.24239v3 📥 PDF

作者: Jincheng Liu, Sijun He, Jingjing Wu, Xiangsen Wang, Yang Chen, Zhaoqi Kuang, Siqi Bao, Yuan Yao

分类: cs.LG, cs.AI

发布日期: 2025-09-29 (更新: 2025-12-02)

💡 一句话要点

ChessArena：用于评估大语言模型战略推理能力的国际象棋测试平台

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 战略推理 国际象棋 测试平台 评估指标

📋 核心要点

  1. 现有大型语言模型在推理能力方面表现出潜力，但其是否具备真正的战略推理能力仍待考量。
  2. ChessArena通过构建国际象棋对弈环境，考察LLMs在长期规划、规则理解和多轮对话记忆等方面的能力。
  3. 实验结果表明，现有LLMs在国际象棋战略推理方面存在不足，但微调后的Qwen3-8B性能显著提升。

📝 摘要（中文）

本文提出了一个名为ChessArena的国际象棋测试平台，旨在评估大型语言模型（LLMs）的战略推理能力。该平台通过让LLMs在四种不同的对弈模式下相互博弈，来考察其长期规划、规则理解和多轮对话记忆能力。ChessArena配备了排名算法和排行榜，并能细粒度地评估LLMs的基本理解、走法选择和解谜能力。研究人员在ChessArena上评估了超过13个不同模式的LLMs，进行了800多场对弈。结果表明，当前LLMs存在显著缺陷，没有模型能击败Maia-1100（人类业余水平的国际象棋引擎），甚至有些模型无法战胜随机走棋的对手。同时，论文提供了一个强大的基线：通过微调Qwen3-8B，性能得到显著提升，接近了更大的最先进的推理模型。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在各种任务中表现出强大的能力，但它们是否真正具备复杂的战略推理能力，还是仅仅擅长识别训练数据中的复杂模式，这是一个关键问题。特别是在需要长期规划、严格规则理解和多轮对话记忆的场景下，LLMs的推理能力面临挑战。国际象棋正是这样一个理想的测试环境，现有方法缺乏一个专门用于评估LLMs国际象棋战略推理能力的标准化平台。

核心思路：本文的核心思路是构建一个竞争性的国际象棋测试平台，让不同的LLMs相互对弈，从而评估它们的战略推理能力。通过设计不同的对弈模式和评估指标，可以细粒度地分析LLMs在国际象棋中的表现，并识别它们的优势和不足。这种方法能够更直接地考察LLMs在复杂环境下的决策能力，避免了仅仅依赖于静态数据集的评估方式。

技术框架：ChessArena测试平台主要包含以下几个模块：1) 对弈环境：提供标准的国际象棋规则和界面，支持LLMs进行对弈。2) 对弈模式：设计了四种不同的对弈模式，包括标准对弈、让子棋等，以考察LLMs在不同条件下的表现。3) 评估指标：定义了多种评估指标，包括胜率、Elo等级分、走法质量等，用于量化LLMs的战略推理能力。4) 排名算法和排行榜：根据LLMs的对弈结果进行排名，并生成排行榜，方便用户比较不同模型的性能。5) 基线模型：提供了一个基于微调Qwen3-8B的强大基线模型，作为参考。

关键创新：ChessArena的关键创新在于它提供了一个专门用于评估LLMs国际象棋战略推理能力的标准化测试平台。与以往的研究相比，ChessArena更加注重考察LLMs在动态对弈环境下的决策能力，而不是仅仅依赖于静态的棋局分析。此外，ChessArena还提供了细粒度的评估指标和多种对弈模式，可以更全面地分析LLMs的优势和不足。

关键设计：在对弈模式方面，论文设计了标准对弈、让子棋等多种模式，以考察LLMs在不同条件下的表现。在评估指标方面，论文采用了胜率、Elo等级分等常用指标，并结合国际象棋引擎的分析结果，评估LLMs的走法质量。在基线模型方面，论文通过微调Qwen3-8B，显著提升了其在国际象棋中的表现。具体的微调策略和参数设置在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，当前LLMs在国际象棋战略推理方面存在显著不足，没有模型能击败Maia-1100（人类业余水平的国际象棋引擎），甚至有些模型无法战胜随机走棋的对手。然而，通过微调Qwen3-8B，性能得到显著提升，接近了更大的最先进的推理模型，表明通过适当的训练，LLMs可以在国际象棋中取得更好的表现。

🎯 应用场景

ChessArena测试平台可用于评估和比较不同LLMs的战略推理能力，推动LLMs在复杂决策领域的应用。该平台不仅可以用于国际象棋，还可以推广到其他需要战略推理的领域，如游戏、规划、决策支持等。通过不断改进LLMs的战略推理能力，可以使其在更广泛的实际应用中发挥作用。

📄 摘要（原文）

Recent large language models (LLMs) have shown strong reasoning capabilities. However, a critical question remains: do these models possess genuine reasoning skills particularly complex strategic reasoning or are they primarily excelling at sophisticated pattern recognition within their training data? To address this question, this paper presents a chess testbed, ChessArena, to evaluate the strategic reasoning capabilities of LLMs. Chess requires complex strategic reasoning capabilities including long-term planning, strict rule comprehension, and multi-turn conversation memorization. Specifically, ChessArena is a competitive framework where LLMs play against each other, under four different play modes. The testbed is equipped with a ranking algorithm and a leaderboard. The testbed can also evaluate fine-grained capabilities including basic understanding, move selection, and puzzle solving. Over 13 LLMs with different modes are evaluated in ChessArena, playing over 800 games. The results reveal significant shortcomings in current LLMs: no model can beat Maia-1100 (a chess engine at human amateur level), while some even failed to defeat a random player that selects moves arbitrarily. We also present a strong baseline to the testbed: our fine-tuned Qwen3-8B substantially improved performance, approaching much larger state-of-the-art reasoning models.