What-If Analysis of Large Language Models: Explore the Game World Using Proactive Thinking

📄 arXiv: 2509.04791v3 📥 PDF

作者: Yuan Sui, Yanming Zhang, Yi Liao, Yu Gu, Guohua Tang, Zhongqian Sun, Wei Yang, Bryan Hooi

分类: cs.AI

发布日期: 2025-09-05 (更新: 2026-01-10)

💡 一句话要点

提出WiA-LLM，利用主动思考提升LLM在MOBA游戏中决策能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 主动推理 世界模型 强化学习 MOBA游戏

📋 核心要点

  1. 现有LLM在MOBA等复杂环境中决策能力不足，缺乏主动推理和对游戏动态的深入理解。
  2. WiA-LLM将LLM训练为基于语言的世界模型，通过自然语言模拟游戏状态演变并提供文本解释。
  3. 实验表明，WiA-LLM在王者荣耀中预测游戏状态变化的准确率显著提升，并展现出更接近专家水平的战略决策。

📝 摘要（中文）

大型语言模型（LLM）在高风险环境（如MOBA游戏）中进行决策时表现不佳，这主要是由于缺乏主动推理和对复杂游戏动态的理解有限。为了解决这个问题，我们提出了What-if Analysis LLM (WiA-LLM)，该框架将LLM训练成一个显式的、基于语言的世界模型。WiA-LLM不使用潜在向量来表示环境，而是使用自然语言来模拟游戏状态如何随着时间的推移响应候选动作而演变，并为这些预测结果提供文本解释。WiA-LLM的训练分为两个阶段：首先在类人推理轨迹上进行监督微调，然后通过基于结果的强化学习，根据预测和实际未来状态之间的一致性来获得奖励。在王者荣耀（HoK）环境中，WiA-LLM在预测游戏状态变化方面达到了74.2%的准确率（比基础模型提高了27%）。此外，WiA-LLM表现出更符合专家玩家的战略行为，表明其具有更强的前瞻性和类似专家的决策能力。

🔬 方法详解

问题定义：论文旨在解决LLM在复杂、高风险的MOBA游戏环境中决策能力不足的问题。现有方法通常依赖于反应式策略或使用潜在向量表示环境，缺乏主动推理能力和对游戏动态的显式理解，导致决策质量不高。

核心思路：论文的核心思路是将LLM训练成一个显式的、基于语言的世界模型，使其能够通过“假设分析”（What-if Analysis）来预测不同动作对未来游戏状态的影响。通过自然语言模拟游戏状态的演变，并提供文本解释，从而增强LLM的主动推理能力和对游戏动态的理解。

技术框架：WiA-LLM的训练分为两个阶段。第一阶段是监督微调（SFT），使用类人推理轨迹数据训练LLM，使其能够生成合理的“假设分析”文本。第二阶段是强化学习（RL），使用基于结果的奖励函数来优化LLM的决策策略。奖励函数基于预测的未来状态与实际未来状态之间的一致性，鼓励LLM做出更准确的预测和更有效的决策。

关键创新：最重要的技术创新点在于使用自然语言作为LLM的世界模型，而非传统的潜在向量表示。这种方法使得LLM能够以人类可理解的方式进行推理和解释，从而增强了其主动性和可解释性。此外，两阶段训练策略结合了监督学习和强化学习的优点，提高了模型的训练效率和性能。

关键设计：在监督微调阶段，使用了高质量的类人推理轨迹数据，确保LLM能够学习到合理的推理模式。在强化学习阶段，奖励函数的设计至关重要，需要准确衡量预测未来状态与实际未来状态之间的一致性。具体的网络结构和参数设置未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WiA-LLM在王者荣耀（HoK）环境中，预测游戏状态变化的准确率达到了74.2%，相比于基础模型提升了27%。此外，WiA-LLM展现出更符合专家玩家的战略行为，表明其具有更强的前瞻性和类似专家的决策能力。这些实验结果验证了WiA-LLM的有效性和优越性。

🎯 应用场景

该研究成果可应用于游戏AI、自动驾驶、金融决策等需要复杂推理和预测的领域。通过构建基于语言的世界模型，可以提升AI系统在复杂环境中的决策能力和风险评估能力。未来，该方法有望扩展到更广泛的领域，例如智能客服、医疗诊断等。

📄 摘要（原文）

LLMs struggle with decision-making in high-stakes environments like MOBA games, primarily due to a lack of proactive reasoning and limited understanding of complex game dynamics. To address this, we propose What-if Analysis LLM (WiA-LLM), a framework that trains an LLM as an explicit, language-based world model. Instead of representing the environment in latent vectors, WiA-LLM uses natural language to simulate how the game state evolves over time in response to candidate actions, and provides textual justifications for these predicted outcomes. WiA-LLM is trained in two stages: supervised fine-tuning on human-like reasoning traces, followed by reinforcement learning with outcome-based rewards based on the alignment between predicted and actual future states. In the Honor of Kings (HoK) environment, WiA-LLM attains 74.2\% accuracy (27\%$\uparrow$ vs. base model) in forecasting game-state changes. In addition, WiA-LLM demonstrate strategic behavior more closely aligned with expert players than purely reactive LLMs, indicating enhanced foresight and expert-like decision-making.