Vox Deorum: A Hybrid LLM Architecture for 4X / Grand Strategy Game AI -- Lessons from Civilization V

📄 arXiv: 2512.18564v2 📥 PDF

作者: John Chen, Sihan Cheng, Can Gurkan, Ryan Lay, Moez Salahuddin

分类: cs.AI

发布日期: 2025-12-21 (更新: 2025-12-25)

备注: Under review

💡 一句话要点

提出Vox Deorum混合架构，赋能LLM在4X游戏中进行宏观策略推理。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 4X游戏 混合架构 宏观策略 游戏AI

📋 核心要点

  1. 4X游戏的复杂性和长时程决策对LLM提出了挑战，同时延迟和成本限制了LLM的实际部署。
  2. Vox Deorum采用混合架构，利用LLM进行宏观战略决策，并将战术执行委托给其他AI子系统。
  3. 实验结果表明，LLM在4X游戏中表现出与传统AI不同的游戏风格，并实现了具有竞争力的游戏性能。

📝 摘要（中文）

本文提出了一种名为Vox Deorum的混合LLM+X架构，旨在解决大型语言模型（LLM）在4X和大型战略游戏中应用时面临的挑战，如复杂性、长时程决策、延迟和成本等问题。该架构利用LLM进行宏观战略推理，并将战术执行委派给子系统（如算法AI或强化学习AI）。通过在《文明V》及其Vox Populi Mod上的2327局完整游戏测试，比较了两个开源LLM和一个简单提示与Vox Populi的增强AI。结果表明，LLM在实现具有竞争力的端到端游戏体验的同时，展现出与算法AI及彼此之间显著不同的游戏风格。该研究为在商业4X游戏中集成LLM建立了一个可行的架构，为游戏设计和智能体AI研究开辟了新的机会。

🔬 方法详解

问题定义：论文旨在解决在4X游戏中应用LLM时遇到的挑战，包括游戏复杂性带来的推理难度、长时程决策带来的规划问题，以及LLM推理带来的延迟和成本问题。现有方法，如直接使用LLM进行所有决策，无法有效应对这些挑战，导致游戏体验不佳或成本过高。

核心思路：论文的核心思路是将LLM的优势（宏观战略推理）与传统AI的优势（战术执行效率）相结合。通过分层架构，LLM负责制定高层次的战略目标和决策，而具体的战术执行则交给更高效的子系统，从而在保证智能水平的同时，降低延迟和成本。

技术框架：Vox Deorum架构包含以下主要模块：1) LLM：负责接收游戏状态信息，进行战略分析，并输出高层次的行动指令。2) 战术执行子系统：可以是传统的算法AI，也可以是强化学习AI，负责将LLM的指令转化为具体的游戏操作。3) 游戏环境：提供游戏状态信息，并执行AI的行动。整个流程是LLM根据游戏状态制定战略，然后由战术执行子系统执行，并将结果反馈给LLM，形成一个闭环控制系统。

关键创新：该架构的关键创新在于将LLM与传统AI进行有效集成，实现了优势互补。与完全依赖LLM的方案相比，Vox Deorum降低了延迟和成本，提高了游戏体验。与完全依赖传统AI的方案相比，Vox Deorum赋予了AI更强的战略推理能力和更丰富的游戏风格。

关键设计：论文中，LLM的prompt设计至关重要，需要清晰地描述游戏状态、可执行的行动以及战略目标。此外，LLM输出的指令需要能够被战术执行子系统理解和执行。具体的参数设置和网络结构取决于所选用的LLM和战术执行子系统。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LLM的AI在《文明V》游戏中表现出与传统AI不同的游戏风格，例如，一个LLM倾向于扩张和侵略，而另一个LLM则更注重文化发展。同时，LLM驱动的AI在游戏结束时的得分与Vox Populi的增强AI相当，证明了该架构的有效性。

🎯 应用场景

该研究成果可应用于商业4X游戏和大型战略游戏，提升AI的智能水平和游戏体验。此外，该混合架构也为Agentic AI研究提供了新的思路，可应用于其他需要长期规划和复杂决策的领域，如机器人控制、供应链管理等。

📄 摘要（原文）

Large Language Models' capacity to reason in natural language makes them uniquely promising for 4X and grand strategy games, enabling more natural human-AI gameplay interactions such as collaboration and negotiation. However, these games present unique challenges due to their complexity and long-horizon nature, while latency and cost factors may hinder LLMs' real-world deployment. Working on a classic 4X strategy game, Sid Meier's Civilization V with the Vox Populi mod, we introduce Vox Deorum, a hybrid LLM+X architecture. Our layered technical design empowers LLMs to handle macro-strategic reasoning, delegating tactical execution to subsystems (e.g., algorithmic AI or reinforcement learning AI in the future). We validate our approach through 2,327 complete games, comparing two open-source LLMs with a simple prompt against Vox Populi's enhanced AI. Results show that LLMs achieve competitive end-to-end gameplay while exhibiting play styles that diverge substantially from algorithmic AI and from each other. Our work establishes a viable architecture for integrating LLMs in commercial 4X games, opening new opportunities for game design and agentic AI research.