Training Interactive Agent in Large FPS Game Map with Rule-enhanced Reinforcement Learning

📄 arXiv: 2410.04936v1 📥 PDF

作者: Chen Zhang, Huan Hu, Yuan Zhou, Qiyang Cao, Ruochen Liu, Wenya Wei, Elvis S. Liu

分类: cs.AI

发布日期: 2024-10-07

💡 一句话要点

提出基于规则增强强化学习的PMCA智能体，用于大型FPS游戏地图中的交互

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: FPS游戏AI 深度强化学习 导航网格 规则增强 人机交互

📋 核心要点

  1. 现有游戏AI在大型复杂FPS游戏中部署困难，尤其是在导航和战术运用方面。
  2. 提出NSRL方法，结合Navmesh、射击规则和深度强化学习，提升智能体的导航和战斗能力。
  3. 通过定制奖励，使智能体的行为更接近人类玩家，增强了交互性和真实感。

📝 摘要（中文）

本文针对在大型复杂的第一人称射击(FPS)游戏中部署游戏AI的挑战，提出了一种名为Private Military Company Agent (PMCA) 的新型游戏AI系统，该系统能够在大型游戏地图中与玩家互动，并在战斗中利用地形优势。为了解决现代3D FPS游戏中的导航和战斗难题，本文提出了一种结合导航网格(Navmesh)和射击规则与深度强化学习(NSRL)的方法。Navmesh的集成增强了智能体的全局导航能力，而射击行为则通过基于规则的方法进行控制，以确保可控性。NSRL采用DRL模型来预测何时启用导航网格，从而为游戏AI带来多样化的行为。此外，还采用了针对类人行为的定制奖励，以使PMCA的行为与人类玩家的行为保持一致。

🔬 方法详解

问题定义：论文旨在解决大型复杂FPS游戏中，游戏AI难以有效导航、利用地形优势进行战斗，以及行为不够自然的问题。现有方法通常难以兼顾全局导航、战术决策和行为可控性，导致AI在复杂环境中表现不佳。

核心思路：论文的核心思路是将全局导航（Navmesh）、局部战术（射击规则）和深度强化学习相结合，形成一个混合控制框架。Navmesh提供全局路径规划，射击规则保证基本战斗能力，深度强化学习则负责决策何时启用Navmesh进行移动，从而实现多样化的行为。

技术框架：PMCA智能体系统主要包含以下几个模块：1) Navmesh模块，负责生成和维护游戏地图的导航网格；2) 射击规则模块，定义了智能体的基本射击行为，例如瞄准、射击和换弹；3) 深度强化学习模块，使用DRL模型预测何时启用Navmesh进行导航，并根据环境反馈进行学习；4) 奖励函数模块，设计了针对类人行为的定制奖励，鼓励智能体学习更自然的行动方式。

关键创新：最重要的技术创新点在于NSRL方法，它将Navmesh、射击规则和深度强化学习有机结合，实现了全局导航、战术决策和行为可控性的平衡。与传统的纯强化学习方法相比，NSRL能够更快地学习到有效的策略，并且具有更好的泛化能力。与纯规则方法相比，NSRL能够生成更自然和多样化的行为。

关键设计：论文中，DRL模型采用深度Q网络（DQN）或其变体，输入包括智能体的状态（例如位置、血量、弹药）和环境信息（例如敌人的位置、地形信息）。奖励函数的设计至关重要，除了基本的生存奖励和击杀奖励外，还包括针对类人行为的奖励，例如利用掩体、避免暴露等。Navmesh的粒度和射击规则的参数也需要仔细调整，以达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的NSRL方法在Arena Breakout游戏中进行了实验验证。实验结果表明，PMCA智能体能够有效地与人类玩家进行交互，并在战斗中取得一定的优势。通过定制奖励，PMCA的行为更接近人类玩家，增强了游戏的真实感和趣味性。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于各种FPS游戏中，提升游戏AI的智能化水平和交互体验。除了游戏领域，该方法还可以扩展到其他需要智能体在复杂环境中进行导航和决策的应用场景，例如机器人导航、自动驾驶等。通过结合规则和强化学习，可以提高智能体的可靠性和安全性。

📄 摘要（原文）

In the realm of competitive gaming, 3D first-person shooter (FPS) games have gained immense popularity, prompting the development of game AI systems to enhance gameplay. However, deploying game AI in practical scenarios still poses challenges, particularly in large-scale and complex FPS games. In this paper, we focus on the practical deployment of game AI in the online multiplayer competitive 3D FPS game called Arena Breakout, developed by Tencent Games. We propose a novel gaming AI system named Private Military Company Agent (PMCA), which is interactable within a large game map and engages in combat with players while utilizing tactical advantages provided by the surrounding terrain. To address the challenges of navigation and combat in modern 3D FPS games, we introduce a method that combines navigation mesh (Navmesh) and shooting-rule with deep reinforcement learning (NSRL). The integration of Navmesh enhances the agent's global navigation capabilities while shooting behavior is controlled using rule-based methods to ensure controllability. NSRL employs a DRL model to predict when to enable the navigation mesh, resulting in a diverse range of behaviors for the game AI. Customized rewards for human-like behaviors are also employed to align PMCA's behavior with that of human players.