Constrained Command-Conditioned Reinforcement Learning with Bandit Strategy Selection in Real-Time Strategy Games
作者: Nick Leenders, Roy Lindelauf, Joost van Oijen, Boris Cule
分类: cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出约束命令条件强化学习以解决实时战略游戏中的策略选择问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 实时战略游戏 策略选择 深度学习 PPO 汤普森采样 AI代理 动态适应
📋 核心要点
- 现有的深度强化学习方法在实时战略游戏中表现不稳定，尤其是在面对未见过的对手时。
- 本研究通过引入约束命令条件的PPO策略，将战略选择与单位控制分离，从而提高对不同对手的适应能力。
- 实验结果显示，提出的系统在与强对手的对抗中表现显著优于传统的PPO基线，胜率提升明显。
📝 摘要（中文）
深度强化学习代理在实时战略游戏中表现出色，但在面对训练分布外的对手时可能表现脆弱。通过将战略命令选择与学习的单位控制分离，可以针对不同对手选择不同的策略，同时重用相同的执行策略。本文提出了一种约束命令条件的近端策略优化（PPO）策略，作为执行者，应用于MicroRTS环境。离散命令指定战略目标和行为要求，执行者确定单位级别的行动以满足这些要求。使用汤普森采样的赌博机作为战略家，根据游戏内观察构建对手策略的估计来选择命令元组。在与相同架构、预算、课程和自对弈联盟训练的平坦PPO基线的对比中，战略家-执行者系统在训练地图上显著战胜了四个最强对手中的三个。
🔬 方法详解
问题定义：本文旨在解决深度强化学习代理在实时战略游戏中对未见对手的脆弱性，现有方法在策略选择上缺乏灵活性。
核心思路：通过将战略命令选择与单位控制分离，允许根据对手的策略动态选择不同的命令，同时保持执行策略的一致性。
技术框架：整体架构包括一个约束命令条件的PPO执行者和一个基于汤普森采样的战略家。执行者负责根据离散命令执行单位级别的行动，而战略家则根据游戏内观察选择命令元组。
关键创新：最重要的创新在于将战略选择与执行解耦，使得代理能够在不同对手面前灵活调整策略，而不需要重新训练执行策略。
关键设计：在设计中，离散命令用于指定经济、军队组成、军事姿态和工人政策等行为要求，执行者通过评估这些命令的执行情况来调整单位行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，战略家-执行者系统在与三个强对手的对抗中胜率显著提高，具体表现为胜率从0.55提升至0.97，以及从0.01提升至0.34，显示出该方法在复杂环境中的有效性。
🎯 应用场景
该研究的潜在应用领域包括实时战略游戏的AI代理开发、游戏平衡性测试以及其他需要动态策略调整的复杂系统。通过提高AI在多样化对手面前的适应能力，能够显著提升游戏的可玩性和挑战性。
📄 摘要（原文）
Deep reinforcement learning agents reach strong performance in real-time strategy games but can be brittle against opponents outside their training distribution. Separating strategic command selection from learned unit control allows different strategies to be selected for different opponents while reusing the same execution policy. This requires an executor that can follow different commands and measurable criteria for assessing whether it does so. We introduce a constrained command-conditioned Proximal Policy Optimization (PPO) policy, the executor, for MicroRTS, a real-time strategy environment. Discrete commands specify strategic objectives and behavioral requirements for economy, army composition, military posture, and worker policy over multiple environment steps; the executor determines the unit-level actions used to fulfill them. A Thompson-sampling bandit acts as the strategist, selecting command tuples from an estimate of the opponent's strategy built from in-game observations rather than opponent identity. In a controlled comparison with a flat PPO baseline trained with the same architecture, budget, curriculum and self-play league, the strategist-executor system wins significantly more often against three of the four strongest opponents on a training map, including the two strongest held-out ones (0.55 to 0.97 and 0.01 to 0.34), with no significant difference against the others.