Do We Need Transformers to Play FPS Video Games?

📄 arXiv: 2504.17891v1 📥 PDF

作者: Karmanbir Batth, Krish Sethi, Aly Shariff, Leo Shi, Hetul Patel

分类: cs.LG

发布日期: 2025-04-24

💡 一句话要点

在第一人称射击游戏中使用Transformer不如传统方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 Transformer 第一人称射击游戏 VizDoom 在线学习 离线学习 Q-learning 决策Transformer

📋 核心要点

  1. 现有方法在部分可观察的FPS游戏中，难以有效利用历史信息进行决策。
  2. 论文探索了Transformer在FPS游戏强化学习中的应用，包括在线学习的DTQN和离线学习的DT。
  3. 实验表明，在VizDoom环境中，传统强化学习方法优于基于Transformer的方法。

📝 摘要（中文）

本文探讨了基于Transformer的架构在Doom游戏环境中强化学习的应用，包括在线和离线两种设置。研究重点是两种主要方法：用于在线学习的深度Transformer Q-learning网络（DTQN）和用于离线强化学习的决策Transformer（DT）。DTQN利用Transformer的序列建模能力来增强部分可观察环境中的Q-learning，而决策Transformer则重新利用序列建模技术，使离线智能体能够从过去的轨迹中学习，而无需与环境直接交互。结论是，虽然Transformer在Atari游戏中表现良好，但在VizDoom环境中，更传统的方法在两种设置下都优于基于Transformer的方法。

🔬 方法详解

问题定义：论文旨在评估Transformer架构在第一人称射击游戏（FPS）环境，特别是VizDoom中的强化学习性能。现有方法，尤其是针对部分可观察环境，可能无法有效利用历史信息进行决策，而Transformer在序列建模方面的优势使其成为潜在的替代方案。

核心思路：核心思路是将Transformer架构应用于强化学习，分别在在线和离线设置下进行评估。在线学习采用深度Transformer Q-learning网络（DTQN），离线学习采用决策Transformer（DT）。通过对比Transformer方法与传统强化学习方法，评估其在FPS游戏中的有效性。

技术框架：DTQN将Transformer作为Q-learning网络的一部分，用于建模状态序列并预测Q值。DT则将强化学习问题转化为序列建模问题，通过预测动作序列来最大化回报。整体流程包括：对于DTQN，智能体与环境交互，收集经验数据，并使用Transformer网络更新Q值；对于DT，智能体从离线数据集中学习，通过预测动作序列来模仿最优策略。

关键创新：关键创新在于将Transformer架构应用于FPS游戏的强化学习，并对比其与传统方法的性能。虽然Transformer在Atari游戏中表现出色，但论文发现其在VizDoom环境中不如传统方法。这表明Transformer的优势可能不适用于所有类型的游戏环境。

关键设计：论文中Transformer的具体网络结构和参数设置未知，但可以推测其采用了标准的Transformer编码器结构，用于处理状态序列并输出相应的Q值或动作预测。损失函数方面，DTQN可能采用传统的Q-learning损失函数，而DT可能采用序列建模的交叉熵损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在VizDoom环境中，无论是在线学习（DTQN）还是离线学习（DT），基于Transformer的方法均不如传统的强化学习方法。这与Transformer在Atari游戏中的成功形成对比，表明Transformer的优势可能不适用于所有类型的游戏环境，需要根据具体环境选择合适的算法。

🎯 应用场景

该研究有助于理解Transformer架构在不同类型游戏环境中的适用性，并为未来强化学习算法的选择提供参考。研究结果表明，在某些特定环境中，传统方法可能优于新兴的Transformer方法。该研究对游戏AI开发和强化学习算法选择具有指导意义。

📄 摘要（原文）

In this paper, we explore the Transformer based architectures for reinforcement learning in both online and offline settings within the Doom game environment. Our investigation focuses on two primary approaches: Deep Transformer Q- learning Networks (DTQN) for online learning and Decision Transformers (DT) for offline reinforcement learning. DTQN leverages the sequential modelling capabilities of Transformers to enhance Q-learning in partially observable environments,while Decision Transformers repurpose sequence modelling techniques to enable offline agents to learn from past trajectories without direct interaction with the environment. We conclude that while Transformers might have performed well in Atari games, more traditional methods perform better than Transformer based method in both the settings in the VizDoom environment.