Adapting a World Model for Trajectory Following in a 3D Game

📄 arXiv: 2504.12299v1 📥 PDF

作者: Marko Tot, Shu Ishida, Abdelhak Lemkhenter, David Bignell, Pallavi Choudhury, Chris Lovett, Luis França, Matheus Ribeiro Furtado de Mendonça, Tarun Gupta, Darren Gehring, Sam Devlin, Sergio Valcarcel Macua, Raluca Georgescu

分类: cs.AI, cs.CV, cs.LG

发布日期: 2025-04-16

💡 一句话要点

在3D游戏中，通过调整世界模型实现轨迹跟踪

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 逆动力学模型 轨迹跟踪 3D游戏 分布偏移

📋 核心要点

  1. 复杂3D游戏环境中，智能体轨迹跟踪面临分布偏移和随机性挑战，传统动作回放方法难以应对。
  2. 论文提出使用逆动力学模型（IDM），结合不同编码器和策略头，并探索未来对齐策略，以提升轨迹跟踪的鲁棒性。
  3. 实验表明，不同数据量下，最优编码器和策略头配置不同，预训练和微调策略也能有效提升性能。

📝 摘要（中文）

本研究探索了模仿学习在复杂3D视频游戏环境中的应用，重点关注轨迹跟踪问题。针对分布偏移和随机性带来的挑战，论文采用逆动力学模型（IDM），结合不同的编码器和策略头，在《Bleeding Edge》游戏中进行实验。此外，研究还考察了多种未来对齐策略，以解决由偶然不确定性和智能体自身缺陷引起的分布偏移。论文通过测量参考轨迹与智能体轨迹之间的偏差距离和首次显著偏差点，发现最优配置取决于具体设置。结果表明，在多样化数据集中，从头训练的编码器结合GPT风格的策略头表现最佳；在低数据情况下，DINOv2编码器结合GPT风格策略头效果最好；而经过多样化数据集预训练并在特定行为设置中微调后，GPT风格和MLP风格的策略头表现相当。

🔬 方法详解

问题定义：论文旨在解决复杂3D游戏环境中智能体轨迹跟踪问题。现有方法，如简单的动作回放，难以应对游戏中固有的随机性和智能体与环境交互产生的分布偏移，导致智能体无法准确复现给定的轨迹。

核心思路：论文的核心思路是利用逆动力学模型（IDM）学习从状态到动作的映射，并结合不同的编码器提取环境特征，以及不同的策略头预测动作。通过未来对齐策略，减少由于智能体自身不确定性和环境随机性造成的轨迹偏差，从而提高轨迹跟踪的准确性和鲁棒性。

技术框架：整体框架包含以下几个主要模块：1) 环境编码器：负责从游戏环境中提取状态特征，论文尝试了从头训练的编码器和预训练的DINOv2编码器。2) 逆动力学模型（IDM）：将编码器的输出作为输入，预测智能体应该采取的动作。3) 策略头：将IDM的输出转换为最终的动作指令，论文使用了GPT风格和MLP风格的策略头。4) 未来对齐策略：用于校正智能体的轨迹，使其更接近参考轨迹。

关键创新：论文的关键创新在于探索了不同编码器和策略头的组合，并结合未来对齐策略，以适应不同数据量和环境下的轨迹跟踪任务。特别是在低数据情况下，利用预训练的DINOv2编码器可以有效提升性能。此外，对未来对齐策略的探索也为解决分布偏移问题提供了新的思路。

关键设计：论文中，编码器可以是卷积神经网络（CNN）或Transformer模型，策略头可以是多层感知机（MLP）或GPT风格的模型。损失函数通常包括动作预测损失和轨迹偏差损失。未来对齐策略的具体实现方式未知，但其目标是最小化智能体轨迹与参考轨迹之间的差异。参数设置方面，编码器和策略头的具体结构和参数需要根据具体任务进行调整。训练过程可能包括预训练和微调两个阶段，以充分利用不同数据集的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在多样化数据集中，从头训练的编码器结合GPT风格的策略头表现最佳。在低数据情况下，DINOv2编码器结合GPT风格策略头效果最好。经过多样化数据集预训练并在特定行为设置中微调后，GPT风格和MLP风格的策略头表现相当。这些结果为在不同数据条件下选择合适的模型结构提供了指导。

🎯 应用场景

该研究成果可应用于游戏AI开发、机器人控制、自动驾驶等领域。在游戏AI中，可以训练智能体模仿玩家的行为，提高游戏的真实性和挑战性。在机器人控制和自动驾驶中，可以使机器人或车辆能够准确地跟踪预定的轨迹，完成复杂的任务。此外，该研究对于解决模仿学习中的分布偏移问题具有一定的借鉴意义。

📄 摘要（原文）

Imitation learning is a powerful tool for training agents by leveraging expert knowledge, and being able to replicate a given trajectory is an integral part of it. In complex environments, like modern 3D video games, distribution shift and stochasticity necessitate robust approaches beyond simple action replay. In this study, we apply Inverse Dynamics Models (IDM) with different encoders and policy heads to trajectory following in a modern 3D video game -- Bleeding Edge. Additionally, we investigate several future alignment strategies that address the distribution shift caused by the aleatoric uncertainty and imperfections of the agent. We measure both the trajectory deviation distance and the first significant deviation point between the reference and the agent's trajectory and show that the optimal configuration depends on the chosen setting. Our results show that in a diverse data setting, a GPT-style policy head with an encoder trained from scratch performs the best, DINOv2 encoder with the GPT-style policy head gives the best results in the low data regime, and both GPT-style and MLP-style policy heads had comparable results when pre-trained on a diverse setting and fine-tuned for a specific behaviour setting.