DashVMC: Real-Time Discrete World Model Control in Geometry Dash
作者: Florent Tariolle, Florian Yger
分类: cs.LG
发布日期: 2026-09-30
备注: 10 pages, 2 figures. Accepted at the NeurIPS 2026 workshop "PTA: From Pretrained Representations to Acting Agents". Project page: https://tariolle.github.io/dash-vmc/
💡 一句话要点
提出DashVMC以解决实时游戏控制中的动态建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 实时控制 行为克隆 近端策略优化 动态建模 游戏智能体
📋 核心要点
- 现有的世界模型代理在实时游戏中面临捕获和行动的时间限制，导致动态建模的挑战。
- DashVMC通过学习紧凑的、基于动作的世界模型，结合行为克隆和近端策略优化，解决了这一问题。
- 实验结果显示，优化后的控制策略在多个关卡中表现优于初始行为克隆策略，且在消费级GPU上实现了高效的实时控制。
📝 摘要（中文）
世界模型代理通常在可以等待策略的模拟器中进行评估，而实时游戏则要求在下一帧之前完成捕获、预测和行动。本文提出DashVMC，从约两小时的Geometry Dash游戏录制中学习紧凑的、基于动作的世界模型。为测试学习到的动态是否可操作，控制器通过行为克隆（BC）初始化，并在完全冻结模型的回滚中使用近端策略优化（PPO）进行优化，而无需与实时游戏进一步交互。在三个控制器种子上，优化后的策略在所有三个官方关卡和一个保留的社区布局中存活时间均超过其BC初始化。在部署时，基线跳过视觉生成，并在消费级GPU上维持60Hz的捕获到行动循环。动作条件的延续和回滚诊断表明，尽管长时间的保真度不完美，模型在控制中仍然保持实用性。
🔬 方法详解
问题定义：本文旨在解决实时游戏中动态建模的挑战，现有方法在捕获和行动之间存在时间限制，导致模型的有效性受到影响。
核心思路：DashVMC通过从游戏录制中学习紧凑的世界模型，并结合行为克隆与近端策略优化，来实现高效的实时控制。这样的设计使得模型能够在不与实时游戏交互的情况下进行优化。
技术框架：整体架构包括三个主要模块：首先是从游戏录制中学习世界模型，其次是通过行为克隆初始化控制器，最后在冻结模型的回滚中使用近端策略优化进行策略改进。
关键创新：最重要的创新在于在不需要实时交互的情况下，通过冻结模型进行策略优化，这与传统方法依赖于实时反馈的方式有本质区别。
关键设计：在参数设置上，使用了适合游戏动态的损失函数和网络结构，确保模型能够有效捕捉游戏中的动态变化，同时保持高效的计算性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，优化后的控制策略在所有三个官方关卡中存活时间均超过其初始行为克隆策略，且在一个保留的社区布局中也表现出色。该方法在消费级GPU上实现了60Hz的高效捕获到行动循环，展示了其在实时控制中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括实时游戏控制、机器人控制以及其他需要快速决策的动态系统。DashVMC的设计理念和技术框架可以为这些领域提供高效的动态建模解决方案，提升智能体在复杂环境中的表现。未来，该方法有望扩展到更多类型的实时交互场景，推动智能控制技术的发展。
📄 摘要（原文）
World-model agents are usually evaluated in simulators that can wait for the policy; live games impose the opposite constraint, requiring capture, prediction, and action before the next frame. We present DashVMC, which learns a compact, action-conditioned world model from approximately two hours of recorded Geometry Dash gameplay. To test whether the learned dynamics are actionable, a controller is initialized by behavioural cloning (BC) and refined with Proximal Policy Optimization (PPO) entirely in frozen-model rollouts, without further interaction with the live game. Across three controller seeds, the refined policies survive longer than their BC initializations on all three official levels and a held-out community layout. At deployment, the baseline skips visual generation and sustains a 60-Hz capture-to-action loop on a consumer GPU. Action-conditioned continuations and rollout diagnostics show that the model remains useful for control despite imperfect long-horizon fidelity.