ActionRoPE: action as coordinates for spatially consistent control in planar-camera game world models
作者: Zhiyang Deng, Yuzhe Wu, Zijun Lin, Yeying Jin
分类: cs.CV
发布日期: 2026-10-19
备注: Project Page: https://teawhite.cn/ActionRoPE/
💡 一句话要点
提出ActionRoPE以解决平面相机游戏世界中的动作控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 游戏世界模型 动作控制 空间一致性 坐标条件噪声调度 平面相机 视觉生成 模型迁移
📋 核心要点
- 现有方法主要依赖特征条件进行动作控制，导致在平面相机世界中表现不佳，缺乏空间一致性。
- 本文提出ActionRoPE，通过将动作驱动的相机位移直接映射到世界坐标，实现空间一致的控制。
- 实验结果显示，ActionRoPE在遵循指令运动方面表现更好，重访漂移减少66%，并能在不同参数规模的视频骨干网络中有效迁移。
📝 摘要（中文）
游戏世界模型在实时交互生成方面取得了快速进展，但动作控制仍主要依赖特征条件，导致模型需从训练数据中学习如何移动视觉世界。针对平面相机世界（如俯视和等距游戏），本文提出ActionRoPE，一个无参数的动作接口，将动作驱动的相机位移转换为世界坐标的旋转位置，从而实现空间一致的控制。通过引入坐标条件噪声调度（CNS），该方法显著提高了生成的稳定性和一致性。与四种代表性的动作条件机制相比，ActionRoPE在遵循指令运动方面表现更佳，并将重访漂移减少了66%。
🔬 方法详解
问题定义：本文旨在解决平面相机游戏世界中动作控制的空间一致性问题。现有方法依赖特征条件，导致模型学习效果不佳，缺乏几何准确性。
核心思路：提出ActionRoPE，通过将动作驱动的相机位移转换为世界坐标的旋转位置，确保同一世界位置的标记在时间上保持一致，从而实现空间一致的控制。
技术框架：整体架构包括动作接口、世界坐标映射和坐标条件噪声调度（CNS）模块。动作接口负责将用户输入转换为相应的相机位移，世界坐标映射确保生成的一致性，而CNS则根据已知和新区域的结构调整去噪调度。
关键创新：最重要的创新在于无参数的动作接口和坐标条件噪声调度的引入，使得生成过程能够更好地利用已知信息，减少生成中的漂移现象。
关键设计：在设计中，ActionRoPE不依赖于特定参数设置，采用了基于世界坐标的映射方式，并通过CNS实现了区域的稳定性和新内容的生成参考。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ActionRoPE在遵循指令运动方面表现优异，相较于最强基线，重访漂移减少了66%。此外，该接口能够有效迁移至不同规模的模型（从1.3B到33B参数）及超出分布的场景，显示出良好的适应性。
🎯 应用场景
该研究的潜在应用领域包括视频游戏开发、虚拟现实和增强现实等场景，能够为游戏设计师提供更高效的工具，以实现更自然的用户交互和环境生成。未来，该方法还可能扩展到其他需要空间一致性控制的领域，如机器人导航和自动驾驶等。
📄 摘要（原文）
Game world models have made rapid progress toward real-time interactive generation. Yet action control is still predominantly implemented as feature conditioning, leaving the model to learn from training data how each action should move the visual world. This formulation is poorly matched to a broad class of planar-camera worlds, such as top-down and isometric games. In these worlds, player motion induces a geometrically well-defined planar camera displacement. We observe that the key to spatially consistent control in such worlds is to represent the effect of each action directly in world coordinates. To this end, we introduce ActionRoPE, a parameter-free action interface that converts action-driven camera displacement into world-coordinate rotary positions. As a result, tokens corresponding to the same world location retain the same positional address across time. These world coordinates further expose a spatial asymmetry in generation: regions covered by the initial observation are geometrically known, while newly revealed regions remain to be synthesized. We therefore propose Coordinate-Conditioned Noise Scheduling (CNS), which assigns token-wise denoising schedules according to this known-new structure. It allows observed regions to stabilize earlier, while new content is generated with reference to them. Compared with four representative action-conditioning mechanisms, our approach follows the commanded motion more faithfully and reduces the revisit drift by 66% over the strongest baseline. The same interface transfers across video backbones from 1.3B to 33B parameters and to out-of-distribution scenes. Project Page: https://teawhite.cn/ActionRoPE/