StarWM: Self-Supervised Trained Attention Routing for Robust World Models
作者: Zeqiang Zhang, Fabian Wurzberger, Maximilian Otte, Daniel Schmid, Sebastian Gottwald, Arne Peter Raulf, Daniel Alexander Braun
分类: cs.CV, cs.LG
发布日期: 2026-09-25
备注: Accepted by NeurIPS 2026
💡 一句话要点
提出StarWM以解决世界模型中信息重构与动态相关性平衡问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 自监督学习 动态视频理解 交叉注意力 重构优化
📋 核心要点
- 现有的世界模型在捕捉环境动态与过滤无关信息之间存在平衡挑战，导致表示能力分配不当。
- StarWM通过自监督动态训练的交叉注意力模块来决定重构的区域，从而优化信息的使用。
- 在DeepMind Control实验中，StarWM在随机帧干扰下表现最佳，并在顺序视频中显著超越重构基线。
📝 摘要（中文）
一个鲁棒的世界模型必须在真实捕捉环境动态与抽象无关内容之间取得平衡。基于重构的世界模型确保了监督的真实性，但由于按像素区域而非动态相关性分配表示能力，可能导致与任务无关的内容主导学习表示。相反，基于无重构的方法避免了这种偏差，但可能丢弃相关信息。我们提出了StarWM，利用自监督动态训练的交叉注意力模块决定重构的适用区域。双流解码器限制重构仅在被关注的区域进行，停止梯度屏障防止两个目标之间的干扰。这些组件使得重构能够监督被关注区域的视觉内容，而不污染潜在空间。实验表明，StarWM在动态视频背景下的DeepMind Control上表现优异，尤其在随机帧干扰下的表现最强，且在顺序视频下显著超越基于重构的基线。
🔬 方法详解
问题定义：论文旨在解决世界模型中重构与动态相关性之间的平衡问题。现有方法往往在表示能力分配上存在偏差，导致无关信息的干扰。
核心思路：StarWM通过自监督动态训练的交叉注意力模块，选择性地应用重构，从而优化信息的利用，避免无关内容的干扰。
技术框架：整体架构包括一个交叉注意力模块和一个双流解码器。交叉注意力模块负责决定重构的区域，而双流解码器则限制重构仅在被关注的区域进行。
关键创新：StarWM的创新在于其利用自监督动态信息来指导重构区域的选择，与传统方法相比，能够有效避免无关信息的污染。
关键设计：在设计中，采用了停止梯度屏障来防止两个目标之间的干扰，确保重构过程的有效性，同时优化了损失函数以适应动态环境的变化。
🖼️ 关键图片
📊 实验亮点
StarWM在DeepMind Control的实验中表现出色，尤其是在随机帧干扰下的性能最强，且在顺序视频中显著超越重构基线，展示了其在动态视频背景下的鲁棒性和有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、虚拟现实等需要实时环境理解的场景。通过优化世界模型的表现，StarWM能够提升智能体在复杂动态环境中的决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
A robust world model must strike the balance between faithfully capturing environmental dynamics and abstracting away from irrelevant content. While reconstruction-based world models ensure faithful supervision, they misallocate representational capacity by pixel area rather than dynamics relevance for visual tasks, which can cause task-irrelevant content to dominate the learned representation. Alternatively, reconstruction-free methods avoid this bias but risk discarding possibly relevant information. We propose StarWM, which uses a cross-attention module trained on self-supervised dynamics to decide where reconstruction applies. A dual-stream decoder then restricts reconstruction to the attended regions, with stop-gradient barriers preventing interference between the two objectives. These components allows reconstruction to supervise the visual content of attended regions without contaminating the latent with non-predictive information. On DeepMind Control with dynamic video backgrounds, default (reward-free) StarWM achieves the strongest performance under random-frame distractors and substantially outperforms reconstruction-based baselines under sequential video. In addition, its reward-augmented variant matches or exceeds reconstruction-free methods on sequential video, achieving the highest overall return across all distractor regimes. Mechanistic probing confirms StarWM preserves state attributes with near-perfect fidelity through long-horizon imagination while systematically discarding distractors.