Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

📄 arXiv: 2609.28414v1 📥 PDF

作者: Xiwen Chen, Rigaudiere Z. Li, Zhiruo Zhou, Xiaojun Zhu, Houde Liu

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-09-23

💡 一句话要点

提出DART方法以解决潜在流模型中的运动丢失问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在流模型 运动预测 自监督学习 解码路径监督 机器人控制 虚拟现实 时间结构恢复

📋 核心要点

  1. 现有的潜在世界模型在运动表现上存在显著不足，导致操控物体时无法实现有效的运动变化。
  2. 论文提出了解码增强回滚训练（DART）方法，通过解码路径监督重新训练流，保持表示不变，从而修复运动丢失的问题。
  3. 实验结果表明，DART在完整协议上优于传统方法，恢复了运动的时间结构，并在更大规模下显著提升了预测质量。

📝 摘要（中文）

潜在世界模型在冻结的自监督潜在空间中集成流，训练稳定且成本低，但却失去了运动这一重要属性。预训练的流无法移动被操控的物体，使用仅基于潜在的损失进行再训练只会将静止状态替换为类似瞬移的运动。本文追溯失败原因至训练信号，而非表示：稀疏锚点的潜在监督无法指明变化在时间轴上的位置。我们提出的解码增强回滚训练（DART）在保持表示不变的同时，通过解码路径监督重新训练流。DART在完整协议上超越了仅基于潜在的父模型，恢复了运动的时间结构，并将预测的运动与场景重新耦合；在更大规模下，进一步提升了预测质量，缩小了与基于神谕的插值参考之间的差距。最后，我们报告了一个意外发现：仅通过像素误差评估冻结预测的效果。

🔬 方法详解

问题定义：本文旨在解决潜在流模型在运动表现上的不足，现有方法在训练过程中未能有效传达运动信息，导致操控物体时缺乏真实的运动表现。

核心思路：提出的DART方法通过解码路径监督来重新训练流，保持潜在表示不变，从而有效恢复运动信息。该设计旨在解决传统方法中由于稀疏监督导致的运动丢失问题。

技术框架：DART的整体架构包括两个主要模块：冻结的潜在表示模块和流的再训练模块。通过解码路径监督，流模块被重新训练以恢复运动信息，而潜在表示保持不变。

关键创新：DART的核心创新在于通过解码路径监督来修复运动丢失问题，这一方法与传统的仅基于潜在的监督方式有本质区别，后者无法有效传达运动信息。

关键设计：在DART中，关键的参数设置包括流的学习率和解码路径的选择，损失函数设计上强调运动的时间结构恢复，网络结构则采用了适应性调整以适应不同规模的数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DART在完整协议上超越了传统的潜在模型，恢复了运动的时间结构，并在更大规模下提升了预测质量，缩小了与基于神谕的插值参考之间的差距，几乎减少了50%的剩余误差。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等需要实时运动预测的场景。通过恢复运动信息，DART方法能够提升这些领域中智能系统的表现和交互能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Latent world models that integrate a flow in a frozen self supervised latent space train stably and cheaply, yet silently lose the property manipulation depends on most: motion. The pretrained flow never moves the manipulated object; retraining it with latent-only losses only trades stillness for teleport-like motion. We trace the failure to the training signal, not the representation: anchor-sparse, latent-only supervision never says where along the horizon change belongs. Decode-augmented rollout training (DART) repairs this while keeping the representation frozen, retraining only the flow with decode-path supervision. DART outperforms its latent only parent on the full protocol, restores the temporal structure of motion, and re-couples predicted motion to the scene; at larger scale it further improves prediction quality, closing nearly half the remaining gap to an oracle-informed interpolation reference. Finally, we report an unexpected finding about evaluation: pixel error alone rewards frozen predictions.