Latent-Foresight: End-to-End Learning Predictable Representations for Latent World Models
作者: Efstathios Karypidis, Spyros Gidaris, Nikos Komodakis
分类: cs.CV
发布日期: 2026-10-01
🔗 代码/项目: GITHUB
💡 一句话要点
提出Latent-Foresight以解决场景未来演化预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 场景预测 潜在表示 生成模型 时间一致性 端到端学习 视觉基础模型 动态建模
📋 核心要点
- 现有方法在表示学习与时间预测之间存在解耦，导致潜在空间不适合可预测的动态。
- Latent-Foresight通过端到端学习潜在标记器和生成动态模型，明确塑造表示以支持时间可预测性。
- 实验结果显示，该方法在多个任务上优于传统两阶段基线，提升了潜在表示的时间一致性。
📝 摘要（中文）
预测场景的未来演化是世界建模的基本能力。现有方法通常依赖于两阶段管道，首先使用固定维度的降维技术压缩视觉基础模型（VFM）特征，然后在冻结的潜在空间上训练单独的预测器。这种表示学习与时间预测的解耦，导致潜在空间未必适合可预测的动态。本文提出了Latent-Foresight，一个端到端框架，联合学习潜在标记器和基于流的生成动态模型，明确塑造表示以支持时间可预测性。实验表明，该方法学习到的潜在表示在时间上更具一致性，并在多个未来场景理解任务和预测范围上持续超越两阶段基线，同时消除了独立训练阶段。
🔬 方法详解
问题定义：本文旨在解决现有方法在场景未来演化预测中的不足，尤其是表示学习与时间预测的解耦问题，导致潜在空间不适合可预测的动态。
核心思路：Latent-Foresight通过端到端的方式联合学习潜在标记器和流式生成动态模型，确保表示能够支持时间上的可预测性，从而克服传统方法的局限。
技术框架：该框架包括潜在标记器和生成动态模型两个主要模块，采用联合优化策略，确保潜在表示与生成目标的一致性。
关键创新：最重要的创新在于通过端到端学习消除了独立训练阶段，确保潜在空间的结构适合动态预测，这与现有方法的两阶段流程形成鲜明对比。
关键设计：在设计中引入了防止潜在崩溃的关键选择，优化了损失函数以对齐重建与生成目标，同时在高分辨率适应过程中保持了稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Latent-Foresight在多个未来场景理解任务上显著优于两阶段基线，提升幅度达到XX%（具体数据未知），同时在时间一致性方面表现出更好的潜在表示学习效果。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等场景理解任务。通过提高对未来场景的预测能力，Latent-Foresight能够为这些领域提供更准确的决策支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Predicting the future evolution of a scene is a fundamental capability for world modeling. Recent work has shown that operating in the feature space of Vision Foundation Models (VFMs) yields semantically rich representations that support diverse future scene understanding tasks. However, existing approaches rely on two-stage pipelines, where VFM features are first compressed using fixed dimensionality reduction (e.g., PCA) or independently trained autoencoders, and a separate predictor is trained on top of the resulting frozen latent space. This decoupling between representation learning and temporal prediction, as well as approaches that apply predictors directly on raw VFM features, provides no guarantee that the latent space is structured for predictable dynamics. In this work, we propose Latent-Foresight, an end-to-end framework that jointly learns a latent tokenizer and a flow-based generative dynamics model, explicitly shaping the representation to support temporal predictability. To enable stable joint optimization, we introduce several key design choices that prevent latent collapse and align reconstruction with generative objectives. Extensive experiments show that our approach learns more temporally coherent latent representations and consistently outperforms two-stage baselines across multiple future scene understanding tasks and prediction horizons, while eliminating separate training stages, including during high-resolution adaptation. We provide the implementation code and model weights at https://github.com/Sta8is/Latent-Foresight