Rethinking Video Autoencoders for Interactive World Models
作者: Adrien Ramanana Rahary, Yutong Bai, Nicolas Dufour, Patrick Pérez, David Picard
分类: cs.CV
发布日期: 2026-10-21
💡 一句话要点
提出CADRE以优化视频自编码器在交互式世界模型中的应用
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 自编码器 因果扩散 机器人操作 导航任务 时空压缩 动态场景 交互式模拟
📋 核心要点
- 现有视频世界模型多依赖于文本到视频生成器的自编码器，无法根据不同需求进行重训练，限制了其应用。
- 本文提出CADRE，一个开放的因果扩散表示自编码器系列，能够在多种时空压缩下训练世界模型，优化了压缩与性能的平衡。
- 实验结果显示，CADRE在机器人操作和导航任务中表现优异，尤其在移动相机情况下，形成了延迟与质量的最佳平衡。
📝 摘要（中文）
视频世界模型通过过去的帧和动作预测未来帧，作为代理训练、规划和评估的模拟器。现有模型多依赖于文本到视频生成器的自编码器，无法在不同压缩率下重训练。本文提出CADRE，一个开放的因果扩散表示自编码器系列，涵盖多种时空压缩，解决了现有模型的压缩问题。实验表明，CADRE在机器人操作和导航任务中表现出色，尤其在移动相机情况下，形成了延迟与质量的最佳平衡。
🔬 方法详解
问题定义：现有视频世界模型依赖于固定的自编码器，无法根据不同的任务需求进行灵活的压缩和重训练，导致性能受限。
核心思路：CADRE通过构建一个开放的因果扩散表示自编码器系列，允许在不同的时空压缩下训练世界模型，从而优化了压缩率与性能之间的平衡。
技术框架：CADRE的整体架构包括多个自编码器，每个自编码器在冻结特征上有一个小瓶颈，且共享一个经过自我蒸馏的扩散解码器。模型在两个领域（操作和导航）中进行训练，分别使用两个环境。
关键创新：CADRE的主要创新在于其开放性和灵活性，能够根据不同的任务需求进行压缩设置，形成了延迟与质量的最佳平衡，尤其在移动相机情况下表现突出。
关键设计：CADRE的设计中，采用了小瓶颈结构以实现高效压缩，损失函数设计上注重在强压缩下的图像质量，扩散解码器经过自我蒸馏以提高解码效果。实验中还发现，不同任务对压缩的需求存在显著差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CADRE在强压缩情况下的扩散解码器比感知回归更清晰。在机器人操作中，时间压缩在自编码器中的效果优于在世界模型中的效果。实验还发现，静态相机下粗糙的空间标记对运动的影响远大于图像质量。
🎯 应用场景
CADRE的研究成果在机器人操作、导航等领域具有广泛的应用潜力。通过优化视频自编码器的压缩策略，可以提升智能体在复杂环境中的决策和执行能力，推动交互式世界模型的发展，未来可能在自动驾驶、虚拟现实等领域产生重要影响。
📄 摘要（原文）
Video world models predict future frames from past frames and actions. They serve as simulators in which agents train, plan or are evaluated, and that humans can control interactively. They generate in the latent space of a video autoencoder, whose compression sets their cost per frame and how long each action waits to take effect. Yet world models often reuse the autoencoders of text-to-video generators, built for offline generation with no agent waiting and, without their training data and code, not retrainable at another compression. We therefore ask how, where and how much a world model should compress. We build CADRE, an open family of causal diffusion representation autoencoders spanning multiple spatio-temporal compressions. Its members differ only in a small bottleneck on frozen features and share a diffusion decoder self-distilled to one or a few steps. We train the same world model on each autoencoder in two domains, manipulation and navigation, with two environments each. CADRE forms most of the latency-quality frontier, especially with a moving camera. Our study also leads to four findings. At strong compression, a diffusion decoder is sharper than perceptual regression. In robot manipulation, temporal compression is more effective in the autoencoder than in the world model. Manipulation and navigation call for opposite compressions: temporal compression costs little when the camera is still, and spatial compression when it moves. Surprisingly, with a still camera, coarser spatial tokens hurt motion far more than image quality. Code, models and a live demo are at https://kyutai.org/blog/2026-10-21-cadre