Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips
作者: Yian Zhao, Yu Yan, Hongcan Guo, Ruochong Zheng, Jian Zhang, Jie Chen
分类: cs.CV
发布日期: 2026-10-19
💡 一句话要点
提出Fréchet Forcing以解决长时间段流媒体世界模型训练问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 流媒体视频 世界模型 长时间段生成 Fréchet距离 生成模型 机器人操作 自动驾驶
📋 核心要点
- 现有的流媒体视频世界模型在长时间段回放时容易出现漂移，导致生成的内容不再真实。
- 本文提出Fréchet Forcing，通过生成锚定、上下文一致性和现实匹配三个约束条件来微调模型，避免了对教师模型的依赖。
- 在MiniWorld-1B模型上进行的实验显示，经过短时间训练后，模型生成的回放在长时间段内保持稳定，并有效跟随动作指令。
📝 摘要（中文）
流媒体视频世界模型通过自身过去和一系列动作逐步生成未来片段。然而，当回放超过训练范围时，模型会出现漂移，导致预测误差累积。常见的解决方案是通过分布匹配蒸馏（DMD）训练模型，但在动作条件下，教师模型成为瓶颈。本文提出Fréchet Forcing，通过三个约束条件微调世界模型和其多步采样器，确保生成的场景保持真实和一致性。实验表明，经过36小时的训练，MiniWorld-1B模型在381帧片段上生成的回放在超过4000帧后依然稳定，并能继续跟随动作。
🔬 方法详解
问题定义：本文旨在解决流媒体视频世界模型在长时间段回放中漂移的问题。现有方法依赖教师模型进行训练，但教师模型在动作条件下无法有效提供指导，导致生成内容失真。
核心思路：提出Fréchet Forcing，通过生成锚定、上下文一致性和现实匹配三个约束条件，微调世界模型和多步采样器，确保生成内容的真实感和一致性。
技术框架：整体流程包括三个主要模块：生成锚定模块用于确保生成历史与真实数据一致；上下文一致性模块通过Fréchet距离保持生成内容与场景的忠实度；现实匹配模块确保生成帧在感知空间中与真实帧相符。
关键创新：最重要的创新在于不再依赖教师模型进行训练，而是通过短片段的真实数据直接进行模型微调，避免了长视频的需求。
关键设计：采用的损失函数包括流匹配损失和Fréchet距离，确保生成内容的真实性和一致性。模型在训练时使用的参数设置经过精心设计，以适应不同的生成任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过36小时的训练，MiniWorld-1B模型在381帧片段上的生成回放在超过4000帧后依然保持稳定，并能够有效跟随动作指令。这一结果显著优于传统方法，展示了Fréchet Forcing在长时间段生成中的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、虚拟现实等需要长时间段视频生成的场景。通过提高模型在长时间段内的稳定性和真实感，可以在多个领域实现更自然的交互和体验，推动相关技术的发展。
📄 摘要（原文）
Streaming video world models generate the future chunk by chunk, conditioned on their own past and a stream of actions. Trained on short clips, they drift once a rollout exceeds the training horizon, as prediction errors re-enter the context and compound. A common remedy is to train the model on its own rollouts via distribution matching distillation (DMD). For action-conditioned world models, the teacher becomes a bottleneck: an external video model is agnostic to the actions, whereas the model's own pretrained network drifts in the same manner as the student. We observe that a long rollout need not match a teacher, provided it remains a realistic continuation of its own scene that follows the commanded actions. Realism and scene fidelity can be measured against real-data statistics, which remain valid at any horizon, while action following is preserved by the model's conditional generation loss. We propose Fréchet Forcing, which fine-tunes a world model together with its deployed multi-step sampler under three constraints. Generative anchoring applies the flow-matching loss after a self-generated history ending on real data. Context fidelity, a Fréchet distance (FD) on latent statistics of the free rollout centred on each clip's own ground truth, keeps every rollout faithful to its scene. Reality matching, an FD to real frames in a frozen perceptual space, keeps the generated frames realistic. Because all three targets are derived from short real clips without comparing a rollout against a long recorded future, training requires no teacher, no online critic and no long videos. Fine-tuning MiniWorld-1B, pretrained on 253-frame clips, for at most 36 GPU-hours on 381-frame clips yields rollouts that remain stable beyond 4,000 frames and continue to follow their actions in both robot manipulation and camera-controlled exploration.