HorizonDrive: Self-Corrective Autoregressive World Model for Long-horizon Driving Simulation
作者: Conglang Zhang, Yifan Zhan, Qingjie Wang, Zhanpeng Ouyang, Yu Li, Zihao Yang, Xiaoyang Guo, Weiqiang Ren, Qian Zhang, Zhen Dong, Yinqiang Zheng, Wei Yin, Zhengqing Chen
分类: cs.CV
发布日期: 2026-05-12
💡 一句话要点
HorizonDrive：用于长时程驾驶模拟的自校正自回归世界模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 驾驶模拟 自回归模型 世界模型 长时程预测 蒸馏训练 防漂移 自动驾驶
📋 核心要点
- 现有自回归驾驶世界模型受限于教师模型的单次预测长度，无法提供长时程的有效监督，导致模拟效果不佳。
- HorizonDrive通过训练一个具有自校正能力的教师模型，使其在自回归展开中保持稳定，从而提供长时程的可靠监督。
- 实验表明，HorizonDrive在长时程驾驶模拟中显著降低了FID、FVD、ARE和DTW等指标，优于现有方法。
📝 摘要（中文）
闭环驾驶模拟需要在短时离线片段之外进行实时交互，这推动了当前的驾驶世界模型向自回归（AR）展开发展。现有的AR蒸馏方法通常依赖于帧接收器或学生侧的退化训练。前者由于快速的自我运动和快速的场景变化，在驾驶中表现不佳，而后者仍然受到教师单次输出长度的限制，因此只能提供有限的监督范围。一个自然的问题是：教师本身是否可以通过AR展开来扩展，从而以有限的内存成本提供无限范围的监督？关键的困难在于，标准的教师会在其自身的预测下漂移，从而污染其提供的监督。我们的关键见解是使教师具有展开能力，确保从其自身的AR展开中获得可靠的监督。这被实例化为HorizonDrive，一个用于AR驾驶模拟的防漂移训练和蒸馏框架。首先，预定的展开恢复（SRR）训练基础模型，以从预测损坏的历史记录中重建真实的未来片段，从而产生一个在长AR展开中保持稳定的教师。其次，具有展开能力的教师通过AR展开进行扩展，在有限的内存下提供长时程分布匹配监督，而短窗口学生通过教师展开DMD（TRD）与之对齐，以实现高效的实时部署。HorizonDrive原生支持在有限内存下进行分钟级的AR展开；在nuScenes上，HorizonDrive将FID降低了52%，FVD降低了37%，并将ARE和DTW分别降低了21%和9%，相对于最强的长时程流式基线，同时保持了与单次驾驶视频生成器的竞争力。
🔬 方法详解
问题定义：论文旨在解决长时程驾驶模拟中，现有自回归世界模型因教师模型漂移而导致的监督信号质量下降问题。现有方法要么依赖于短时片段，要么采用易漂移的教师模型，无法提供可靠的长时程监督，从而限制了模拟的真实性和有效性。
核心思路：论文的核心思路是训练一个具有自校正能力的教师模型，使其在自回归展开过程中能够抵抗漂移，从而提供高质量的长时程监督信号。通过这种方式，学生模型可以学习到更准确的动态模型，从而实现更逼真的长时程驾驶模拟。
技术框架：HorizonDrive框架包含两个主要阶段：1) 预定的展开恢复（SRR）：训练一个基础模型，使其能够从预测损坏的历史记录中重建真实的未来片段，从而获得一个稳定的教师模型。2) 教师展开DMD（TRD）：利用具有展开能力的教师模型进行长时程自回归展开，生成长时程的监督信号，并使用短窗口学生模型与之对齐，以实现高效的实时部署。
关键创新：HorizonDrive的关键创新在于提出了一个防漂移的训练和蒸馏框架，通过SRR训练获得一个稳定的教师模型，并利用TRD将长时程的监督信号传递给学生模型。这种方法有效地解决了传统自回归模型在长时程预测中容易漂移的问题，从而提高了驾驶模拟的真实性和可靠性。
关键设计：SRR阶段的关键设计在于使用预测损坏的历史记录作为输入，迫使模型学习从噪声中恢复真实轨迹的能力。TRD阶段的关键设计在于使用短窗口学生模型与长时程教师模型对齐，从而在保证实时性的同时，充分利用长时程的监督信息。具体的损失函数和网络结构细节在论文中进行了详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
HorizonDrive在nuScenes数据集上取得了显著的性能提升。相较于最强的长时程流式基线，HorizonDrive将FID降低了52%，FVD降低了37%，并将ARE和DTW分别降低了21%和9%。这些结果表明，HorizonDrive在长时程驾驶模拟方面具有显著的优势，能够生成更逼真、更准确的驾驶场景。
🎯 应用场景
HorizonDrive可应用于自动驾驶算法的开发与测试、驾驶员行为分析、交通流仿真等领域。通过提供逼真的长时程驾驶模拟环境，可以加速自动驾驶算法的迭代优化，提高驾驶安全性，并为智能交通系统的设计提供数据支持。该研究的潜在价值在于降低自动驾驶研发成本，提升系统性能，并促进智能交通的普及。
📄 摘要（原文）
Closed-loop driving simulation requires real-time interaction beyond short offline clips, pushing current driving world models toward autoregressive (AR) rollout. Existing AR distillation approaches typically rely on frame sinks or student-side degradation training. The former transfers poorly to driving due to fast ego-motion and rapid scene changes, while the latter remains bounded by the teacher's single-pass output length and thus provides only a limited supervision horizon. A natural question is: can the teacher itself be extended via AR rollout to provide unbounded-horizon supervision at bounded memory cost? The key difficulty is that a standard teacher drifts under its own predictions, contaminating the supervision it provides. Our key insight is to make the teacher rollout-capable, ensuring reliable supervision from its own AR rollouts. This is instantiated as HorizonDrive, an anti-drifting training-and-distillation framework for AR driving simulation. First, scheduled rollout recovery (SRR) trains the base model to reconstruct ground-truth future clips from prediction-corrupted histories, yielding a teacher that remains stable across long AR rollouts. Second, the rollout-capable teacher is extended via AR rollout, providing long-horizon distribution-matching supervision under bounded memory, while a short-window student aligns to it with teacher rollout DMD (TRD) for efficient real-time deployment. HorizonDrive natively supports minute-scale AR rollout under bounded memory; on nuScenes, HorizonDrive reduces FID by 52% and FVD by 37%, and lowers ARE and DTW by 21% and 9% relative to the strongest long-horizon streaming baselines, while remaining competitive with single-pass driving video generators.