Orbis 2: A Hierarchical World Model for Driving
作者: Sudhanshu Mittal, Arian Mousakhan, Silvio Galesso, Karim Farid, Jonannes Dienert, Rajat Sahay, Thomas Brox
分类: cs.CV, cs.AI, cs.LG, cs.RO
发布日期: 2026-07-20
💡 一句话要点
提出层次化世界模型以解决驾驶场景预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 层次化模型 世界模型 驾驶场景 空间推理 语义理解 扩散强制 教师强制 自动驾驶
📋 核心要点
- 现有世界模型在抽象层次上单一，缺乏空间推理和语义理解，无法满足复杂驾驶任务的需求。
- 提出的层次化世界模型通过高层和低层预测器的结合，分别处理粗略和详细的场景预测，提升了模型的表现。
- 该方法在多个驾驶世界模型评估基准上取得了最先进的结果，显示出在长时间生成真实度和内部表示质量上的显著提升。
📝 摘要（中文）
现有的世界模型通常在单一抽象层次上运行，虽然注重感知的真实度，但缺乏空间推理和语义理解，无法满足实际应用需求。本文提出了一种层次化的驾驶世界模型，通过在不同时间和抽象尺度上分解未来预测，设计了一个高层预测器用于预测粗略场景结构，以及一个低层生成器根据高层输出生成详细预测。这种分解方法不仅提高了感知的真实度，还捕捉了强大的空间和语义表示。此外，研究表明，采用扩散强制目标进行预训练的模型在内部表示上显著优于标准的教师强制目标。最终，提出了一种通用的两阶段训练范式，结合了扩散强制的表示优势和教师强制的稳定性，达到了在标准驾驶世界模型评估基准上的最先进结果。
🔬 方法详解
问题定义：现有的世界模型通常只在单一抽象层次上进行操作，导致在空间推理和语义理解方面存在不足，无法有效应对复杂的驾驶场景预测任务。
核心思路：本文提出了一种层次化的世界模型，通过高层预测器和低层生成器的结合，分别处理粗略的场景结构预测和详细的场景生成，从而提高模型的感知真实度和语义表示能力。
技术框架：整体架构分为两个主要模块：高层预测器负责预测长时间范围内的粗略场景结构，低层生成器则基于高层输出生成更为细致的场景预测。模型采用了两阶段的训练策略，首先使用扩散强制进行预训练，然后通过教师强制进行微调。
关键创新：最重要的创新在于引入了层次化的预测机制和两阶段训练范式，前者使得模型能够在不同层次上进行有效的场景理解，后者则结合了扩散强制的丰富表示能力与教师强制的稳定性。
关键设计：模型的关键设计包括扩散强制目标的损失函数设置，以及高层和低层网络结构的设计，确保了模型在生成过程中能够保持高质量的输出和稳定的自回归推理。
🖼️ 关键图片
📊 实验亮点
在标准的驾驶世界模型评估基准上，该方法取得了最先进的结果，特别是在长时间生成真实度、对反事实场景的转向响应性以及内部表示质量等方面，显示出显著的性能提升，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能交通系统以及虚拟现实等场景。通过提供更高效的世界模型，能够显著提升自动驾驶系统的决策能力和安全性，推动智能交通的进一步发展。此外，该模型的层次化设计也为其他领域的场景理解提供了新的思路和方法。
📄 摘要（原文）
Current world models operate at a single level of abstraction, with most prioritizing perceptual fidelity while lacking the spatial reasoning and semantic understanding required for real-world downstream tasks. We present a hierarchical driving world model that factorizes future prediction across two levels operating at distinct temporal and abstraction scales: a high-level predictor that forecasts coarse scene structure over extended temporal horizons, and a low-level generator that produces detailed predictions conditioned on the high-level output. This decomposition yields high perceptual fidelity while also capturing strong spatial and semantic representations. We further show that pretraining with a diffusion forcing objective yields substantially richer internal representations than the standard teacher forcing objective, while teacher forcing -- predicting only the next frame from clean context -- produces more stable autoregressive rollouts. We therefore introduce a generic two-stage training paradigm that pretrains the model with diffusion forcing and fine-tunes with teacher forcing, combining the representational benefits of the former with the rollout stability of the latter. Our approach achieves state-of-the-art results across the standard suite of driving world model evaluations on established benchmarks, including long-horizon generation fidelity, steering responsiveness evaluated on counterfactual scenarios, and internal representation quality. Project page with code, demo, checkpoints and qualitative results:this https URL