DreamStream: Towards Policy-Oriented Generative Simulation for End-to-End Driving

📄 arXiv: 2609.26792v1 📥 PDF

作者: Ziyang Leng, Sicheng Mo, Seth Z. Zhao, Haoyuan Cai, Yu Zeng, Rowan McAllister, Bolei Zhou

分类: cs.RO, cs.CV

发布日期: 2026-09-22

备注: Accepted to CoRL 2026. Project page: https://vail-ucla.github.io/DreamStream/

🔗 代码/项目: GITHUB

💡 一句话要点

提出DreamStream以解决驾驶策略评估中的视觉差距问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 端到端驾驶 生成模拟 闭环模拟器 视觉保真度 策略评估 多表示度量 自动驾驶 交通布局

📋 核心要点

  1. 现有的模拟平台在评估端到端驾驶策略时存在视觉差距，影响策略的决策能力。
  2. 本文提出DreamStream，通过生成的闭环模拟器实现策略导向的保真度，保留关键场景特征。
  3. 实验结果表明，DreamStream在多个基准上显著提升了策略评估的准确性，尤其在nuScenes和NAVSIM上表现优异。

📝 摘要（中文）

在模拟环境中忠实评估端到端驾驶策略需要观察不仅仅是照片真实的，还要保留策略决策所依赖的场景特征。然而，现有平台存在模拟与现实之间的视觉差距，损害了策略的感知能力。为此，本文提出了DreamStream，一个生成的闭环模拟器，通过基于模拟器的自回归视频模型实现策略导向的保真度。该视频模型通过交通布局指导从大型预训练视频模型中提炼而来，能够在保留场景布局和动态物体时间一致性等策略相关特征的同时，变化视觉外观。我们还观察到，感知指标如FID在评估这些特征的保留程度时存在误差。为了解决这个问题，我们引入了FD$π$，一种新的多表示度量，测量公共端到端策略的场景上下文特征的模拟与现实之间的差距。在FD$π$下，DreamStream在nuScenes上比最强的先前闭环模拟器提高了1.6倍，在NAVSIM上提高了4.7倍，并对策略的感知可观察性造成了最小的干扰。基于DreamStream，我们构建了Navhard-CL基准，将非反应性的真实世界基准NAVSIM转变为具有对抗性驾驶行为和天气变化的互动测试环境。

🔬 方法详解

问题定义：本文旨在解决现有模拟平台在评估端到端驾驶策略时存在的视觉差距问题，这种差距影响了策略的感知和决策能力。

核心思路：DreamStream通过生成的闭环模拟器，利用自回归视频模型保留策略相关的场景特征，确保模拟环境与真实环境之间的高保真度。

技术框架：整体架构包括一个基于模拟器的自回归视频模型，该模型通过交通布局指导从大型预训练视频模型中提炼而来，确保动态物体的时间一致性和场景布局的保留。

关键创新：引入FD$π$作为新的多表示度量，能够更准确地测量模拟与现实之间的差距，相较于传统的感知指标如FID，FD$π$提供了更可靠的评估。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，以确保在变化视觉外观的同时，保留策略相关的特征，优化了模型的训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DreamStream在nuScenes基准上比最强的先前闭环模拟器提高了1.6倍，在NAVSIM基准上提高了4.7倍，显示出显著的性能提升，并对策略的感知可观察性造成了最小的干扰。

🎯 应用场景

DreamStream的研究成果可广泛应用于自动驾驶领域，尤其是在驾驶策略的评估和优化方面。通过提供更真实的模拟环境，能够帮助开发更安全和高效的自动驾驶系统，推动智能交通的发展。

📄 摘要（原文）

Faithfully evaluating end-to-end driving policies in simulation requires observations that are not merely photo-realistic, but preserve the scene features a policy relies on to make decisions. Existing platforms, however, exhibit a sim-to-real visual gap that corrupts policy perception, undermining their ability to assess a policy's closed-loop decision-making. To this end, we propose DreamStream, a generative, closed-loop simulator that achieves policy-oriented fidelity using a simulator-grounded autoregressive video model. Our video model is distilled from a large pretrained video model via traffic layout guidance, varying visual appearance while preserving policy-relevant features such as scenario layout and the temporal consistency of dynamic objects. We further observe that perceptual metrics like FID misrank how well these features are preserved. To tackle this, we introduce FD$π$, a new multi-representation metric that measures the sim-to-real gap as the Fréchet distance over scene-context features from public E2E policies. Under FD$π$, DreamStream improves over the strongest prior closed-loop simulator by $1.6\times$ on nuScenes and $4.7\times$ on NAVSIM, and induces the least perturbation to policy's perceptual observability. Based on DreamStream, we construct Navhard-CL benchmark, which turns non-reactive real-world benchmark NAVSIM into interactive testing environments with adversarial driving behaviors and weather variations. This benchmark exposes many failure modes of driving policies, such as scorer bias and lack of recovery behaviors, that prior closed-loop benchmarks overlook. Code and data are available at https://github.com/VAIL-UCLA/DreamStream.