FlowSim: Rendering-Free Closed-Loop Simulation for Evaluating End-to-End Driving Systems
作者: Hanfeng Wu, Alvaro Marcos-Ramiro, Michael Schmidt, Christoph Stiller
分类: cs.CV
发布日期: 2026-10-13
💡 一句话要点
提出FlowSim以解决闭环驾驶系统评估中的渲染问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 闭环评估 端到端驾驶 无渲染模拟 潜在表示 自动驾驶系统
📋 核心要点
- 现有闭环评估方法依赖图像空间模拟，导致计算成本高且存在模拟与真实之间的差距。
- FlowSim通过直接预测潜在表示，消除了图像渲染和感知重新编码，提升了评估效率。
- 实验结果显示FlowSim在多个数据集上表现优越，模拟速度显著快于传统方法，且保持了良好的下游行为一致性。
📝 摘要（中文）
闭环评估端到端（E2E）驾驶系统通常依赖于生成传感器观测并重新处理，导致计算成本高和模拟与真实传感器观测之间存在显著差距。本文提出FlowSim，一种无渲染的模拟范式，直接从先前的潜在表示和目标帧符号场景条件预测内部潜在表示。通过消除图像渲染和感知重新编码，FlowSim在nuScenes和NavSim上的实验表明，其在源到参考一致性方面与图像空间模拟相当，且在多个模拟时间范围和稠密与稀疏潜在表示中表现优越。FlowSim每步模拟时间为0.04-0.06秒，显著快于对比的图像空间模拟方法，确立了其作为高效实用的替代方案的地位。
🔬 方法详解
问题定义：本文旨在解决闭环评估端到端驾驶系统时，现有方法依赖图像空间模拟所带来的高计算成本和模拟与真实之间的差距问题。
核心思路：FlowSim通过直接从先前的潜在表示和目标帧符号场景条件中预测内部潜在表示，避免了图像渲染和感知重新编码，从而提高了评估效率。
技术框架：FlowSim的整体架构包括潜在表示预测模块和下游模块，前者负责根据历史信息和当前场景条件生成潜在表示，后者则处理这些潜在表示以进行决策和控制。
关键创新：FlowSim的主要创新在于其无渲染的模拟方法，通过显式的跨帧代理关联来改善潜在转移预测和滚动稳定性，这与传统依赖图像渲染的模拟方法本质上不同。
关键设计：FlowSim在设计上采用了变量时间范围的模拟策略，允许从真实锚点进行长时间预测，避免了中间滚动误差的累积。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FlowSim在nuScenes和NavSim数据集上表现优越，源到参考一致性在多个模拟时间范围内超过了传统图像空间模拟方法。每步模拟时间为0.04-0.06秒，显著快于对比方法，展示了其高效性和实用性。
🎯 应用场景
FlowSim的研究成果在自动驾驶、智能交通系统等领域具有广泛的应用潜力。其高效的闭环评估能力能够加速自动驾驶系统的开发与测试，降低开发成本，并提高系统在真实环境中的表现一致性。未来，FlowSim可能会推动更多基于潜在表示的智能系统的研究与应用。
📄 摘要（原文）
Closed-loop evaluation of end-to-end (E2E) driving systems typically relies on generating sensor observations and re-processing them through the perception encoder, introducing substantial computational cost and a sim2real gap between simulated and real sensor observations. In this paper, we ask a more fundamental question: is image-space simulation necessary for closed-loop evaluation of E2E driving systems? We propose FlowSim, a rendering-free simulation paradigm that predicts the internal latent representation directly from a previous latent and target-frame symbolic scene conditions. The predicted latent is then processed by the original frozen downstream modules, eliminating image rendering and perception re-encoding. Explicit cross-frame agent association improves latent transition prediction and rollout stability, while variable-horizon simulation enables long-horizon prediction from a common real anchor without accumulating intermediate rollout errors. Experiments on nuScenes and NavSim demonstrate that FlowSim preserves downstream behavior competitively with, and often exceeds image-space simulation in source-to-reference agreement across variable simulation horizons and both dense and sparse latent representations. By predicting the latent directly, both instantiations of FlowSim simulate each step in 0.04--0.06s, substantially faster than the image-space simulation methods they are compared against. These results establish FlowSim as an efficient and practical alternative to conventional image-space simulation methods.