RECAST: From Log Replay to Closed-Loop Driving Simulation with View-Complete Actors

📄 arXiv: 2609.31374v1 📥 PDF

作者: Zijun Zhao, Liewen Liao, Kang Shen, Songan Zhang, Ming Yang

分类: cs.RO, cs.CV

发布日期: 2026-09-25

备注: 8 pages, 5 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RECAST以解决动态驾驶模拟中的视图完整性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态驾驶模拟 闭环渲染 3D高斯点云 演员重建 智能交通 自动驾驶

📋 核心要点

  1. 现有数据驱动模拟器在动态演员重建时，面对视角变化容易产生渲染伪影，影响模拟效果。
  2. RECAST通过3D高斯点云框架，从单个分割车辆观察生成视图完整的演员，解决了视图缺失问题。
  3. 实验显示，RECAST在无碰撞率和最小预测碰撞时间上均有显著提升，支持更可靠的闭环规划者评估。

📝 摘要（中文）

闭环驾驶模拟要求在自我车辆和周围动态演员超出其记录轨迹时，渲染的观察结果仍然可靠，然而现有的数据驱动模拟器在稀疏观察下重建动态演员时可能导致渲染伪影。为此，本文提出了RECAST（可控演员重建框架），该框架通过单个分割车辆观察生成视图完整的演员，并将其注册到重建场景中。RECAST支持在控制的自我-演员交互下进行规划者环路渲染。此外，本文还引入了RECAR数据集，包含约2万辆真实车辆的60万张背景无关的RGBA图像，以适应真实车辆的图像到3D的先验。实验结果表明，RECAST在演员和场景级别均显著降低了渲染误差，并提高了无碰撞率和最小预测碰撞时间。

🔬 方法详解

问题定义：本文旨在解决现有动态驾驶模拟中，演员在视角变化时渲染不完整的问题。现有方法在稀疏观察下重建动态演员时，容易出现渲染伪影，影响模拟的真实性和可靠性。

核心思路：RECAST的核心思路是利用3D高斯点云框架，从单个分割的车辆观察中生成视图完整的演员，并将其注册到重建的场景中。这种方法能够有效应对视角变化带来的挑战，确保动态演员在不同视角下的渲染一致性。

技术框架：RECAST的整体架构包括数据输入、演员生成和场景重建三个主要模块。首先，从驾驶日志中提取分割车辆观察；然后，利用3D高斯点云生成视图完整的演员；最后，将生成的演员注册到重建场景中，实现闭环渲染。

关键创新：RECAST的主要创新在于其能够从单一观察生成完整的动态演员，克服了传统方法在视角变化下的渲染伪影问题。这一方法在动态驾驶模拟中引入了更高的灵活性和可靠性。

关键设计：在技术细节上，RECAST采用了两阶段适应策略来改进从真实驾驶日志观察中生成车辆的能力。通过引入RECAR数据集，包含多样化的真实车辆图像，增强了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RECAST在演员级别将$ ext{FD}{ ext{incep}}$从9.788降低至7.992，在场景级别将$ ext{FD}{ ext{incep}}$从129.35降低至112.10。同时，无碰撞率从22.2%提升至63.0%，最小预测碰撞时间从0.798秒提升至2.150秒，显示出显著的性能提升。

🎯 应用场景

RECAST的研究成果在自动驾驶、虚拟现实和智能交通系统等领域具有广泛的应用潜力。通过提供更真实的动态驾驶模拟，能够帮助研究人员和开发者在安全性和效率上进行更深入的测试与评估，推动智能交通技术的发展。

📄 摘要（原文）

Closed-loop driving simulation requires rendered observations to remain reliable as the ego vehicle and surrounding actors move beyond their recorded trajectories, exposing views absent from the source log. Existing data-driven simulators reconstruct dynamic actors from sparse observations, which can result in rendering artifacts under these viewpoint changes. We introduce RECAST (REconstructing Controllable Actors for Simulation and Testing), a 3D Gaussian Splatting framework that generates a view-complete actor from a single segmented vehicle observation in a driving log and registers the generated actor in the reconstructed scene. RECAST supports planner-in-the-loop rendering under controlled ego-actor interactions. To adapt an image-to-3D prior to real vehicles, we further introduce RECAR, a dataset of approximately 20K real vehicles with 600K background-free RGBA images spanning diverse vehicle colors and types. We use two-stage adaptation to improve vehicle generation from real driving-log observations. At the actor level, RECAST reduces $\mathrm{FD}{\mathrm{incep}}$ from 9.788 to 7.992 relative to unadapted TRELLIS. At the scene level, under actor motion beyond logged trajectories, RECAST reduces $\mathrm{FD}{\mathrm{incep}}$ from 129.35 to 112.10 and increases $\mathrm{CLIP}_{\mathrm{margin}}$ ($\times1000$) from 0.14 to 3.47 relative to Street Gaussians. We demonstrate planner-in-the-loop simulation with the image-conditioned planner GTRS-Dense. Compared with native Street Gaussians actors, RECAST increases the no-collision (NC) rate from 22.2% (12/54) to 63.0% (34/54) and the mean minimum predicted time-to-collision (TTC) from 0.798 s to 2.150 s. These experiments show that RECAST supports closed-loop planner evaluation under controlled ego-actor interactions beyond log replay. Visit our project page at https://zijunkr.github.io/RECAST/