Drive2Gauss: FeedForward 4D Gaussian Reconstruction from Multimodal Generative Driving Videos
作者: Tong Zhao, Zhiyuan Han, Lin Chen, Bowen Xie, Yunxi Qiao, Bohan Li, Weiqing Xiao, Gen Li, Shu Han, Xuyang Dai, Cheng Bi, Hao Zhao, Chaojian Li
分类: cs.CV
发布日期: 2026-10-19
💡 一句话要点
提出Drive2Gauss以解决动态4D高斯场景重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态场景重建 多模态生成 高斯场景 前馈框架 自动驾驶 虚拟现实 增强现实
📋 核心要点
- 现有方法在生成可重用驾驶环境时，仍需针对每个序列进行优化，效率低下且灵活性不足。
- Drive2Gauss通过前馈框架将RGB、深度和动态流联合生成，直接转换为动态4D高斯场景，避免了逐序列优化的过程。
- 在nuScenes数据集上，Drive2Gauss实现了显著的性能提升，FID为6.38，FVD为12.43，PSNR达到29.91 dB，支持多种渲染和修复任务。
📝 摘要（中文）
生成可重用的驾驶环境需要可控的未来观察和支持不同视角渲染的显式表示，然而现有方法仍需通过优化每个序列来从生成的RGB视频中恢复显式场景。为克服这些局限性，本文提出了Drive2Gauss，一个前馈框架，将联合生成的RGB、度量深度和动态流转换为动态4D高斯场景。多模态视频生成器从参考多视图图像和未来控制信号中预测三种模态。此外，我们引入了高斯查询解码器，利用深度初始化稀疏3D查询，并通过时空特征聚合和迭代查询优化整合外观信息。重建阶段在单次前馈传递中进行，无需针对每个场景的优化。大量实验结果表明，该方法在nuScenes数据集上取得了6.38的FID和12.43的FVD，重建生成观察时的PSNR为29.91 dB，并支持在侧向相机位移下的直接渲染和后续视频修复。
🔬 方法详解
问题定义：本文旨在解决现有方法在生成可重用驾驶环境时的效率低下和灵活性不足的问题，现有方法需要针对每个序列进行优化，无法实现快速重建和多视角渲染。
核心思路：Drive2Gauss的核心思路是通过前馈框架，将RGB、度量深度和动态流联合生成，直接转换为动态4D高斯场景，避免了逐序列优化的复杂性，从而提高了效率和灵活性。
技术框架：该方法的整体架构包括多模态视频生成器和高斯查询解码器。多模态视频生成器负责从参考多视图图像和未来控制信号中生成RGB、深度和动态流，而高斯查询解码器则利用深度初始化稀疏3D查询，并通过流信息在时间上关联查询，最终实现动态场景的重建。
关键创新：Drive2Gauss的关键创新在于其前馈框架和高斯查询解码器的设计，使得重建过程无需针对每个场景进行优化，显著提高了生成效率和质量。这一设计与现有方法的逐序列优化形成了鲜明对比。
关键设计：在技术细节上，Drive2Gauss采用了深度初始化稀疏3D查询的策略，并通过时空特征聚合和迭代查询优化来整合外观信息。此外，损失函数的设计也经过精心调整，以确保生成结果的高质量和一致性。
🖼️ 关键图片
📊 实验亮点
在nuScenes数据集上的实验结果显示，Drive2Gauss在未来RGB生成方面取得了6.38的FID和12.43的FVD，重建生成观察时的PSNR达到29.91 dB。这些结果表明，该方法在生成质量和效率上均有显著提升，支持多种实际应用场景。
🎯 应用场景
Drive2Gauss的研究成果在自动驾驶、虚拟现实和增强现实等领域具有广泛的应用潜力。通过高效生成可重用的动态驾驶环境，该方法能够支持更真实的模拟和交互体验，推动相关技术的发展与应用。
📄 摘要（原文）
Generating reusable driving environments requires both controllable future observations and an explicit representation that supports rendering from different viewpoints, yet existing methods still recover explicit scenes from generated RGB videos through optimization for each sequence. To overcome these limitations, we present Drive2Gauss, a feedforward framework that converts jointly generated RGB, metric depth, and dynamic flow into dynamic 4D Gaussian scenes. A Multimodal Video Generator predicts the three modalities from reference multiview images and future control signals. Furthermore, we introduce a Gaussian Query Decoder that uses depth to initialize sparse 3D queries and flow to associate the queries across time, and integrates appearance information through spatiotemporal feature aggregation and iterative query refinement. The reconstruction stage operates in a single feedforward pass without optimization for each scene. Extensive results on nuScenes demonstrate that our approach attains an FID of 6.38 and an FVD of 12.43 for future RGB generation, a PSNR of 29.91 dB when reconstructing its generated observations, and supports both direct rendering under lateral camera shifts and downstream video fixing. Code and more visualizations are available at https://zttt04. github.io/Drive2Gauss_page/.