NeuralSRender: G-Buffer Guided Video Diffusion for Sim-to-Real Rendering

📄 arXiv: 2610.29200v1 📥 PDF

作者: Yipeng Lu, Youqi Liao, Zhenyu Wang, Yuning Peng, Zhen Dong

分类: cs.CV

发布日期: 2026-10-21

备注: Tech repo

🔗 代码/项目: GITHUB

💡 一句话要点

提出NeuralSRender以解决合成视频真实感不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: 合成视频 真实感增强 自动驾驶 视频扩散 G-buffer 深度学习 LoRA 计算机视觉

📋 核心要点

  1. 现有方法在合成视频的真实感上存在不足，影响了自动驾驶系统的感知性能。
  2. NeuralSRender通过G-buffer引导的视频扩散框架，增强合成视频的光照真实感，同时保持几何一致性。
  3. 实验结果显示，使用NeuralSRender处理后的视频训练感知模型，检测AP提升至40.6，分割mIoU提升至40.8。

📝 摘要（中文）

高质量标注视觉数据的稀缺是自动驾驶感知的关键瓶颈。虽然模拟器可以大规模提供训练数据，但合成视频的真实感有限，影响了其在现实应用中的表现。为了解决这一问题，本文提出了NeuralSRender，一个增强合成视频光照真实感的框架，同时保持与源场景的几何一致性。该框架基于预训练的视频扩散变换器（DiT），通过轻量级投影器注入来自G-buffer的几何和材料先验，并利用LoRA实现参数高效适应。模型分两阶段训练，首先从具有准确G-buffer的合成视频中学习G-buffer条件，然后使用估计G-buffer的真实视频适应现实外观。实验表明，NeuralSRender在光照真实感和几何一致性上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决合成视频在真实感不足的问题，这一问题限制了自动驾驶感知系统在现实环境中的表现。现有方法通常无法有效地将合成数据的特征转化为真实世界的应用。

核心思路：NeuralSRender通过引入G-buffer的几何和材料先验，利用视频扩散变换器（DiT）增强合成视频的光照真实感，同时保持与源场景的几何一致性。该方法的设计旨在减少合成与真实之间的差距。

技术框架：该框架分为两个阶段进行训练。第一阶段从具有准确G-buffer的合成视频中学习G-buffer条件；第二阶段则使用真实视频和估计的G-buffer进行适应。在第二阶段，额外的LoRA模块被训练，而投影器和第一阶段的LoRA保持冻结，以减少估计噪声的干扰。

关键创新：NeuralSRender引入了轻量级的投影器和LoRA模块，仅增加1.45%的参数开销，且可以在24GB内存的消费级GPU上进行训练。这一设计使得模型在保持高效的同时，能够有效地进行真实感增强。

关键设计：模型的关键设计包括G-buffer的条件学习和LoRA的参数高效适应。损失函数的设计确保了光照真实感和几何一致性的平衡，同时在训练过程中采用了冻结策略以减少噪声干扰。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用NeuralSRender处理后的视频进行训练，检测AP从35.1提升至40.6，分割mIoU从32.4提升至40.8，显示出显著的性能提升，验证了该方法在增强合成视频真实感方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景。通过提升合成视频的真实感，NeuralSRender能够为自动驾驶系统提供更可靠的训练数据，从而提高其在复杂环境中的感知能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

The scarcity of high-quality annotated visual data remains a critical bottleneck for autonomous-driving perception. Simulators provide training data at scale, but the limited realism of synthetic videos compromises perception performance in real-world applications. To address this limitation, we propose NeuralSRender, a sim-to-real video translation framework that enhances the photorealism of synthetic videos while maintaining geometric consistency with the source scenes. Built on a pretrained video diffusion transformer (DiT), NeuralSRender uses a lightweight projector to inject geometric and material priors from G-buffers, and LoRA enables parameter-efficient adaptation. The model is trained in two stages: it first learns G-buffer conditioning from synthetic videos with accurate G-buffers, then adapts to real-world appearance using real videos with estimated G-buffers. During the second stage, an additional LoRA module is trained while the projector and first-stage LoRA remain frozen to reduce interference from estimation noise. NeuralSRender introduces only 1.45\% parameter overhead and can be trained on consumer-grade GPUs with 24 GB of memory. To support training and evaluation, we introduce GenReal, a large-scale driving video dataset comprising synthetic and real-world videos with corresponding G-buffers. Experiments demonstrate improved photorealism with competitive geometric consistency. Training perception models on our translated videos instead of raw simulator renders improves detection $\mathrm{AP}_{50}$ on nuImages from 35.1 to 40.6 and segmentation mIoU on Cityscapes from 32.4 to 40.8. Our code, data, and model weights are available at: https://github.com/WHU-USI3DV/NeuralSRender.