DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer
作者: Yuxuan Zhang, Katarína Tóthová, Zian Wang, Kangxue Yin, Haithem Turki, Riccardo de Lutio, Yen-Yu Chang, Or Litany, Sanja Fidler, Zan Gojcic
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-02-27
备注: For more details and updates, please visit our project website: https://research.nvidia.com/labs/sil/projects/diffusion-harmonizer
💡 一句话要点
DiffusionHarmonizer：利用在线扩散增强器桥接神经重建与照片级真实感仿真
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经重建 扩散模型 图像增强 仿真 自动驾驶 在线渲染 时序一致性
📋 核心要点
- 现有神经重建方法在渲染新视角时存在伪影，且难以真实集成来自不同场景的动态物体，限制了仿真应用。
- DiffusionHarmonizer利用单步时序条件扩散模型，在线增强神经重建场景的渲染质量，提升真实感和时序一致性。
- 通过定制的数据管理流程，构建合成-真实图像对，训练扩散模型，显著提升了仿真环境的保真度。
📝 摘要（中文）
本研究提出DiffusionHarmonizer，一个在线生成增强框架，旨在提升神经重建场景的仿真质量，尤其是在自动驾驶等自主机器人应用中。神经重建方法，如NeRF和3D高斯溅射，虽然能产生视觉上吸引人的结果，但在渲染新视角时常出现伪影，且难以逼真地集成来自不同场景的动态对象。DiffusionHarmonizer通过单步时序条件增强器，将这些不完美的场景渲染转化为时序一致且更逼真的输出。该增强器由预训练的多步图像扩散模型转换而来，可在单GPU上的在线模拟器中运行。有效的训练依赖于定制的数据管理流程，该流程构建合成-真实图像对，强调外观协调、伪影校正和光照真实感。最终，该系统显著提升了研究和生产环境中的仿真保真度。
🔬 方法详解
问题定义：神经重建方法，如NeRF和3D高斯溅射，在自动驾驶等仿真应用中面临挑战。主要痛点在于渲染新视角时容易产生伪影，并且难以将来自不同场景的动态物体自然地融入重建场景中，导致仿真环境不够真实，影响了自动驾驶等算法的训练和评估。
核心思路：DiffusionHarmonizer的核心思路是利用预训练的图像扩散模型，对神经重建的渲染结果进行在线增强。通过学习真实图像的分布，扩散模型能够校正渲染伪影，并协调不同场景的光照和外观，从而提升渲染结果的真实感和时序一致性。这种方法避免了从头训练扩散模型的巨大开销，并能够实时运行在仿真环境中。
技术框架：DiffusionHarmonizer包含以下主要模块：1) 神经重建模块，负责生成初始的场景渲染结果；2) 时序条件增强器，基于单步扩散模型，对渲染结果进行增强；3) 数据管理流程，用于构建合成-真实图像对，训练增强器。整个流程是在线运行的，即增强器可以实时处理神经重建模块的输出，并将其转化为更逼真的图像。
关键创新：DiffusionHarmonizer的关键创新在于：1) 将预训练的多步扩散模型转化为单步增强器，使其能够在在线仿真环境中实时运行；2) 提出了定制的数据管理流程，用于构建合成-真实图像对，强调外观协调、伪影校正和光照真实感，从而有效地训练增强器。
关键设计：DiffusionHarmonizer使用预训练的图像扩散模型作为基础，并通过蒸馏技术将其转化为单步增强器。数据管理流程通过渲染神经重建场景，并将动态物体插入其中，然后使用图像编辑技术对渲染结果进行修改，使其更接近真实图像。损失函数包括L1损失、感知损失和对抗损失，用于约束增强器的输出，使其既逼真又与输入图像保持一致。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DiffusionHarmonizer能够显著提升神经重建场景的仿真质量。与现有方法相比，DiffusionHarmonizer在视觉质量、时序一致性和动态物体集成方面均取得了显著提升。具体而言，DiffusionHarmonizer能够有效减少渲染伪影，并协调不同场景的光照和外观，从而生成更逼真的图像。此外，该方法还能够实时运行在仿真环境中，满足了在线仿真的需求。
🎯 应用场景
DiffusionHarmonizer可广泛应用于自动驾驶、机器人仿真、游戏开发等领域。它能够提升仿真环境的真实感，从而提高自动驾驶算法的训练效率和安全性。此外，该方法还可以用于生成更逼真的游戏场景，提升玩家的沉浸感。未来，DiffusionHarmonizer有望成为神经渲染和仿真领域的重要工具。
📄 摘要（原文）
Simulation is essential to the development and evaluation of autonomous robots such as self-driving vehicles. Neural reconstruction is emerging as a promising solution as it enables simulating a wide variety of scenarios from real-world data alone in an automated and scalable way. However, while methods such as NeRF and 3D Gaussian Splatting can produce visually compelling results, they often exhibit artifacts particularly when rendering novel views, and fail to realistically integrate inserted dynamic objects, especially when they were captured from different scenes. To overcome these limitations, we introduce DiffusionHarmonizer, an online generative enhancement framework that transforms renderings from such imperfect scenes into temporally consistent outputs while improving their realism. At its core is a single-step temporally-conditioned enhancer that is converted from a pretrained multi-step image diffusion model, capable of running in online simulators on a single GPU. The key to training it effectively is a custom data curation pipeline that constructs synthetic-real pairs emphasizing appearance harmonization, artifact correction, and lighting realism. The result is a scalable system that significantly elevates simulation fidelity in both research and production environments.