Pointmap-Conditioned Diffusion for Consistent Novel View Synthesis

📄 arXiv: 2501.02913v2 📥 PDF

作者: Thang-Anh-Quan Nguyen, Nathan Piasco, Luis Roldão, Moussab Bennehar, Dzmitry Tsishkou, Laurent Caraffa, Jean-Philippe Tarel, Roland Brémond

分类: cs.CV

发布日期: 2025-01-06 (更新: 2025-12-23)

备注: WACV 2026. Project page: https://ntaquan0125.github.io/pointmap-conditioned-diffusion

💡 一句话要点

PointmapDiff：利用点云图条件扩散模型实现一致性新视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 扩散模型 点云图 条件生成 自动驾驶

📋 核心要点

  1. 现有新视角合成方法在城市场景中面临挑战，因为可用的数据通常仅限于RGB图像和稀疏LiDAR点。
  2. PointmapDiff利用点云图作为条件，结合预训练的2D扩散模型，从而在几何和光度上引导图像生成。
  3. 实验表明，PointmapDiff在真实驾驶数据上实现了高质量的新视角合成，并可灵活地使用不同类型的点云图。

📝 摘要（中文）

本文提出了一种名为PointmapDiff的新视角合成框架，该框架利用预训练的2D扩散模型。该方法使用点云图（即栅格化的3D场景坐标）作为条件信号，从参考图像中捕获几何和光度先验，以指导图像生成过程。通过提出的参考注意力层和用于点云图特征的ControlNet，PointmapDiff可以在不同的视角下生成准确且一致的结果，同时保持几何保真度。在真实驾驶数据上的实验表明，该方法能够实现高质量的生成，并具有点云图条件信号的灵活性（例如，密集深度图或稀疏LiDAR点），并且可以用于提炼到3D表示，例如3D高斯溅射，以改善视角外推。

🔬 方法详解

问题定义：论文旨在解决城市场景下，仅有有限RGB图像和稀疏LiDAR点时，新视角合成中视角外推困难的问题。现有方法难以在保持几何一致性的前提下，生成高质量的新视角图像。

核心思路：论文的核心思路是利用点云图作为条件信号，指导预训练的2D扩散模型生成新视角图像。点云图能够提供场景的几何信息，而扩散模型则擅长生成逼真的图像。通过将两者结合，可以生成既具有几何一致性又具有高质量的新视角图像。

技术框架：PointmapDiff框架主要包含以下几个模块：1) 参考图像编码器，用于提取参考图像的特征；2) 点云图编码器，用于提取点云图的特征；3) 参考注意力层，用于将参考图像的特征与点云图的特征进行融合；4) ControlNet，用于进一步控制扩散模型的生成过程；5) 扩散模型，用于生成新视角图像。整体流程是，首先将参考图像和点云图输入到各自的编码器中，然后通过参考注意力层和ControlNet将它们的特征融合，最后使用扩散模型生成新视角图像。

关键创新：论文的关键创新在于将点云图作为条件信号，并设计了参考注意力层和ControlNet来有效地融合点云图和参考图像的特征。这种方法能够更好地利用场景的几何信息，从而生成更准确和一致的新视角图像。与现有方法相比，PointmapDiff能够更好地处理稀疏的LiDAR点，并且具有更强的泛化能力。

关键设计：参考注意力层使用Transformer结构，用于学习参考图像特征和点云图特征之间的关系。ControlNet用于控制扩散模型的生成过程，使其更加符合点云图的几何信息。损失函数包括L1损失、感知损失和对抗损失，用于保证生成图像的质量和真实性。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PointmapDiff在真实驾驶数据上取得了显著的性能提升。该方法能够生成高质量的新视角图像，并且在几何一致性方面优于现有方法。此外，PointmapDiff还具有很强的灵活性，可以处理不同类型的点云图，例如密集深度图和稀疏LiDAR点。通过将PointmapDiff与3D高斯溅射相结合，可以进一步改善视角外推的效果。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、虚拟现实和增强现实等领域。通过生成高质量的新视角图像，可以提高自动驾驶系统的环境感知能力，帮助机器人更好地进行导航，并为用户提供更逼真的虚拟现实和增强现实体验。此外，该方法还可以用于三维重建和场景理解等任务。

📄 摘要（原文）

Synthesizing extrapolated views remains a difficult task, especially in urban driving scenes, where the only reliable sources of data are limited RGB captures and sparse LiDAR points. To address this problem, we present PointmapDiff, a framework for novel view synthesis that utilizes pre-trained 2D diffusion models. Our method leverages point maps (i.e., rasterized 3D scene coordinates) as a conditioning signal, capturing geometric and photometric priors from the reference images to guide the image generation process. With the proposed reference attention layers and ControlNet for point map features, PointmapDiff can generate accurate and consistent results across varying viewpoints while respecting geometric fidelity. Experiments on real-life driving data demonstrate that our method achieves high-quality generation with flexibility over point map conditioning signals (e.g., dense depth map or even sparse LiDAR points) and can be used to distill to 3D representations such as 3D Gaussian Splatting for improving view extrapolation.