Geometric Consistency Refinement for Single Image Novel View Synthesis via Test-Time Adaptation of Diffusion Models
作者: Josef Bengtson, David Nilsson, Fredrik Kahl
分类: cs.CV
发布日期: 2025-04-11
备注: Accepted to CVPR 2025 EDGE Workshop. Project page: https://gc-ref.github.io/
💡 一句话要点
提出基于测试时自适应扩散模型的几何一致性优化方法，提升单图新视角合成质量
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 单图新视角合成 扩散模型 几何一致性 测试时自适应 极线约束
📋 核心要点
- 单图新视角合成的扩散模型在几何一致性方面存在不足，生成的图像可能不满足极线约束。
- 通过在测试时优化扩散模型的起始噪声，使其生成的图像既逼真又满足目标姿态的几何约束，从而提高几何一致性。
- 该方法无需额外训练或微调，可应用于多种现有模型，并在MegaScenes数据集上验证了其有效性。
📝 摘要（中文）
本文提出了一种方法，用于提高单图新视角合成中扩散模型生成图像的几何正确性。尽管扩散模型能够生成高度逼真和合理的图像，但在给定的相对姿态下，其几何一致性受到限制。生成的图像经常在极线约束方面表现出显著误差。本文通过优化扩散采样过程中的起始噪声，提出了一种基于图像匹配和极线约束的损失函数，使得生成的图像既逼真又满足目标姿态的几何约束。该方法不需要训练数据或对扩散模型进行微调，并且可以应用于多个最先进的单图新视角合成模型。在MegaScenes数据集上的评估表明，与基线模型相比，几何一致性得到了提高，同时保持了生成图像的质量。
🔬 方法详解
问题定义：单图新视角合成旨在从单张图像生成该场景在不同视角下的图像。现有基于扩散模型的方法虽然能生成逼真的图像，但往往在几何一致性方面表现不佳，即生成的图像与目标视角之间不满足极线约束，导致场景结构扭曲。现有方法的痛点在于缺乏对生成图像几何结构的显式约束。
核心思路：本文的核心思路是在测试时，通过优化扩散模型的起始噪声，引导生成过程朝着满足几何约束的方向进行。具体来说，就是找到一个合适的起始噪声，使得扩散模型生成的图像既具有真实感，又与目标视角满足极线几何关系。这样可以在不重新训练模型的情况下，提升生成图像的几何一致性。
技术框架：该方法主要包含以下几个阶段：1) 使用预训练的单图新视角合成扩散模型生成初始图像；2) 提取初始图像的特征，并与参考图像（即输入图像）的特征进行匹配；3) 基于图像匹配结果和目标视角计算极线约束；4) 构建一个损失函数，该损失函数同时考虑图像的真实感和几何一致性；5) 通过梯度下降优化扩散模型的起始噪声，使得损失函数最小化，从而得到几何一致性更好的生成图像。
关键创新：该方法最重要的创新点在于提出了一个测试时自适应的框架，通过优化扩散模型的起始噪声来提升几何一致性，而无需重新训练或微调模型。这使得该方法可以灵活地应用于各种现有的单图新视角合成扩散模型。此外，将图像匹配和极线约束融入到损失函数中，有效地引导了生成过程。
关键设计：关键设计包括：1) 使用预训练的扩散模型，例如基于U-Net的架构；2) 使用图像匹配算法（例如SIFT或SuperPoint）提取和匹配特征；3) 基于匹配的特征点计算基础矩阵，并导出极线约束；4) 设计损失函数，通常包含两部分：一部分是图像真实感损失（例如LPIPS），另一部分是几何一致性损失（例如极线距离）；5) 使用梯度下降算法（例如Adam）优化起始噪声，学习率和迭代次数需要根据具体情况进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在MegaScenes数据集上显著提高了单图新视角合成的几何一致性。与基线模型相比，该方法在保持生成图像质量的同时，有效地减少了极线误差。具体性能提升数据未知，但论文强调了在几何一致性方面的显著改善。
🎯 应用场景
该研究成果可广泛应用于虚拟现实、增强现实、机器人导航、三维重建等领域。例如，在VR/AR应用中，可以利用该方法生成更逼真、几何一致性更好的虚拟场景，提升用户体验。在机器人导航中，可以帮助机器人更好地理解周围环境，从而实现更精确的定位和导航。此外，该方法还可以用于三维重建，生成更准确的三维模型。
📄 摘要（原文）
Diffusion models for single image novel view synthesis (NVS) can generate highly realistic and plausible images, but they are limited in the geometric consistency to the given relative poses. The generated images often show significant errors with respect to the epipolar constraints that should be fulfilled, as given by the target pose. In this paper we address this issue by proposing a methodology to improve the geometric correctness of images generated by a diffusion model for single image NVS. We formulate a loss function based on image matching and epipolar constraints, and optimize the starting noise in a diffusion sampling process such that the generated image should both be a realistic image and fulfill geometric constraints derived from the given target pose. Our method does not require training data or fine-tuning of the diffusion models, and we show that we can apply it to multiple state-of-the-art models for single image NVS. The method is evaluated on the MegaScenes dataset and we show that geometric consistency is improved compared to the baseline models while retaining the quality of the generated images.