PR-IQA: Partial-Reference Image Quality Assessment for Diffusion-Based Novel View Synthesis

📄 arXiv: 2604.04576 📥 PDF

作者: Inseong Choi, Siwoo Lee, Seung-Hun Nam, Soohwan Song

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

提出PR-IQA，用于评估扩散模型生成的新视角合成图像质量，提升3D重建效果。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像质量评估 新视角合成 扩散模型 3D重建 部分参考 交叉注意力 几何一致性 3D高斯溅射

📋 核心要点

  1. 现有方法直接使用扩散模型生成的新视角图像进行监督，但图像中存在光度和几何不一致性，影响3D重建质量。
  2. PR-IQA利用不同视角的参考图像，无需真值，通过几何一致性和交叉注意力机制，评估生成图像的质量。
  3. 实验表明，PR-IQA优于现有IQA方法，在无真值监督下达到全参考级别精度，提升了3D重建和新视角合成效果。

📝 摘要（中文）

扩散模型在稀疏视角新视角合成(NVS)中展现出巨大潜力，它们可以生成伪真值视角，辅助如3D高斯溅射(3DGS)等3D重建流程。然而，这些合成图像通常包含光度和几何不一致性，直接用于监督会损害重建效果。为了解决这个问题，我们提出了部分参考图像质量评估(PR-IQA)框架，该框架使用来自不同姿态的参考图像来评估扩散生成的视角，无需真值图像。PR-IQA首先计算重叠区域中几何一致的部分质量图，然后执行质量补全，将该部分图修复为密集的完整图像图。这种补全通过结合参考视角上下文的交叉注意力机制实现，确保跨视角一致性，并实现彻底的质量评估。当集成到扩散增强的3DGS流程中时，PR-IQA将监督限制在其质量图识别的高置信度区域。实验表明，PR-IQA优于现有的IQA方法，在没有真值监督的情况下实现了全参考级别的精度。因此，我们提出的质量感知3DGS方法更有效地过滤不一致性，从而产生卓越的3D重建和NVS效果。

🔬 方法详解

问题定义：论文旨在解决扩散模型生成的新视角合成图像质量评估问题，现有方法直接将这些图像用于3D重建的监督，但由于合成图像存在光度和几何不一致性，导致重建效果不佳。缺乏有效的质量评估方法来筛选高质量的合成图像，是现有方法的痛点。

核心思路：论文的核心思路是提出一种部分参考图像质量评估(PR-IQA)框架，利用不同视角的参考图像，无需ground truth，来评估合成图像的质量。通过几何一致性约束和跨视角信息融合，实现对合成图像质量的准确评估，并指导3D重建过程，只使用高质量区域进行监督。

技术框架：PR-IQA框架主要包含两个阶段：1) 几何一致的部分质量图计算：利用参考图像和合成图像的几何关系，计算重叠区域的质量图。2) 质量补全：使用交叉注意力机制，将部分质量图补全为完整的图像质量图，该机制利用参考视角的上下文信息，确保跨视角一致性。最终，PR-IQA生成的质量图用于指导3DGS的训练，只在高质量区域进行监督。

关键创新：PR-IQA的关键创新在于提出了部分参考的图像质量评估方法，无需ground truth，仅利用参考图像即可评估合成图像的质量。此外，交叉注意力机制的引入，使得质量补全过程能够有效利用参考视角的上下文信息，保证了跨视角的一致性。

关键设计：PR-IQA的关键设计包括：1) 几何一致性度量方式的选择，用于计算部分质量图。2) 交叉注意力机制的具体实现，包括query、key和value的构建方式，以及注意力权重的计算方法。3) 质量图的归一化和后处理方法，以提高评估的准确性和鲁棒性。论文中可能还涉及损失函数的设计，用于优化交叉注意力机制的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PR-IQA在没有ground truth的情况下，能够达到全参考图像质量评估的精度水平，显著优于现有的无参考IQA方法。通过将PR-IQA集成到3DGS流程中，可以有效过滤不一致区域，从而提升3D重建和新视角合成的质量。具体的性能提升数据（例如PSNR、SSIM等）需要在论文中查找。

🎯 应用场景

PR-IQA可应用于各种基于扩散模型的新视角合成场景，例如：自动驾驶、机器人导航、虚拟现实、增强现实等。通过评估合成图像的质量，可以提高3D重建的精度和鲁棒性，从而提升相关应用的用户体验和性能。该研究对于推动扩散模型在3D视觉领域的应用具有重要意义。

📄 摘要（原文）

Diffusion models are promising for sparse-view novel view synthesis (NVS), as they can generate pseudo-ground-truth views to aid 3D reconstruction pipelines like 3D Gaussian Splatting (3DGS). However, these synthesized images often contain photometric and geometric inconsistencies, and their direct use for supervision can impair reconstruction. To address this, we propose Partial-Reference Image Quality Assessment (PR-IQA), a framework that evaluates diffusion-generated views using reference images from different poses, eliminating the need for ground truth. PR-IQA first computes a geometrically consistent partial quality map in overlapping regions. It then performs quality completion to inpaint this partial map into a dense, full-image map. This completion is achieved via a cross-attention mechanism that incorporates reference-view context, ensuring cross-view consistency and enabling thorough quality assessment. When integrated into a diffusion-augmented 3DGS pipeline, PR-IQA restricts supervision to high-confidence regions identified by its quality maps. Experiments demonstrate that PR-IQA outperforms existing IQA methods, achieving full-reference-level accuracy without ground-truth supervision. Thus, our quality-aware 3DGS approach more effectively filters inconsistencies, producing superior 3D reconstructions and NVSthis http URLproject page is available atthis https URL.