Pseudo-View Enhancement via Confidence Fusion for Unposed Sparse-View Reconstruction
作者: Beizhen Zhao, Sicheng Yu, Guanzhi Ding, Yu Hu, Hao Wang
分类: cs.CV
发布日期: 2026-02-25
备注: 14 pages
💡 一句话要点
提出基于置信度融合的伪视图增强方法，用于无位姿稀疏视图三维重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 三维重建 稀疏视图 伪视图增强 扩散模型 高斯管理
📋 核心要点
- 现有方法在极稀疏视角下直接使用扩散模型生成伪视图，易引入不合理的几何结构，影响重建质量。
- 提出双向伪帧恢复方法，利用相邻帧指导扩散模型合成，并结合伪视图去模糊和置信度掩码。
- 提出场景感知高斯管理策略，基于深度和密度信息优化高斯分布，提升重建完整性和几何一致性。
📝 摘要（中文）
本文提出了一种新的框架，用于解决无位姿稀疏视角下的三维场景重建问题，尤其是在复杂光照和尺度变化的室外场景中。针对极少输入视图直接利用扩散模型合成伪帧会引入不合理的几何结构的问题，该框架通过双向伪帧恢复和场景感知高斯管理来实现高质量的重建结果。具体而言，我们引入了一种双向伪帧恢复方法，该方法通过基于扩散的合成，并在轻量级伪视图去模糊模型和置信度掩码推理算法的指导下，恢复缺失的内容。然后，我们提出了一种基于联合深度-密度信息的场景感知高斯管理策略来优化高斯分布。这些设计显著提高了重建的完整性，抑制了浮动伪影，并提高了极端视图稀疏性下的整体几何一致性。在室外基准测试上的实验表明，与现有方法相比，在保真度和稳定性方面都有显著提高。
🔬 方法详解
问题定义：论文旨在解决在无位姿的极端稀疏视角下，室外场景的三维重建问题。现有方法，特别是直接利用扩散模型生成伪视图的方法，容易引入不合理的几何结构，导致重建质量下降，出现伪影和几何不一致等问题。这是由于在极度稀疏的视角下，扩散模型缺乏足够的约束，容易产生幻觉。
核心思路：论文的核心思路是通过双向伪帧恢复来增强视图信息，并利用场景感知的高斯管理来优化重建结果。双向伪帧恢复旨在生成更准确、更可靠的伪视图，从而为后续的三维重建提供更强的几何约束。场景感知的高斯管理则通过联合考虑深度和密度信息，优化高斯分布的参数，从而提高重建的完整性和几何一致性。
技术框架：整体框架包含两个主要阶段：双向伪帧恢复和场景感知高斯管理。首先，利用相邻帧的信息，通过扩散模型合成中间的伪视图，并使用伪视图去模糊模型和置信度掩码来提高伪视图的质量。然后，利用生成的伪视图和原始视图，通过场景感知的高斯管理策略来优化三维高斯分布，从而得到最终的重建结果。
关键创新：论文的关键创新在于以下两点：一是提出了双向伪帧恢复方法，该方法通过相邻帧的引导和置信度掩码的约束，有效地提高了伪视图的质量；二是提出了场景感知的高斯管理策略，该策略通过联合考虑深度和密度信息，优化高斯分布的参数，从而提高了重建的完整性和几何一致性。与现有方法相比，该方法能够更好地处理极端稀疏视角下的三维重建问题。
关键设计：双向伪帧恢复中，扩散模型的设计和训练是关键。伪视图去模糊模型采用轻量级结构，以减少计算量。置信度掩码的推理算法用于过滤掉不可靠的区域。场景感知高斯管理中，深度和密度信息的融合方式以及高斯分布参数的优化策略是关键。损失函数的设计需要平衡重建的保真度和几何一致性。
🖼️ 关键图片
📊 实验亮点
论文在室外场景基准数据集上进行了实验，结果表明，与现有方法相比，该方法在重建的保真度和稳定性方面都有显著提高。具体性能数据未知，但摘要中强调了“substantial gains”，表明提升幅度较大。该方法能够有效地抑制浮动伪影，提高几何一致性，尤其是在极端稀疏视角下。
🎯 应用场景
该研究成果可应用于城市建模、自动驾驶、机器人导航、虚拟现实等领域。在这些应用中，通常需要在有限的视角下重建三维场景。该方法能够提高重建的质量和效率，降低对传感器数量和位姿精度的要求，具有重要的实际应用价值和广阔的应用前景。
📄 摘要（原文）
3D scene reconstruction under unposed sparse viewpoints is a highly challenging yet practically important problem, especially in outdoor scenes due to complex lighting and scale variation. With extremely limited input views, directly utilizing diffusion model to synthesize pseudo frames will introduce unreasonable geometry, which will harm the final reconstruction quality. To address these issues, we propose a novel framework for sparse-view outdoor reconstruction that achieves high-quality results through bidirectional pseudo frame restoration and scene perception Gaussian management. Specifically, we introduce a bidirectional pseudo frame restoration method that restores missing content by diffusion-based synthesis guided by adjacent frames with a lightweight pseudo-view deblur model and confidence mask inference algorithm. Then we propose a scene perception Gaussian management strategy that optimize Gaussians based on joint depth-density information. These designs significantly enhance reconstruction completeness, suppress floating artifacts and improve overall geometric consistency under extreme view sparsity. Experiments on outdoor benchmarks demonstrate substantial gains over existing methods in both fidelity and stability.