HBSplat: Robust Sparse-View Gaussian Reconstruction with Hybrid-Loss Guided Depth and Bidirectional Warping

📄 arXiv: 2509.24893v3 📥 PDF

作者: Yu Ma, Guoliang Wei, Haihong Xiao, Yue Cheng

分类: cs.CV

发布日期: 2025-09-29 (更新: 2025-10-08)

备注: 14 pages, 21 figures

🔗 代码/项目: GITHUB

💡 一句话要点

HBSplat：基于混合损失引导深度和双向扭曲的鲁棒稀疏视图高斯重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 三维重建 高斯溅射 稀疏视图 深度估计 虚拟视图合成 遮挡感知

📋 核心要点

  1. 稀疏视图下的新视角合成面临严重挑战，现有3DGS方法易出现过拟合、几何失真和场景碎片化。
  2. HBSplat通过混合损失引导深度估计、双向扭曲虚拟视图合成和遮挡感知重建，增强3DGS的鲁棒性。
  3. 实验表明，HBSplat在多个数据集上显著提升了新视角合成的质量，并保持了实时渲染能力。

📝 摘要（中文）

本文提出HBSplat，一个统一的框架，旨在提升稀疏视图下的3D高斯溅射（3DGS）性能。在稀疏视图下，3D重建面临着严重的过拟合、几何失真和场景碎片化问题。HBSplat通过无缝集成鲁棒的结构线索、虚拟视图约束和遮挡区域补全来解决这些问题。该方法包含三个核心贡献：混合损失深度估计模块，通过利用密集匹配先验并结合重投影、点传播和平滑约束来确保多视图一致性；双向扭曲虚拟视图合成方法，通过双向深度图像扭曲和多视图融合创建高保真虚拟视图，从而施加更强的约束；以及遮挡感知重建组件，使用深度差异掩码和基于学习的图像修复模型来恢复遮挡区域。在LLFF、Blender和DTU基准测试上的大量评估表明，HBSplat达到了新的state-of-the-art水平，实现了高达21.13 dB的PSNR和0.189的LPIPS，同时保持了实时推理速度。

🔬 方法详解

问题定义：论文旨在解决稀疏视图下3D高斯溅射（3DGS）重建质量差的问题。在稀疏视图条件下，由于缺乏足够的多视角约束，3DGS容易产生浮动伪影、结构性错误和几何失真，导致重建场景不完整且质量不高。现有方法难以在稀疏视图下实现高质量的新视角合成。

核心思路：HBSplat的核心思路是通过引入更强的结构约束、虚拟视图约束和遮挡区域补全来提升3DGS在稀疏视图下的重建质量。具体来说，利用混合损失函数引导的深度估计来保证多视图一致性，通过双向扭曲生成高质量的虚拟视图来增强约束，并使用遮挡感知重建来恢复被遮挡的区域。

技术框架：HBSplat的整体框架包含三个主要模块：1) 混合损失深度估计模块：用于估计场景的深度信息，并利用混合损失函数保证多视图一致性。2) 双向扭曲虚拟视图合成模块：通过双向深度图像扭曲和多视图融合生成高质量的虚拟视图，从而增强约束。3) 遮挡感知重建模块：用于恢复被遮挡的区域，提高重建的完整性。整个流程首先进行深度估计，然后合成虚拟视图，最后进行遮挡区域补全，并利用这些信息优化3DGS参数。

关键创新：HBSplat的关键创新在于以下几个方面：1) 提出了一种混合损失函数，用于引导深度估计，从而保证多视图一致性。2) 提出了一种双向扭曲虚拟视图合成方法，可以生成高质量的虚拟视图，从而增强约束。3) 提出了一种遮挡感知重建方法，可以恢复被遮挡的区域，提高重建的完整性。与现有方法相比，HBSplat能够更有效地利用稀疏视图信息，从而实现更高质量的3D重建。

关键设计：混合损失函数包含重投影损失、点传播损失和平滑损失，用于约束深度估计。双向扭曲虚拟视图合成采用深度图像扭曲和多视图融合技术，以生成高质量的虚拟视图。遮挡感知重建模块使用深度差异掩码来检测遮挡区域，并使用基于学习的图像修复模型来补全这些区域。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HBSplat在LLFF、Blender和DTU数据集上进行了广泛的实验评估。实验结果表明，HBSplat在稀疏视图下显著优于现有的3DGS方法，实现了state-of-the-art的性能。例如，在LLFF数据集上，HBSplat实现了高达21.13 dB的PSNR和0.189的LPIPS，相比于其他方法有显著提升。同时，HBSplat保持了实时推理速度，具有很强的实用性。

🎯 应用场景

HBSplat在三维重建、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。它可以用于从少量图像或视频中重建高质量的三维场景，从而降低数据采集成本，提高重建效率。此外，HBSplat还可以用于生成逼真的虚拟环境，为用户提供沉浸式的体验。

📄 摘要（原文）

Novel View Synthesis (NVS) from sparse views presents a formidable challenge in 3D reconstruction, where limited multi-view constraints lead to severe overfitting, geometric distortion, and fragmented scenes. While 3D Gaussian Splatting (3DGS) delivers real-time, high-fidelity rendering, its performance drastically deteriorates under sparse inputs, plagued by floating artifacts and structural failures. To address these challenges, we introduce HBSplat, a unified framework that elevates 3DGS by seamlessly integrating robust structural cues, virtual view constraints, and occluded region completion. Our core contributions are threefold: a Hybrid-Loss Depth Estimation module that ensures multi-view consistency by leveraging dense matching priors and integrating reprojection, point propagation, and smoothness constraints; a Bidirectional Warping Virtual View Synthesis method that enforces substantially stronger constraints by creating high-fidelity virtual views through bidirectional depth-image warping and multi-view fusion; and an Occlusion-Aware Reconstruction component that recovers occluded areas using a depth-difference mask and a learning-based inpainting model. Extensive evaluations on LLFF, Blender, and DTU benchmarks validate that HBSplat sets a new state-of-the-art, achieving up to 21.13 dB PSNR and 0.189 LPIPS, while maintaining real-time inference. Code is available at: https://github.com/eternalland/HBSplat.