TWINGS: Thin Plate Splines Warp-aligned Initialization for Sparse-View Gaussian Splatting

📄 arXiv: 2605.22069v1 📥 PDF

作者: Hyeseong Kim, Geonhui Son, Deukhee Lee, Dosik Hwang

分类: cs.CV, cs.LG

发布日期: 2026-05-21

备注: Accepted to CVPR 2025, Project page: https://sandokim.github.io/twings/

💡 一句话要点

TWINGS：基于薄板样条的稀疏视角高斯溅射初始化方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 高斯溅射 稀疏视角 薄板样条 新视角合成

📋 核心要点

  1. 现有方法在稀疏视角下进行三维重建时，难以保证重建质量，尤其是在结构细节和颜色保真度方面。
  2. TWINGS利用薄板样条(TPS)对反投影点进行校准，为3D高斯溅射提供更精确的初始化，从而提升重建效果。
  3. 实验结果表明，TWINGS在稀疏视角下，显著优于现有方法，在多个数据集上实现了更精细和准确的重建。

📝 摘要（中文）

本文提出TWINGS框架，旨在解决稀疏视角下高质量场景重建这一三维计算机视觉的挑战。该方法通过利用薄板样条(TPS)这一平滑非刚性形变模型，最小化弯曲能量，从控制点对应关系中估计全局一致的形变场，从而将估计深度反投影的点与三角化的三维控制点对齐，得到校准的反投影点。TWINGS通过在控制点附近采样这些校准点，为3D高斯溅射(3DGS)提供快速且几何精确的初始化，最终改善重建场景中的结构细节保持和颜色保真度。在DTU、LLFF和Mip-NeRF360数据集上的大量实验表明，TWINGS始终优于现有方法，在稀疏视角场景下提供详细而准确的重建。

🔬 方法详解

问题定义：论文旨在解决在稀疏视角下，如何高质量地重建三维场景的问题。现有的基于3D高斯溅射的方法在稀疏视角下，由于缺乏足够的几何信息，容易出现重建结果模糊、细节丢失以及颜色失真等问题。初始化的质量对最终的重建效果至关重要，而稀疏视角使得初始化更加困难。

核心思路：论文的核心思路是利用薄板样条(Thin Plate Splines, TPS)来对反投影点进行校准，从而为3D高斯溅射提供一个更准确的初始化。TPS能够根据少量的控制点对应关系，估计出一个全局一致且平滑的形变场，从而将不同视角下的点云对齐。通过在校准后的点云附近采样，可以得到更符合场景几何结构的初始高斯分布。

技术框架：TWINGS框架主要包含以下几个阶段：1) 使用现有的深度估计方法，从稀疏的输入图像中估计深度图；2) 通过三角化等方法，获得场景中的3D控制点；3) 利用TPS，根据控制点和反投影点之间的对应关系，估计形变场；4) 使用估计的形变场对反投影点进行校准；5) 在校准后的点云附近采样，初始化3D高斯分布，并进行后续的优化。

关键创新：该方法最重要的创新点在于将薄板样条(TPS)引入到3D高斯溅射的初始化过程中。与传统的初始化方法相比，TWINGS能够利用TPS的全局形变能力，更好地对齐不同视角下的点云，从而提供更准确的几何先验。这种方法特别适用于稀疏视角的情况，因为TPS能够根据少量的控制点信息，推断出整个场景的形变。

关键设计：TWINGS的关键设计包括：1) 控制点的选择策略，需要选择具有代表性的、能够反映场景几何结构的关键点；2) TPS的参数设置，例如平滑项的权重，需要根据具体场景进行调整；3) 采样策略，需要在校准后的点云附近进行合理的采样，以保证初始高斯分布的质量；4) 损失函数的设计，需要综合考虑几何误差和颜色误差，以优化高斯分布的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TWINGS在DTU、LLFF和Mip-NeRF360数据集上均取得了显著的性能提升。例如，在稀疏视角下，TWINGS能够比现有方法更好地重建场景的细节，并获得更高的PSNR和SSIM指标。与基线方法相比，TWINGS在重建质量和颜色保真度方面均有明显优势。

🎯 应用场景

该研究成果可应用于各种需要从稀疏视角进行三维重建的场景，例如：机器人导航、增强现实、虚拟现实、文物数字化保护等。在这些场景中，获取密集的视角信息往往是困难的，因此，该方法具有重要的实际应用价值。未来，该方法可以进一步扩展到动态场景的重建，以及与其他三维重建技术的结合。

📄 摘要（原文）

Novel view synthesis from sparse-view inputs poses a significant challenge in 3D computer vision, particularly for achieving high-quality scene reconstructions with limited viewpoints. We introduce TWINGS, a framework that enhances 3D Gaussian Splatting (3DGS) by directly addressing point sparsity. We employ Thin Plate Splines (TPS), a smooth non-rigid deformation model that minimizes bending energy to estimate a globally coherent warp from control-point correspondences, to align backprojected points from estimated depth with triangulated 3D control points, yielding calibrated backprojected points. By sampling these calibrated points near the control points, TWINGS provides a fast and geometrically accurate initialization for 3DGS, ultimately improving structural detail preservation and color fidelity in reconstructed scenes. Extensive experiments on DTU, LLFF, and Mip-NeRF360 demonstrate that TWINGS consistently outperforms existing methods, delivering detailed and accurate reconstructions under sparse-view scenarios.