CADSplat: Sparse-View 3D Gaussian Splatting Aided by CAD Models for Robust, Photorealistic Digital-Twin Reconstruction

📄 arXiv: 2609.18473v1 📥 PDF

作者: Kristof Overdulve, Lode Jorissen, Nick Michiels

分类: cs.CV, cs.GR

发布日期: 2026-09-16

💡 一句话要点

提出CADSplat框架以解决稀疏视图下数字双胞胎重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 数字双胞胎 3D重建 高斯点 CAD模型 增强现实 物体姿态估计 非刚性变形 计算机视觉

📋 核心要点

  1. 现有方法在稀疏视图下重建数字双胞胎时，常常面临几何不准确和渲染质量低的问题。
  2. CADSplat框架通过结合CAD模型的形状先验，利用稀疏视图进行3D高斯点的正则化，从而提高重建质量。
  3. 实验结果显示，CADSplat在多个数据集上优于现有方法，尤其在视图稀缺和自遮挡严重的情况下表现出色。

📝 摘要（中文）

我们提出了CADSplat框架，该框架通过结合显式CAD形状先验，从稀疏（少于15个视图）且广基线的物体图像中重建出逼真且几何准确的数字双胞胎。使用CAD先验需要找到与图像中物体形状相似的CAD模型，并确定每个相机相对于物体的姿态。我们通过将分割的物体轮廓与从CAD库渲染的轮廓进行匹配来实现这一点，并保留最佳匹配模型的相机到物体的姿态。然后，我们将3D高斯原语锚定到检索到的模型表面，并联合优化3D高斯点参数、相机到物体的配准以及非刚性变形场，以考虑物理物体与CAD模型之间的形状差异。实验表明，CADSplat在两个真实数据集上优于无约束、少样本和网格纹理基线，并且在仅有3个视图时仍能保持良好的性能。

🔬 方法详解

问题定义：本论文旨在解决在稀疏视图条件下进行数字双胞胎重建时的几何准确性和渲染质量不足的问题。现有方法在处理少于15个视图时，往往无法有效捕捉物体的细节和形状特征。

核心思路：CADSplat框架的核心思想是利用CAD模型的形状先验来正则化3D高斯点的重建过程。通过匹配物体的分割轮廓与CAD库中的轮廓，确定相机姿态，从而提高重建的准确性和质量。

技术框架：CADSplat的整体架构包括三个主要模块：1) CAD模型匹配模块，用于找到与物体形状相似的CAD模型；2) 相机姿态估计模块，确定相机相对于物体的姿态；3) 3D高斯点优化模块，联合优化3D高斯点参数、相机配准和非刚性变形场。

关键创新：CADSplat的主要创新在于将CAD模型的形状先验引入到3D高斯点重建中，使得在视图稀缺的情况下仍能保持较高的重建质量。这一方法与传统的无约束重建方法有本质区别。

关键设计：在实现中，CADSplat采用了固定的高斯点集合，并通过平滑的变形场进行移动，以确保高斯点与物体表面的紧密结合。此外，损失函数设计上考虑了重建质量和几何准确性之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CADSplat在两个真实数据集上显著优于无约束、少样本和网格纹理基线，尤其在仅有3个视图的情况下，仍能保持良好的重建质量。大部分渲染质量的提升来自于高斯点的约束设计，而非CAD形状本身。

🎯 应用场景

该研究的潜在应用领域包括无标记增强现实注册、每图像物体姿态估计、物理仿真以及设计到重建的部件标签转移等。CADSplat框架的高效性和准确性使其在工业设计、虚拟现实和机器人等领域具有重要的实际价值和影响。

📄 摘要（原文）

We present CADSplat, a framework that reconstructs photorealistic, geometrically accurate digital twins from sparse ($<15$ views), wide-baseline posed images of an object by regularizing 3D Gaussian Splatting (3DGS) with an explicit CAD shape prior. Using such a prior requires finding a CAD model whose shape resembles the object depicted in the images and determining the pose of each camera relative to the object. We obtain both by matching segmented object silhouettes against silhouettes rendered from a CAD library and keeping the camera-to-object poses of the best-matching model. We then anchor 3D Gaussian primitives to the surface of the retrieved model and jointly optimize the 3DGS parameters, the camera-to-object registration, and a non-rigid deformation field to account for shape differences between the physical object and the CAD model. Across two real-world datasets, CADSplat outperforms unconstrained, few-shot, and mesh-texturing baselines and degrades gracefully to as few as 3 views. Our experiments show that most of the gain in rendering quality comes from how the splats are constrained---a fixed set of splats tied to a surface and moved by a single smooth deformation field---rather than from the CAD shape itself. The CAD model adds shape knowledge where views are scarcest, in the sparsest captures and on strongly self-occluded objects, and it places every camera in the object's own frame. This enables applications beyond novel-view synthesis, such as markerless augmented reality registration, per-image object pose estimation, physical simulations, and the transfer of part labels from the design to the reconstruction.