S2D: Sparse to Dense Lifting for 3D Reconstruction with Minimal Inputs
作者: Yuzhou Ji, Qijian Tian, He Zhu, Xiaoqi Jiang, Guangzhi Cao, Lizhuang Ma, Yuan Xie, Xin Tan
分类: cs.CV
发布日期: 2026-03-11
💡 一句话要点
S2D：稀疏到稠密提升，以极少输入实现高质量3D重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 稀疏输入 扩散模型 高斯溅射 新视角合成
📋 核心要点
- 现有的点云和3D高斯溅射方法在稀疏输入下存在非真实感渲染和显著性能下降的问题。
- S2D通过一个单步扩散模型提升稀疏点云质量，并设计重建策略保证3D场景一致性。
- 实验表明，S2D在稀疏视图重建和新视角生成方面均优于现有方法，显著降低了3D重建所需的输入量。
📝 摘要（中文）
本文提出了一种名为稀疏到稠密提升(S2D)的新颖流程，旨在弥合点云和3D高斯溅射(3DGS)两种表示形式之间的差距，并以极少的输入实现高质量的3DGS重建。S2D提升是双重的。首先，我们提出了一个高效的单步扩散模型，用于提升稀疏点云，以实现高保真图像伪影修复。同时，为了重建3D一致的场景，我们还设计了一种相应的重建策略，采用随机样本丢弃和加权梯度，以实现从稀疏输入视图到稠密新视角的鲁棒模型拟合。大量实验表明，S2D在生成新视角指导方面实现了最佳一致性，并在不同输入稀疏度下实现了第一梯队的稀疏视图重建质量。通过以现有方法中最少的捕获量重建稳定的场景，S2D为3DGS应用实现了最小的输入要求。
🔬 方法详解
问题定义：现有基于点云和3D高斯溅射的3D重建方法，在输入数据稀疏时，渲染质量会显著下降，出现非真实感渲染伪影，难以满足实际应用需求。因此，如何在极少输入的情况下，实现高质量的3D重建是一个关键问题。
核心思路：S2D的核心思路是将稀疏的输入数据“提升”为稠密且高质量的表示，从而克服稀疏性带来的问题。具体而言，它通过一个扩散模型来修复稀疏点云中的伪影，并利用一种特殊的重建策略来保证生成场景的3D一致性。
技术框架：S2D包含两个主要阶段：1) 稀疏点云提升：使用单步扩散模型将稀疏点云转换为高保真图像，修复伪影。2) 3D场景重建：利用随机样本丢弃和加权梯度策略，从稀疏输入视图重建出稠密的新视角，保证场景的3D一致性。
关键创新：S2D的关键创新在于其双重提升策略：一是利用扩散模型进行图像伪影修复，二是设计了针对稀疏输入的鲁棒重建策略。这种双重提升使得S2D能够在极少输入的情况下，实现高质量的3D重建。与现有方法相比，S2D不需要复杂的预处理或后处理步骤，可以直接从稀疏输入重建出高质量的3D场景。
关键设计：在点云提升阶段，S2D使用了一个高效的单步扩散模型，避免了传统扩散模型的多步迭代过程，提高了效率。在3D场景重建阶段，S2D采用了随机样本丢弃策略，模拟更稀疏的输入，增强模型的鲁棒性。同时，S2D还使用了加权梯度，对不同视角的梯度进行加权，以平衡不同视角的贡献，保证场景的3D一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，S2D在不同输入稀疏度下均能实现最佳的新视角生成一致性，并在稀疏视图重建质量上达到第一梯队水平。相比现有方法，S2D能够以最少的输入捕获量重建稳定的场景，显著降低了3DGS应用的输入需求。具体性能数据（如PSNR、SSIM等）在论文正文中给出。
🎯 应用场景
S2D在机器人导航、虚拟现实、增强现实、三维地图构建等领域具有广泛的应用前景。它可以降低3D重建对输入数据的要求，使得在资源受限的环境下也能进行高质量的3D建模。例如，在移动机器人上，可以使用S2D从少量图像中快速构建环境地图，从而实现自主导航。
📄 摘要（原文）
Explicit 3D representations have already become an essential medium for 3D simulation and understanding. However, the most commonly used point cloud and 3D Gaussian Splatting (3DGS) each suffer from non-photorealistic rendering and significant degradation under sparse inputs. In this paper, we introduce Sparse to Dense lifting (S2D), a novel pipeline that bridges the two representations and achieves high-quality 3DGS reconstruction with minimal inputs. Specifically, the S2D lifting is two-fold. We first present an efficient one-step diffusion model that lifts sparse point cloud for high-fidelity image artifact fixing. Meanwhile, to reconstruct 3D consistent scenes, we also design a corresponding reconstruction strategy with random sample drop and weighted gradient for robust model fitting from sparse input views to dense novel views. Extensive experiments show that S2D achieves the best consistency in generating novel view guidance and first-tier sparse view reconstruction quality under different input sparsity. By reconstructing stable scenes with the least possible captures among existing methods, S2D enables minimal input requirements for 3DGS applications.