DeltaSplat: Iterative Gaussian Refinement for Pose-Free Feed-Forward 3D Gaussian Splatting

📄 arXiv: 2610.09853v1 📥 PDF

作者: Chanung Park, Seunghyeon Song, Joo Chan Lee, Eunbyung Park, Jong Hwan Ko

分类: cs.CV

发布日期: 2026-10-07

备注: 11 pages, 6 figures

💡 一句话要点

提出DeltaSplat以解决无姿态3D高斯点云重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 计算机视觉 深度学习 无姿态重建 图像处理 卷积神经网络

📋 核心要点

  1. 现有的无姿态3D高斯点云重建方法在相机估计误差传播时，导致几何和光度的不准确，影响重建质量。
  2. 本文提出DeltaSplat模块，通过迭代渲染和残差预测来精细化高斯，结合Plücker光线和深度信息作为几何先验。
  3. 在DL3DV数据集上，DeltaSplat实现了26.64 dB的PSNR，相较于主干网络提升1.75 dB，超越了使用真实相机的基线。

📝 摘要（中文）

无姿态前馈3D高斯点云重建（3DGS）能够通过稀疏的无姿态图像在单次网络传递中重建场景，省去了相机校准和每场景优化的需求。然而，相机估计误差会传播到预测的高斯中，导致几何和光度的不准确。为了解决这些问题，本文提出了DeltaSplat，一个轻量级的高斯精细化模块。该模块通过迭代渲染当前高斯并从残差中预测每个高斯的更新，利用每个像素的Plücker光线和渲染深度作为软几何先验。实验结果表明，DeltaSplat在DL3DV数据集上达到了26.64 dB的PSNR，相较于现有的主干网络提升了1.75 dB，并在不同视角和相机设置下均表现出一致的性能提升。

🔬 方法详解

问题定义：本文旨在解决无姿态3D高斯点云重建中的相机估计误差传播问题，导致的几何和光度不准确。现有方法在单次网络传递中无法有效校正这些误差。

核心思路：DeltaSplat模块通过迭代渲染当前高斯并从残差中预测每个高斯的更新，利用每个像素的Plücker光线和渲染深度作为软几何先验，以提高重建精度。

技术框架：整体架构包括输入的稀疏图像、DeltaSplat模块和输出的高斯更新。DeltaSplat模块由双分支卷积混合器和每个属性头组成，分别用于编码输入和解码特征。

关键创新：DeltaSplat的主要创新在于其轻量级设计和迭代更新机制，能够在保持前馈推理的同时，显著提高重建精度，与传统方法相比，减少了对复杂优化的依赖。

关键设计：该模块仅增加约2.2%的参数，保持前馈推理的高效性。采用的损失函数和网络结构经过精心设计，以确保高斯更新的准确性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DL3DV数据集上，DeltaSplat达到了26.64 dB的PSNR，相比于现有的主干网络提升了1.75 dB，且在6-24视角和所有相机设置下均表现出一致的性能提升，显示出其优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、虚拟现实和增强现实等场景，能够在无需复杂相机校准的情况下，实现高质量的3D重建。这将推动相关技术在自动驾驶、机器人导航和场景理解等领域的应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Pose-free feed-forward 3D Gaussian Splatting (3DGS) reconstructs a scene from sparse, unposed images in a single network pass, removing the need for camera calibration and per-scene optimization. However, camera estimation errors propagate into the predicted Gaussians and compound the geometric and photometric inaccuracies of single-pass prediction. To correct these errors, we introduce DeltaSplat, a lightweight Gaussian refinement module for pose-free feed-forward 3DGS. It iteratively renders the current Gaussians at the input context views and predicts per-Gaussian updates from the resulting residuals. A 2D residual alone, however, underdetermines the 3D correction. DeltaSplat therefore conditions each update on per-pixel Plücker rays and rendered depth as a soft geometric prior. A dual-branch convolutional mixer efficiently encodes these inputs, and per-attribute heads decode the fused features into position, opacity, and color updates. The module adds only ~2.2% parameters to the backbone and remains fully feed-forward at inference. On DL3DV, DeltaSplat reaches 26.64 dB PSNR in the pose-free setting, improving its state-of-the-art backbone by 1.75 dB and surpassing even baselines supplied with ground-truth cameras; consistent gains hold across 6-24 views and all camera regimes.