Frame-Consistent Feed-Forward 3D Gaussian Splatting from Sparse Unposed Images

📄 arXiv: 2610.23039v1 📥 PDF

作者: Viruthshaan Vinasirajan, Ranga Rodrigo

分类: cs.CV

发布日期: 2026-10-16

💡 一句话要点

提出框架一致的前馈3D高斯点云重建以解决稀疏图像问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 高斯模型 姿态估计 计算机视觉 图像重建 稀疏图像 深度学习

📋 核心要点

  1. 现有的两阶段前馈高斯模型在姿态估计和重建质量上存在妥协，导致合成质量下降。
  2. 论文提出通过修正坐标框架不一致和位移尺度不匹配来解决新视角合成中的质量问题。
  3. 实验结果显示，使用固定模型在稀疏设置下实现了22.47 PSNR，接近COLMAP参考值，且无需额外训练。

📝 摘要（中文）

前馈高斯模型使得新视角合成几乎瞬时完成。现有方法通常采用两阶段设计，分别训练姿态估计和重建模型，但存在质量下降的问题。通过对107个场景的分析，发现主要障碍在于坐标框架不一致和位移尺度不匹配，而非姿态误差。通过修正这些问题，使用固定的姿态估计器和重建骨干网络，能够在稀疏设置下实现高质量重建，且无需额外训练。

🔬 方法详解

问题定义：论文旨在解决稀疏图像下新视角合成中的质量下降问题。现有方法在姿态估计和重建质量上存在妥协，导致合成效果不佳。

核心思路：论文的核心思路是通过分析和修正坐标框架不一致和位移尺度不匹配的问题，来提高合成质量，而不是依赖于姿态估计的精度。

技术框架：整体架构包括一个固定的姿态估计器（VGGT）和一个固定的重建网络（TokenGS）。在稀疏设置下，仅使用四张上下文图像进行重建，流程简单高效。

关键创新：最重要的技术创新在于识别并修正了影响合成质量的两个主要障碍，而非单纯依赖姿态估计的准确性。这一方法显著提高了合成质量。

关键设计：在实验中，使用COLMAP姿态作为参考，采用了控制消融实验来验证不同因素对合成质量的影响，确保了模型在不同场景下的稳定性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用固定的VGGT和TokenGS模型，在稀疏设置下实现了22.47 PSNR，接近COLMAP参考值（0.51 dB差距），且无需额外训练，展示了该方法的高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等领域，能够为新视角合成提供高效、准确的解决方案。未来可能在实时场景重建和图像处理等方面发挥重要作用。

📄 摘要（原文）

Feed-forward Gaussian models have made novel view synthesis almost instantaneous. Feed-forward methods predict Gaussians directly, either in two stages or in a single merged pass. Using two separately trained models is attractive because each can specialize in its own objective: one for accurate pose estimation and the other for high-quality reconstruction, rather than forcing a single jointly trained network to compromise between the two. A natural instantiation pairs a frozen pose estimator, VGGT, with a frozen reconstruction backbone, TokenGS. Prior work, such as VGGT-X and 3R-GS, also adopts a two-stage design, but attributes the resulting quality degradation to noisy pose estimates and introduces learned refinement. We show that this is not the primary source of the problem. Through per-camera analysis across 107 scenes from two datasets, DL3DV and MipNeRF360, using COLMAP poses as the reference, we find that the rotation error after alignment is small (median 1.6 degrees), whereas the translation scale is offset by a large, dataset-consistent factor. Controlled ablations over 140 DL3DV scenes show that the primary obstacles are two integration failures rather than pose error: a coordinate-frame inconsistency and a translation-scale mismatch, both of which can be corrected deterministically. With these fixes, a frozen VGGT driving a frozen TokenGS achieves 22.47 PSNR, within 0.51 dB of the COLMAP reference, with no additional training, when poses are estimated from all scene views. In the sparse setting, where reconstruction uses only four context images under the standard pose-free protocol, the same pipeline matches this all-view quality, yielding a fully COLMAP-free pipeline without any refinement step.