InfiniSplat v2: Analyzing and Improving Feed-Forward 3DGS from Any Views

📄 arXiv: 2610.20341v1 📥 PDF

作者: Yongzhen Hu, Hao Yu, Jiawei Wang, Xianming Zeng, Jianyun Xu, Xingliang Liu, Ruizhen Hu, Xiaowei Zhou, Hujun Bao, Sida Peng

分类: cs.CV

发布日期: 2026-10-14

备注: 21 pages. Project page: https://zju3dv.github.io/InfiniSplat2/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出InfiniSplat v2以解决高质量3D场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯属性 新视角渲染 深度学习 计算机视觉

📋 核心要点

  1. 现有的前馈高斯重建方法在大视角变化下难以从预测几何中学习高质量的高斯属性，导致渲染效果不佳。
  2. InfiniSplat v2通过冻结几何分支、对齐真实相机位姿和采用大角度目标视图监督来改进高斯属性学习，从而提升渲染质量。
  3. 在六个数据集上的实验表明，InfiniSplat v2在姿态条件和无姿态设置下均实现了最新的LPIPS和DISTS，显著优于现有基线。

📝 摘要（中文）

前馈高斯重建直接从输入图像构建3D场景以实现新视角渲染，但在大视角变化下从预测几何中学习高质量高斯属性仍然具有挑战性。我们分析了高斯属性学习的局限性，并引入了InfiniSplat v2，通过架构和训练的改进提高渲染质量。该方法通过冻结几何分支解耦几何和属性预测，在训练期间使用真实相机位姿对齐预测的高斯，并采用大角度目标视图监督。在六个数据集上，相同训练模型的前馈输出在姿态条件和无姿态设置下均实现了评估方法中的最新平均LPIPS和DISTS。在姿态条件下，平均LPIPS和DISTS分别比最强基线降低了25.8%和32.9%。我们进一步发现，仅使用图像重建监督学习的透明度抑制了几何不一致点。

🔬 方法详解

问题定义：论文旨在解决在大视角变化下，前馈高斯重建方法难以从预测几何中学习高质量高斯属性的问题。现有方法在渲染质量上存在明显不足，尤其是在复杂场景中。

核心思路：InfiniSplat v2的核心思路是通过冻结几何分支来解耦几何和属性预测，并在训练过程中使用真实相机位姿对齐预测的高斯，以提高渲染的准确性和质量。

技术框架：该方法的整体架构包括一个冻结的几何分支和一个用于属性预测的分支，训练过程中通过大角度目标视图监督来优化模型。主要模块包括几何预测、属性预测和视图对齐。

关键创新：最重要的技术创新在于通过冻结几何分支来解耦几何和属性的学习，这与现有方法的端到端学习方式形成了本质区别，从而提高了渲染质量。

关键设计：在参数设置上，采用了大角度目标视图监督，并设计了特定的损失函数以抑制几何不一致点，确保学习到的透明度与图像重建监督相结合，提升了整体效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InfiniSplat v2在姿态条件下的平均LPIPS和DISTS分别降低了25.8%和32.9%，在多个数据集上均实现了最新的性能，显著优于最强基线，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等领域，能够为3D场景重建和新视角渲染提供更高质量的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Feed-forward Gaussian reconstruction builds 3D scenes directly from input images for novel view rendering, but learning Gaussian attributes from predicted geometry for high-quality rendering under large viewpoint changes remains challenging. We analyze limitations in Gaussian attribute learning and introduce InfiniSplat v2, which improves rendering quality through architectural and training changes. Our method decouples geometry and attribute prediction with a frozen geometry branch, aligns predicted Gaussians using ground-truth camera poses during training, and adopts large-angle target view supervision. Across six datasets, the feed-forward outputs of the same trained model achieve state-of-the-art mean LPIPS and DISTS among the evaluated methods in both pose-conditioned and pose-free settings. In the pose-conditioned setting, mean LPIPS and DISTS decrease by 25.8% and 32.9%, respectively, compared with the strongest evaluated baselines. We further find that opacity learned with only image reconstruction supervision suppresses geometrically inconsistent points. Project page: https://zju3dv.github.io/InfiniSplat2/