VoxelTTO: Voxel-Aligned Feed-Forward 3D Gaussian Splatting with Test-Time Optimization

📄 arXiv: 2609.21498v1 📥 PDF

作者: Yibin Zhao, Yihan Pan, Yangwen Li, Jun Nan, Jianjun Yi

分类: cs.CV

发布日期: 2026-09-18

💡 一句话要点

提出VoxelTTO以解决3D高斯点云重建中的对齐问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 高斯点云 新视图合成 相机姿态估计 测试时优化 体素表示 计算机视觉

📋 核心要点

  1. 现有的3D高斯点云重建方法在像素对齐方面存在不足，导致重叠和伪影问题，影响新视图合成的质量。
  2. VoxelTTO通过聚合图像特征到全局体素表示，打破了像素与高斯的对应关系，并引入测试时优化以适应相机姿态。
  3. 在Replica、Tanks and Temples和DTU数据集上的实验结果显示，VoxelTTO在RGB-D NVS和相机姿态估计上显著优于现有方法。

📝 摘要（中文）

近年来的前馈3D高斯点云（3DGS）方法通常回归像素对齐的高斯原语，导致过度重叠和伪影，而预测相机姿态的不准确性可能导致新视图合成（NVS）中的错位。我们提出了VoxelTTO，一个前馈框架，用于从任意数量的图像和可选的相机参数中重建几何上准确的3DGS场景。VoxelTTO将密集的图像特征聚合到全局体素表示中，并从体素特征解码高斯，打破像素与高斯之间的对应关系。为了利用已知的相机参数，同时保持预训练视觉基础模型（VFM）参数不变，我们引入了测试时优化（TTO），使用姿态监督来适应轻量级LoRA模块。我们进一步在训练和推理中用随机固体体积渲染替代了传统的3DGS光栅化，提高了几何保真度。实验表明，在Replica、Tanks and Temples和DTU数据集上，相较于先前的方法，RGB-D NVS和相机姿态估计得到了改善。

🔬 方法详解

问题定义：本论文旨在解决现有3D高斯点云重建方法中由于像素对齐导致的重叠和伪影问题，以及相机姿态不准确引起的新视图合成错位现象。

核心思路：提出VoxelTTO框架，通过聚合图像特征到全局体素表示，解耦像素与高斯的对应关系，并利用测试时优化技术适应相机姿态，从而提高重建的几何准确性。

技术框架：VoxelTTO的整体架构包括图像特征聚合模块、体素表示解码模块和测试时优化模块。首先，聚合来自多张图像的特征，然后通过体素表示解码出高斯原语，最后通过测试时优化调整模型参数以适应相机姿态。

关键创新：最重要的创新在于引入了测试时优化（TTO）技术，使得在保持预训练模型参数不变的情况下，能够根据相机姿态进行轻量级的适应性调整，显著提升了重建效果。

关键设计：在训练过程中，采用随机固体体积渲染替代传统的3DGS光栅化，提升了几何保真度。同时，训练仅更新体素对齐的高斯重建模块，整个过程需要约80个GPU小时。实验中使用的损失函数和网络结构经过精心设计，以确保模型的有效性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VoxelTTO在Replica、Tanks and Temples和DTU数据集上相较于传统方法，RGB-D新视图合成的质量显著提升，且相机姿态估计的准确性也有明显改善，具体性能数据未详细列出。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在虚拟现实、增强现实和计算机视觉领域。通过提高3D场景重建的准确性，VoxelTTO可以为自动驾驶、机器人导航和文化遗产保护等领域提供更为精确的三维模型，推动相关技术的发展和应用。

📄 摘要（原文）

Recent feed-forward 3D Gaussian Splatting (3DGS) methods typically regress pixel-aligned Gaussian primitives, often causing excessive overlap and artifacts, while inaccuracies in predicted camera poses can lead to misalignment in novel-view synthesis (NVS). We present VoxelTTO, a feed-forward framework for reconstructing geometrically accurate 3DGS scenes from an arbitrary number of images and optional camera parameters. VoxelTTO aggregates dense image features into a global voxel representation and decodes Gaussians from voxel features, breaking the pixel-to-Gaussian correspondence. To exploit known camera parameters while keeping the pretrained visual foundation model (VFM) parameters frozen, we introduce test-time optimization (TTO) that adapts lightweight LoRA modules using pose supervision. We further replace vanilla 3DGS rasterization with stochastic solid volume rendering during training and inference, improving geometric fidelity. Training updates only the voxel-aligned Gaussian reconstruction modules, requiring 80 GPU hours. Experiments on Replica, Tanks and Temples, and DTU demonstrate improved RGB-D NVS and camera-pose estimation relative to prior methods.