DensiTok: Making Feed-Forward 3D Gaussian Splatting See More Views Than It Is Given
作者: Minhyeok Lee, Jungho Lee, Minseok Kang, Heeseung Choi, Ig-Jae Kim, Sangyoun Lee
分类: cs.CV
发布日期: 2026-10-06
💡 一句话要点
提出DensiTok以解决稀疏视图重建质量下降问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 稀疏视图 几何标记 潜在空间 计算机视觉
📋 核心要点
- 现有的3D重建方法在输入图像数量减少时，重建质量急剧下降，导致出现空洞、漂浮物和模糊现象。
- DensiTok通过直接稠密化内部几何标记，增强了模型对未观察区域的理解，使得主干网络在处理稀疏视图时表现得更为出色。
- 在三个预训练主干和两个基准测试中，DensiTok consistently improves sparse-view reconstruction and recovers much of the gap to dense-view reconstruction.
📝 摘要（中文）
Feed-forward 3D Gaussian Splatting (3DGS)通过单次前向传递重建场景，但当输入图像数量减少时，重建质量显著下降。现有方法通过合成额外视图来补充未观察区域的证据，但这种方法成本高且不具3D一致性。DensiTok作为一个插件模块，直接稠密化内部几何标记，使得冻结的主干网络表现得像是观察到了更多视图。该方法在低维潜在空间中完成未观察视点的补全，无需图像合成或额外编码器传递。实验表明，DensiTok在稀疏视图重建中显著提升了性能，缩小了与密集视图重建的差距。
🔬 方法详解
问题定义：本论文旨在解决在输入图像数量减少时，Feed-forward 3D Gaussian Splatting (3DGS)重建质量下降的问题。现有方法通过合成额外视图来补充未观察区域的证据，但这种方法成本高且缺乏3D一致性。
核心思路：DensiTok的核心思路是直接稠密化内部几何标记，使得冻结的主干网络能够像观察到了更多视图一样进行重建。通过在低维潜在空间中补全未观察视点，避免了图像合成的复杂性。
技术框架：DensiTok作为一个插件模块，集成于预训练的3DGS模型中。其流程包括：首先压缩内部几何标记到紧凑的潜在空间，然后在单个流匹配步骤中完成未观察视点的潜在补全，最后将其解码回原始重建头所需的标记。
关键创新：DensiTok的主要创新在于其能够在不需要额外图像合成或编码器传递的情况下，直接在潜在空间中完成未观察视点的补全。这一设计使得模型在稀疏视图重建时显著提升了性能。
关键设计：DensiTok的设计中，关键参数包括潜在空间的维度设置和流匹配步骤的条件化设计，确保了补全过程的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
在实验中，DensiTok在三个预训练主干和两个基准测试上均表现出色，显著提升了稀疏视图重建的质量，缩小了与密集视图重建之间的差距，具体性能提升幅度达到XX%（具体数据需根据实验结果填写）。
🎯 应用场景
DensiTok的研究成果在计算机视觉、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提升稀疏视图重建的质量，该技术能够改善场景重建、三维建模和实时渲染等任务的效果，为相关行业带来更高的效率和更好的用户体验。
📄 摘要（原文）
Feed-forward 3D Gaussian Splatting (3DGS) reconstructs a scene in a single forward pass, replacing per-scene optimization with a network trained across many scenes. Its quality, however, degrades sharply as the number of input images drops. The bottleneck is upstream of the reconstruction heads: from a few unposed views, the internal representation they read carries no evidence for unobserved regions, leaving holes, floaters, and blur. The common remedy supplies that evidence as pixels, synthesizing extra views with an image or video generator and re-encoding them, which is costly and not 3D-consistent by construction. We instead densify the evidence itself. We present DensiTok, a plug-in module for pretrained feed-forward 3DGS models that densifies their internal geometry tokens directly, making a frozen backbone behave as though it had observed many more views than it was given. DensiTok compresses those tokens into a compact latent space, completes the latents of the unobserved viewpoints in a single flow-matching step conditioned on camera geometry, and decodes them back into tokens that the original reconstruction heads. The same module design can be integrated into different pretrained predictors while keeping each backbone and its reconstruction heads frozen. Completion in a low-dimensional latent space requires no image synthesis or additional encoder passes. Across three pretrained backbones and two benchmarks, DensiTok consistently improves sparse-view reconstruction and recovers much of the gap to dense-view reconstruction.