ATSplat: Compact Feed-forward 3D Gaussian Splatting with Adaptive Token Expansion

📄 arXiv: 2607.20417v1 📥 PDF

作者: Cho In, Jeonghwan Cho, Mijin Yoo, Gim Hee Lee, Seon Joo Kim

分类: cs.CV

发布日期: 2026-07-22

💡 一句话要点

提出ATSplat以解决3D高斯点云稀疏性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 自适应令牌 新视角合成 计算机视觉 渲染优化 深度学习 高效表示

📋 核心要点

  1. 现有的前馈3D高斯点云方法在处理场景复杂性时，往往依赖于图像分辨率和输入视角，导致冗余的高斯集。
  2. ATSplat通过自适应3D令牌的设计，恢复了3D高斯点云优化的自适应分配能力，提升了稀疏性与表示效率。
  3. 在RealEstate10K和DL3DV数据集上的实验表明，ATSplat在渲染质量上达到最先进水平，同时高斯数量减少超过5.7倍。

📝 摘要（中文）

3D高斯点云（3DGS）通过优化自由放置的原语实现高质量的新视角合成，但现有的前馈3DGS方法在场景自适应能力分配上存在不足。ATSplat是一个前馈3DGS框架，通过自适应3D令牌恢复了这种能力。该方法首先将粗略的补丁级深度和相机线索提升为稀疏的3D锚令牌，形成场景的紧凑支架。随后，每个令牌被回归为具有可学习3D偏移的局部高斯，解耦了原语的放置与输入图像网格。自适应令牌扩展模块通过渲染误差图监督预测令牌级不确定性分数，并选择性地通过可学习扩展层扩展高不确定性令牌。实验表明，ATSplat在保持紧凑表示的同时，能够在挑战性区域集中原语，且在多个数据集上实现了最先进的渲染质量。

🔬 方法详解

问题定义：论文旨在解决现有前馈3D高斯点云方法在场景自适应能力分配上的不足，导致冗余的高斯原语和低效的表示。

核心思路：ATSplat通过引入自适应3D令牌，解耦原语的放置与输入图像网格，从而实现更灵活的场景表示。

技术框架：ATSplat的整体架构包括三个主要模块：首先是将补丁级深度和相机线索提升为稀疏3D锚令牌；其次是将每个令牌回归为局部高斯；最后是自适应令牌扩展模块，用于处理高不确定性令牌。

关键创新：ATSplat的核心创新在于自适应令牌扩展模块，该模块通过学习不确定性分数来选择性扩展高不确定性令牌，显著提高了原语在复杂区域的集中度。

关键设计：在设计中，ATSplat使用了可学习的3D偏移来回归局部高斯，并通过渲染误差图来监督不确定性分数的预测，确保了高效的表示与高质量的渲染。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ATSplat在RealEstate10K和DL3DV数据集上的实验结果显示，其渲染质量达到了最先进水平，同时高斯数量减少超过5.7倍。该方法在仅使用311K高斯的情况下，能够以1136 FPS的速度渲染512x960分辨率的新视角，展现了其高效性和实用性。

🎯 应用场景

该研究在计算机视觉和图形学领域具有广泛的应用潜力，特别是在虚拟现实、增强现实和游戏开发中。通过提高3D场景的渲染效率和质量，ATSplat能够为实时渲染和交互式应用提供更好的支持，推动相关技术的发展。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) achieves high-quality novel-view synthesis by optimizing freely placed primitives in 3D and adaptively densifying them in under-reconstructed regions. However, this scene-adaptive capacity allocation is largely lost in existing feed-forward 3DGS methods, which commonly regress Gaussians at input pixels and lift them along camera rays. Such pixel-aligned formulations make the number and placement of primitives depend on image resolution and input viewpoints rather than scene complexity, resulting in dense and often redundant Gaussian sets. We present ATSplat, a feed-forward 3DGS framework that restores the adaptive allocation capability of 3DGS optimization through Adaptive 3D Tokens. ATSplat first lifts coarse patch-level depth and camera cues into sparse 3D anchor tokens, forming a compact scaffold of the scene. Each token is then regressed into local Gaussians with learnable 3D offsets, decoupling primitive placement from input image grids. An Adaptive Token Expansion module predicts a token-level uncertainty score, supervised by rendering error maps, and selectively expands high-uncertainty tokens through learnable expansion layers. This sparse-to-adaptive formulation enables ATSplat to concentrate primitives in challenging regions while maintaining a compact representation. Experiments on two representative datasets, RealEstate10K and DL3DV, show that ATSplat achieves state-of-the-art rendering quality while reducing the number of Gaussians by more than $5.7\times$ compared with dense feed-forward 3DGS methods. From 12 input images at $512 \times 960$ resolution, ATSplat completes reconstruction in less than a second using a single commercial GPU, and renders high-quality novel views at 1136 FPS ($512 \times 960$) with only 311K Gaussians.