GaussianZoom: Progressive Zoom-in Generative 3D Gaussian Splatting with Geometric and Semantic Guidance

📄 arXiv: 2605.18252v1 📥 PDF

作者: Jiale Shi, Jiarui Hu, Zesong Yang, Kaixuan Luan, Hujun Bao, Zhaopeng Cui

分类: cs.CV

发布日期: 2026-05-18

备注: 10 pages, 7 figures

💡 一句话要点

提出GaussianZoom以解决低分辨率输入下的高保真3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高保真渲染 超分辨率 几何建模 语义推理 动态细节层次 多视图一致性

📋 核心要点

  1. 现有方法在处理低分辨率输入时，难以实现高保真度的3D重建，尤其是在极限放大情况下。
  2. GaussianZoom通过结合几何一致建模和多尺度语义推理，提出了一种渐进式的放大框架，提升了渲染质量。
  3. 实验结果显示，GaussianZoom在Mip-NeRF360和Tanks&Temples数据集上实现了显著的感知质量和多视图一致性，表现出色。

📝 摘要（中文）

我们介绍了GaussianZoom，这是一种生成性放大3D重建系统，采用迭代渐进框架，结合几何一致的场景建模和多尺度语义推理，能够从低分辨率输入实现高保真的极限放大渲染。为此，我们开发了一种新颖的多视图一致超分辨率模块，采用基于深度的特征扭曲和VLM驱动的细节合成，确保准确的多视图对应，同时丰富超出观察分辨率的细节外观。为了支持大幅度放大，我们进一步引入了一种新的可扩展连续细节层次结构，动态调节高斯可见性，实现平滑、无别名的跨尺度渲染。在Mip-NeRF360和Tanks&Temples上的实验表明，GaussianZoom在感知质量、多视图一致性和极端放大下的鲁棒性方面表现优越，为生成性放大3D场景重建建立了强有力的基线。

🔬 方法详解

问题定义：本论文旨在解决从低分辨率输入生成高保真3D重建的问题。现有方法在极限放大时往往无法保持细节和一致性，导致渲染质量下降。

核心思路：GaussianZoom的核心思路是通过迭代渐进框架，结合几何一致性和多尺度语义推理，逐步提升渲染质量，确保在大幅度放大时仍能保持细节和一致性。

技术框架：该方法的整体架构包括多视图一致超分辨率模块、基于深度的特征扭曲和VLM驱动的细节合成等主要模块，形成一个动态调节的细节层次结构，以实现平滑的跨尺度渲染。

关键创新：GaussianZoom的关键创新在于引入了可扩展的连续细节层次结构和深度特征扭曲技术，使得高斯可见性动态调节，从而在极限放大时实现无别名的渲染效果。

关键设计：在设计中，采用了基于深度的特征扭曲方法来增强细节，同时结合VLM进行细节合成，确保多视图之间的对应关系准确，提升了整体渲染质量。具体的损失函数和网络结构设计也经过精心调整，以优化超分辨率效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GaussianZoom在Mip-NeRF360和Tanks&Temples数据集上显著提升了感知质量和多视图一致性，尤其在极限放大情况下，表现出色，建立了强有力的基线，展示了其在生成性3D重建中的潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、医学成像等，能够在低分辨率输入的情况下实现高质量的3D重建，提升用户体验和视觉效果。未来，该技术有望推动更多领域的3D重建技术进步，尤其是在需要高保真度和细节的场景中。

📄 摘要（原文）

We introduce GaussianZoom, a generative zoom-in 3D reconstruction system with an iterative progressive framework that combines geometry-consistent scene modeling and multi-scale semantic reasoning to enable high-fidelity extreme zoom-in rendering from low-resolution inputs. To achieve this, we develop a novel multi-view consistent super-resolution module with depth-based feature warping and VLM-driven detail synthesis, ensuring accurate multi-view correspondence while enriching fine-scale appearance beyond the observed resolution. To support zooming across large magnification ranges, we further introduce a new expandable continuous Level-of-Detail hierarchy that dynamically modulates Gaussian visibility for smooth, alias-free cross-scale rendering. Experiments on Mip-NeRF360 and Tanks\&Temples demonstrate that GaussianZoom achieves superior perceptual quality, multi-view consistency, and robustness under extreme magnification, establishing a strong baseline for generative zoom-in 3D scene reconstruction.