MaskGaussian: Adaptive 3D Gaussian Representation from Probabilistic Masks
作者: Yifei Liu, Zhihang Zhong, Yifan Zhan, Sheng Xu, Xiao Sun
分类: cs.CV
发布日期: 2024-12-29 (更新: 2025-06-14)
备注: CVPR 2025; Project page:https://maskgaussian.github.io/
🔗 代码/项目: GITHUB
💡 一句话要点
提出MaskGaussian以解决3D高斯表示的内存消耗问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯表示 实时渲染 概率建模 动态评估 掩码光栅化 内存优化 计算机视觉
📋 核心要点
- 现有的高斯剪枝方法在内存消耗上存在显著问题，导致3D高斯点云渲染的实用性受限。
- 本文提出MaskGaussian，将高斯视为概率实体，利用掩码光栅化技术动态调整高斯的存在概率。
- 实验结果显示，MaskGaussian在减少高斯数量的同时，渲染质量显著提升，平均剪枝率超过60%。
📝 摘要（中文）
3D高斯点云渲染（3DGS）在新视角合成和实时渲染中表现出色，但由于使用数百万个高斯的高内存消耗限制了其实用性。现有的高斯剪枝方法通过手工标准或学习掩码来去除不必要的高斯，但这些方法基于瞬时快照进行确定性去除，导致长期重建性能不佳。为了解决这一问题，本文提出MaskGaussian，将高斯建模为概率实体，根据其存在概率进行动态利用。通过掩码光栅化技术，使未使用但概率存在的高斯能够接收梯度，从而动态评估其对场景的贡献并调整其存在概率。实验表明，该方法在使用更少高斯的情况下实现了更好的渲染质量，平均剪枝超过60%的高斯，仅下降0.02 PSNR。
🔬 方法详解
问题定义：本文旨在解决3D高斯点云渲染中由于高内存消耗而导致的实用性问题。现有方法通过剪枝不必要的高斯来降低内存使用，但这种方法往往基于瞬时快照，导致重建性能不佳。
核心思路：论文提出MaskGaussian，将高斯视为概率实体，而非简单去除。通过动态评估高斯的存在概率，允许未使用的高斯在需要时被激活，从而提高重建质量。
技术框架：整体架构包括高斯建模、掩码光栅化和动态概率调整三个主要模块。高斯建模负责生成初始高斯，掩码光栅化用于处理高斯的动态利用，而动态概率调整则根据场景变化实时更新高斯的存在概率。
关键创新：最重要的创新在于将高斯视为概率实体，允许其在不同时间段内根据场景需求动态调整。这与传统的确定性剪枝方法有本质区别，后者仅在特定时刻去除高斯。
关键设计：在技术细节上，论文设计了特定的损失函数以优化高斯的存在概率，并采用了适应性学习率来提高训练效率。此外，网络结构中引入了掩码机制，使得未使用的高斯能够在后续迭代中被激活。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MaskGaussian在渲染质量上优于传统剪枝方法，平均剪枝率超过60%，且仅导致0.02 PSNR的下降。这一显著提升展示了该方法在高效渲染中的潜力。
🎯 应用场景
该研究在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和游戏开发中。通过提高渲染效率和质量，MaskGaussian能够支持更复杂的场景和实时交互，推动相关技术的发展。
📄 摘要（原文）
While 3D Gaussian Splatting (3DGS) has demonstrated remarkable performance in novel view synthesis and real-time rendering, the high memory consumption due to the use of millions of Gaussians limits its practicality. To mitigate this issue, improvements have been made by pruning unnecessary Gaussians, either through a hand-crafted criterion or by using learned masks. However, these methods deterministically remove Gaussians based on a snapshot of the pruning moment, leading to sub-optimized reconstruction performance from a long-term perspective. To address this issue, we introduce MaskGaussian, which models Gaussians as probabilistic entities rather than permanently removing them, and utilize them according to their probability of existence. To achieve this, we propose a masked-rasterization technique that enables unused yet probabilistically existing Gaussians to receive gradients, allowing for dynamic assessment of their contribution to the evolving scene and adjustment of their probability of existence. Hence, the importance of Gaussians iteratively changes and the pruned Gaussians are selected diversely. Extensive experiments demonstrate the superiority of the proposed method in achieving better rendering quality with fewer Gaussians than previous pruning methods, pruning over 60% of Gaussians on average with only a 0.02 PSNR decline. Our code can be found at: https://github.com/kaikai23/MaskGaussian