CAdam: Context-Adaptive Moment Estimation for 3D Gaussian Densification in Generative Distillation
作者: SeungJeh Chung, Geonho Park, Misong Kim, HyeongYeop Kang
分类: cs.LG, cs.AI, cs.GR
发布日期: 2026-05-20
备注: Accepted to SIGGRAPH 2026 Conference Papers. 12 pages, 8 figures
💡 一句话要点
CAdam：上下文自适应矩估计，用于生成蒸馏中3D高斯快速优化
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 生成蒸馏 自适应稠密化 矩估计 信号感知
📋 核心要点
- 现有3DGS生成蒸馏方法在稠密化过程中易受生成指导的随机噪声干扰，导致冗余图元和效率低下。
- CAdam通过梯度一阶矩来区分几何信号和噪声，利用干涉原理实现信号累积和噪声抵消，从而进行更精确的稠密化。
- 实验表明，CAdam在保持感知质量的同时，显著减少了高斯数量（85%-97%），提升了内存效率。
📝 摘要（中文）
自适应稠密化是3D高斯溅射（3DGS）的关键。然而，当应用于基于优化的生成蒸馏范式时，这种原生重建机制暴露出根本局限性，导致低效的表示，其中充斥着冗余的图元。我们将这种失败诊断为源于生成指导随机性的稠密化困境：标准的大小累积不加区分地聚合瞬态噪声和几何信号，难以在过度稠密化和欠拟合之间取得平衡。为了解决这个问题，我们引入了上下文自适应矩估计（CAdam），这是一个新颖的框架，它将稠密化重新解释为一个基于统计的信号验证问题。CAdam利用梯度的一阶矩来利用干涉原理，其中随机波动通过相消干涉抵消，而一致的几何漂移通过相长干涉累积，从而有效地将底层信号与生成噪声区分开来。此外，CAdam还通过基于分位数的上下文感知和内在信噪比（SNR）门控机制来增强，从而确保在优化阶段的鲁棒适应，并实现稠密化的软终止。在不同的目标（SDS、ISM、VFDS）和强大的生成3DGS骨干网络上进行的大量实验表明，CAdam相对于标准稠密化减少了85%-97%的高斯数量，同时保持了总体上相当的感知质量。这些结果突出了信号感知密度控制是提高基于优化的生成蒸馏中内存效率的一种实用方法。
🔬 方法详解
问题定义：论文旨在解决基于优化的生成蒸馏框架下，3D高斯溅射（3DGS）的自适应稠密化过程中出现的效率问题。现有的稠密化方法容易受到生成指导的随机噪声影响，导致过度稠密化，产生大量冗余的高斯图元，增加了计算和存储负担。这种现象被称为“稠密化困境”，核心痛点在于无法有效区分几何信号和噪声。
核心思路：论文的核心思路是将稠密化过程重新定义为一个基于统计的信号验证问题。通过分析梯度的统计特性，特别是梯度的一阶矩，来区分有意义的几何信号和随机噪声。利用干涉原理，即一致的几何信号通过相长干涉累积，而随机噪声通过相消干涉抵消，从而实现更精确和高效的稠密化。
技术框架：CAdam框架主要包含以下几个关键模块：1) 梯度一阶矩估计：计算梯度的移动平均，用于捕捉一致的几何漂移。2) 上下文感知：基于分位数的上下文信息，动态调整稠密化策略。3) 信噪比（SNR）门控：根据信号强度自适应地控制稠密化的激活和终止。整体流程是，在优化过程中，CAdam持续监控梯度的一阶矩，并根据上下文信息和SNR动态调整稠密化策略，最终实现高效的3D高斯表示。
关键创新：CAdam最重要的技术创新在于其信号感知的稠密化方法。与传统的基于幅度累积的稠密化方法不同，CAdam利用梯度的一阶矩来区分几何信号和噪声，从而避免了对噪声的过度反应。此外，上下文感知和SNR门控机制进一步增强了CAdam的鲁棒性和适应性。
关键设计：CAdam的关键设计包括：1) 梯度一阶矩的计算方式，采用了指数移动平均，平滑噪声并保留信号。2) 上下文感知的实现，使用了基于分位数的统计方法，动态调整稠密化阈值。3) SNR门控机制，通过计算信号强度与噪声水平的比值，自适应地控制稠密化的激活和终止。这些设计共同作用，使得CAdam能够在各种优化场景下实现高效且鲁棒的稠密化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CAdam在多种生成蒸馏任务（SDS、ISM、VFDS）中，相对于标准稠密化方法，能够减少85%-97%的高斯数量，同时保持了相当的感知质量。这意味着CAdam能够在显著降低内存消耗的同时，保证生成模型的性能。这些结果验证了CAdam在提高生成式3D内容创建效率方面的有效性。
🎯 应用场景
CAdam在生成式3D内容创建领域具有广泛的应用前景，例如文本到3D模型的生成、图像到3D模型的重建等。通过提高内存效率和减少冗余图元，CAdam可以支持更大规模、更高质量的3D场景生成，并降低计算成本。此外，CAdam的信号感知稠密化方法也可以应用于其他需要精确控制密度的场景，例如神经渲染、体积建模等。
📄 摘要（原文）
Adaptive densification is the engine of 3D Gaussian Splatting (3DGS). However, when transposed to the optimization-based Generative Distillation paradigm, this reconstruction-native mechanism reveals fundamental limitations, resulting in inefficient representations cluttered with redundant primitives. We diagnose this failure as a Densification Dilemma stemming from the stochastic nature of generative guidance: the standard magnitude-based accumulation indiscriminately aggregates transient noise alongside geometric signals, making it difficult to strike a balance between over-densification and under-fitting. To resolve this, we introduce Context-Adaptive Moment Estimation (CAdam), a novel framework that reinterprets densification as a statistically grounded signal verification problem. CAdam leverages the first moment of gradients to exploit the interference principle, where stochastic fluctuations cancel out via destructive interference while consistent geometric drifts accumulate via constructive interference, effectively disentangling the underlying signal from the generative noise floor. This is further augmented by a quantile-based context awareness and an intrinsic Signal-to-Noise Ratio (SNR) gating mechanism, which ensure robust adaptation across optimization stages and enable the soft termination of densification. Extensive experiments across diverse objectives (SDS, ISM, VFDS) and strong generative 3DGS backbones show that CAdam reduces Gaussian count by 85%-97% relative to standard densification while preserving overall comparable perceptual quality. These results highlight signal-aware density control as a practical way to improve memory efficiency in optimization-based generative distillation.