PH-Dropout: Practical Epistemic Uncertainty Quantification for View Synthesis

📄 arXiv: 2410.05468v2 📥 PDF

作者: Chuanhao Sun, Thanos Triantafyllou, Anthos Makris, Maja Drmač, Kai Xu, Luo Mai, Mahesh K. Marina

分类: cs.CV

发布日期: 2024-10-07 (更新: 2024-10-11)

备注: 21 pages, in submision

💡 一句话要点

提出PH-Dropout，实现NeRF和GS实时、精确的认知不确定性量化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 高斯溅射 视图合成 认知不确定性 Dropout

📋 核心要点

  1. 现有NeRF的UQ方法计算开销大或受限于特定条件，GS模型则缺乏系统的认知不确定性量化方法。
  2. 论文提出PH-Dropout，通过事后Dropout直接作用于预训练的NeRF和GS模型，实现实时且精确的认知不确定性估计。
  3. 实验验证了PH-Dropout的有效性，为神经视图合成的鲁棒性和可扩展性提供了重要支撑。

📝 摘要（中文）

神经辐射场(NeRF)和高斯溅射(GS)在视图合成中展现了令人印象深刻的真实场景渲染能力。然而，目前缺乏准确且高效的视图合成认知不确定性量化(UQ)实用方法。现有的NeRF方法要么引入显著的计算开销（例如，训练时间增加10倍或重复训练10次），要么仅限于特定的不确定性条件或模型。值得注意的是，GS模型缺乏任何用于全面认知UQ的系统方法。这种能力对于提高神经视图合成的鲁棒性和可扩展性至关重要，从而能够实现主动模型更新、误差估计以及基于不确定性的可扩展集成建模。在本文中，我们从函数逼近的角度重新审视了基于NeRF和GS的方法，识别了3D表示学习中的关键差异和联系。基于这些见解，我们引入了PH-Dropout（事后Dropout），这是第一个直接在预训练的NeRF和GS模型上运行的实时且精确的认知不确定性估计方法。广泛的评估验证了我们的理论发现，并证明了PH-Dropout的有效性。

🔬 方法详解

问题定义：现有的神经辐射场（NeRF）和高斯溅射（GS）虽然在视图合成方面表现出色，但缺乏有效的认知不确定性量化（UQ）方法。NeRF的现有UQ方法计算成本高昂，或者适用范围有限。而GS模型则完全缺乏系统性的UQ方案。这阻碍了模型在实际应用中的可靠性和可信度，例如在主动学习、误差估计和模型集成等场景中。

核心思路：论文的核心思路是将NeRF和GS视为函数逼近器，并利用Dropout作为一种有效的认知不确定性估计手段。通过在预训练的模型上应用Dropout，可以模拟模型参数的不确定性，从而量化视图合成结果的不确定性。这种方法避免了重新训练模型或引入额外的计算开销。

技术框架：PH-Dropout的技术框架非常简洁。首先，使用标准的NeRF或GS模型进行训练。然后，在推理阶段，对模型的某些层应用Dropout。通过多次Dropout采样，可以得到多个不同的视图合成结果。最后，利用这些结果的方差或熵来估计认知不确定性。整个过程可以实时进行，无需额外的训练。

关键创新：PH-Dropout的关键创新在于其事后（Post hoc）性质。它直接作用于预训练的模型，无需修改模型结构或重新训练。这使得它可以轻松地应用于现有的NeRF和GS模型，而无需付出额外的代价。此外，PH-Dropout还提供了一种统一的UQ框架，可以同时应用于NeRF和GS模型。

关键设计：PH-Dropout的关键设计在于Dropout层的选择和Dropout率的设置。论文通过实验发现，在NeRF的密度预测层和GS的球谐系数层应用Dropout可以获得较好的UQ效果。Dropout率的选择需要根据具体的模型和数据集进行调整。此外，论文还提出了一种自适应Dropout率调整方法，可以进一步提高UQ的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PH-Dropout在多个数据集上进行了评估，结果表明，它能够有效地量化NeRF和GS模型的不确定性。与现有的NeRF UQ方法相比，PH-Dropout在计算效率和准确性方面都具有优势。例如，PH-Dropout可以在实时条件下进行UQ，而无需重新训练模型或引入额外的计算开销。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。通过量化视图合成的不确定性，可以提高系统的鲁棒性和可靠性，例如在光照条件恶劣或遮挡严重的情况下，系统可以识别出不确定性高的区域，并采取相应的措施，如请求更多信息或切换到其他传感器。

📄 摘要（原文）

View synthesis using Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) has demonstrated impressive fidelity in rendering real-world scenarios. However, practical methods for accurate and efficient epistemic Uncertainty Quantification (UQ) in view synthesis are lacking. Existing approaches for NeRF either introduce significant computational overhead (e.g., 10x increase in training time" or10x repeated training") or are limited to specific uncertainty conditions or models. Notably, GS models lack any systematic approach for comprehensive epistemic UQ. This capability is crucial for improving the robustness and scalability of neural view synthesis, enabling active model updates, error estimation, and scalable ensemble modeling based on uncertainty. In this paper, we revisit NeRF and GS-based methods from a function approximation perspective, identifying key differences and connections in 3D representation learning. Building on these insights, we introduce PH-Dropout (Post hoc Dropout), the first real-time and accurate method for epistemic uncertainty estimation that operates directly on pre-trained NeRF and GS models. Extensive evaluations validate our theoretical findings and demonstrate the effectiveness of PH-Dropout.