UC-NeRF: Uncertainty-aware Conditional Neural Radiance Fields from Endoscopic Sparse Views
作者: Jiaxin Guo, Jiangliu Wang, Ruofeng Wei, Di Kang, Qi Dou, Yun-hui Liu
分类: cs.CV, cs.AI
发布日期: 2024-09-04 (更新: 2024-11-09)
备注: Accepted to IEEE Transactions on Medical Imaging
🔗 代码/项目: GITHUB
💡 一句话要点
UC-NeRF：针对内窥镜稀疏视角，提出不确定性感知条件神经辐射场方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 新视角合成 内窥镜手术 不确定性估计 多视角立体 几何蒸馏 光度一致性
📋 核心要点
- 内窥镜手术场景中视角稀疏和光度不一致性给NeRF直接应用带来了挑战，导致重建效果不佳。
- UC-NeRF通过引入多视角不确定性估计来调节神经辐射场，自适应建模光度不一致性，提升渲染质量。
- 实验表明，UC-NeRF在SCARED和Hamlyn数据集上超越了现有SOTA方法，在外观和几何渲染上均有提升。
📝 摘要（中文）
本文提出了一种不确定性感知条件神经辐射场（UC-NeRF），用于解决内窥镜稀疏视角下的新视角合成问题。由于手术场景中视角稀疏和光度不一致性显著，直接应用神经辐射场（NeRF）效果不佳。UC-NeRF的核心思想是结合多视角不确定性估计来调节神经辐射场，从而自适应地建模严重的光度不一致性。具体而言，UC-NeRF首先构建一个多视角立体网络形式的一致性学习器，建立稀疏视角下的几何对应关系，并生成不确定性估计和特征先验。在神经渲染中，设计了一个基准自适应NeRF网络，利用不确定性估计显式地处理光度不一致性。此外，采用不确定性引导的几何蒸馏来增强几何学习。在SCARED和Hamlyn数据集上的实验表明，UC-NeRF在渲染外观和几何方面均优于当前最先进的方法。
🔬 方法详解
问题定义：论文旨在解决内窥镜手术场景中，由于视角极端稀疏和光照条件剧烈变化导致传统NeRF方法在新视角合成任务中表现不佳的问题。现有方法难以有效处理这种稀疏性和光度不一致性，导致重建的几何形状不准确，渲染的图像质量差。
核心思路：论文的核心思路是利用多视角立体（MVS）网络估计的不确定性信息来调节神经辐射场。通过将不确定性作为条件输入，NeRF可以自适应地学习如何处理光度不一致性，并更好地推断几何形状。这种方法显式地建模了数据中的不确定性，从而提高了NeRF在具有挑战性的手术场景中的鲁棒性和准确性。
技术框架：UC-NeRF的整体框架包含以下几个主要模块：1) 一致性学习器：采用多视角立体网络，从稀疏视角中建立几何对应关系，并生成不确定性估计和特征先验。2) 基准自适应NeRF网络：利用一致性学习器输出的不确定性估计，显式地处理光度不一致性。3) 不确定性引导的几何蒸馏：利用不确定性信息，指导几何形状的学习，提高重建精度。整个流程首先通过MVS网络提取特征和不确定性，然后将这些信息融入到NeRF的训练过程中，最后通过几何蒸馏进一步优化几何形状。
关键创新：UC-NeRF的关键创新在于将多视角不确定性估计融入到神经辐射场中。与传统的NeRF方法不同，UC-NeRF能够显式地建模和处理光度不一致性，从而在稀疏视角下实现更准确的几何重建和更高质量的图像渲染。此外，不确定性引导的几何蒸馏也进一步提升了几何形状的准确性。
关键设计：在一致性学习器中，使用了现有的MVS网络结构，并对其输出进行修改，使其能够输出不确定性估计。在基准自适应NeRF网络中，将不确定性估计作为额外的输入特征，用于调节NeRF的密度和颜色预测。在不确定性引导的几何蒸馏中，使用不确定性作为权重，指导学生网络学习教师网络的几何形状。具体的损失函数包括渲染损失、深度损失和几何蒸馏损失等。
🖼️ 关键图片
📊 实验亮点
UC-NeRF在SCARED和Hamlyn数据集上进行了实验，结果表明其在渲染外观和几何方面均优于当前最先进的方法。具体而言，UC-NeRF在PSNR、SSIM和LPIPS等指标上均取得了显著提升，证明了其在处理稀疏视角和光度不一致性方面的有效性。实验结果还表明，不确定性引导的几何蒸馏能够进一步提高几何重建的准确性。
🎯 应用场景
UC-NeRF在微创手术可视化领域具有广阔的应用前景。它可以用于术中导航，帮助医生更好地理解内部解剖结构，提高手术精度和安全性。此外，UC-NeRF还可以用于手术规划和培训，为医生提供更逼真的手术模拟环境。该研究的未来影响在于推动了NeRF技术在医疗领域的应用，并为其他具有挑战性的视觉重建任务提供了新的思路。
📄 摘要（原文）
Visualizing surgical scenes is crucial for revealing internal anatomical structures during minimally invasive procedures. Novel View Synthesis is a vital technique that offers geometry and appearance reconstruction, enhancing understanding, planning, and decision-making in surgical scenes. Despite the impressive achievements of Neural Radiance Field (NeRF), its direct application to surgical scenes produces unsatisfying results due to two challenges: endoscopic sparse views and significant photometric inconsistencies. In this paper, we propose uncertainty-aware conditional NeRF for novel view synthesis to tackle the severe shape-radiance ambiguity from sparse surgical views. The core of UC-NeRF is to incorporate the multi-view uncertainty estimation to condition the neural radiance field for modeling the severe photometric inconsistencies adaptively. Specifically, our UC-NeRF first builds a consistency learner in the form of multi-view stereo network, to establish the geometric correspondence from sparse views and generate uncertainty estimation and feature priors. In neural rendering, we design a base-adaptive NeRF network to exploit the uncertainty estimation for explicitly handling the photometric inconsistencies. Furthermore, an uncertainty-guided geometry distillation is employed to enhance geometry learning. Experiments on the SCARED and Hamlyn datasets demonstrate our superior performance in rendering appearance and geometry, consistently outperforming the current state-of-the-art approaches. Our code will be released at https://github.com/wrld/UC-NeRF.