MU-GeNeRF: Multi-view Uncertainty-guided Generalizable Neural Radiance Fields for Distractor-aware Scene

📄 arXiv: 2604.17965v1 📥 PDF

作者: Wenjie Mu, Zhan Li, Chuanzhou Su, Xuanyi Shen, Ziniu Liu, Fan Lu, Yujian Mo, Junqiao Zhao, Tiantian Feng, Chen Ye, Guang Chen

分类: cs.CV

发布日期: 2026-04-20

备注: Accepted by CVPR 2026

💡 一句话要点

提出MU-GeNeRF，利用多视角不确定性指导的通用神经辐射场，解决场景中干扰物问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 通用神经辐射场 干扰物感知 多视角学习 不确定性估计

📋 核心要点

  1. 现有GeNeRF在真实场景中受瞬态干扰物影响，跨视角结构一致性被破坏，导致重建质量下降。
  2. 提出MU-GeNeRF，通过分解为源视角和目标视角不确定性，自适应调节监督，实现鲁棒建模。
  3. 实验结果表明，MU-GeNeRF超越现有GeNeRF，性能可与特定场景的无干扰物NeRF媲美。

📝 摘要（中文）

通用神经辐射场(GeNeRFs)能够从稀疏视角重建高质量的场景，并泛化到未见过的场景。然而，在现实环境中，瞬态干扰物破坏了跨视角的结构一致性，从而破坏监督并降低重建质量。现有的无干扰物NeRF方法依赖于每个场景的优化，并从每个视角的重建误差中估计不确定性，这对于GeNeRFs来说是不可靠的，并且经常将不一致的静态结构误判为干扰物。为此，我们提出了MU-GeNeRF，一个多视角不确定性指导的、具有干扰物感知能力的GeNeRF框架，旨在缓解GeNeRF在存在瞬态干扰物时鲁棒建模的挑战。我们将干扰物感知分解为两个互补的不确定性分量：源视角不确定性，它捕获由视角变化或动态因素引起的源视角之间的结构差异；以及目标视角不确定性，它检测由瞬态干扰物引起的目标图像中的观测异常。这两种不确定性解决了不同的误差来源，并通过异方差重建损失相结合，该损失指导模型自适应地调节监督，从而实现更鲁棒的干扰物抑制和几何建模。大量的实验表明，我们的方法不仅超越了现有的GeNeRFs，而且达到了与特定场景的无干扰物NeRFs相当的性能。

🔬 方法详解

问题定义：论文旨在解决通用神经辐射场（GeNeRFs）在真实场景中，由于瞬态干扰物（如移动的车辆、行人等）的存在，导致跨视角结构一致性被破坏，进而影响场景重建质量的问题。现有的无干扰物NeRF方法通常依赖于对每个场景进行单独优化，并且通过每个视角的重建误差来估计不确定性，这对于需要泛化能力的GeNeRFs来说并不适用，并且容易将静态结构误判为干扰物。

核心思路：论文的核心思路是将干扰物感知问题分解为两个互补的不确定性分量：源视角不确定性和目标视角不确定性。源视角不确定性用于捕获由于视角变化或动态因素引起的源视角之间的结构差异；目标视角不确定性用于检测由瞬态干扰物引起的目标图像中的观测异常。通过结合这两种不确定性，模型可以更准确地识别和抑制干扰物的影响。

技术框架：MU-GeNeRF框架主要包含以下几个模块：1) 特征提取模块，用于从输入图像中提取特征；2) 体积渲染模块，用于基于神经辐射场进行场景渲染；3) 源视角不确定性估计模块，用于估计源视角之间的结构差异；4) 目标视角不确定性估计模块，用于检测目标图像中的观测异常；5) 异方差重建损失模块，用于结合两种不确定性，自适应地调节监督信号。整体流程是，首先提取图像特征，然后进行体积渲染，同时估计源视角和目标视角的不确定性，最后通过异方差重建损失优化模型。

关键创新：论文的关键创新在于提出了多视角不确定性指导的干扰物感知方法。与现有方法不同，MU-GeNeRF不是简单地依赖于重建误差来估计不确定性，而是将不确定性分解为源视角和目标视角两个分量，从而更准确地捕捉不同类型的误差来源。此外，通过异方差重建损失，模型可以自适应地调节监督信号，从而更有效地抑制干扰物的影响。

关键设计：论文的关键设计包括：1) 源视角不确定性和目标视角不确定性的估计方法，具体实现细节未知；2) 异方差重建损失的设计，如何将两种不确定性有效地结合起来，并自适应地调节监督信号，具体实现细节未知；3) 网络结构的选取和参数设置，例如特征提取模块和体积渲染模块的具体实现方式，以及各个模块的参数设置，具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了MU-GeNeRF的有效性。实验结果表明，MU-GeNeRF不仅超越了现有的GeNeRF方法，而且达到了与特定场景的无干扰物NeRF方法相当的性能。具体的性能数据和提升幅度未知，但可以确定的是，MU-GeNeRF在存在干扰物的情况下，能够更准确地重建场景的三维模型。

🎯 应用场景

MU-GeNeRF在自动驾驶、机器人导航、增强现实等领域具有广泛的应用前景。例如，在自动驾驶中，可以利用该方法重建周围环境的三维模型，并有效去除移动的车辆、行人等干扰物，从而提高自动驾驶系统的安全性和可靠性。在机器人导航中，可以利用该方法构建环境地图，并有效去除动态障碍物，从而提高机器人的导航效率和鲁棒性。在增强现实中，可以利用该方法将虚拟物体与真实场景进行融合，并有效去除场景中的干扰物，从而提高增强现实体验的真实感和沉浸感。

📄 摘要（原文）

Generalizable Neural Radiance Fields (GeNeRFs) enable high-quality scene reconstruction from sparse views and can generalize to unseen scenes. However, in real-world settings, transient distractors break cross-view structural consistency, corrupting supervision and degrading reconstruction quality. Existing distractor-free NeRF methods rely on per-scene optimization and estimate uncertainty from per-view reconstruction errors, which are not reliable for GeNeRFs and often misjudge inconsistent static structures as distractors. To this end, we propose MU-GeNeRF, a Multi-view Uncertainty-guided distractor-aware GeNeRF framework designed to alleviate GeNeRF's robust modeling challenges in the presence of transient distractions. We decompose distractor awareness into two complementary uncertainty components: Source-view Uncertainty, which captures structural discrepancies across source views caused by viewpoint changes or dynamic factors; and Target-view Uncertainty, which detects observation anomalies in the target image induced by transient distractors.These two uncertainties address distinct error sources and are combined through a heteroscedastic reconstruction loss, which guides the model to adaptively modulate supervision, enabling more robust distractor suppression and geometric modeling.Extensive experiments show that our method not only surpasses existing GeNeRFs but also achieves performance comparable to scene-specific distractor-free NeRFs.