I2-NeRF: Learning Neural Radiance Fields Under Physically-Grounded Media Interactions
作者: Shuhong Liu, Lin Gu, Ziteng Cui, Xuangeng Chu, Tatsuya Harada
分类: cs.CV
发布日期: 2025-10-25
期刊: Advances in Neural Information Processing Systems, 2025
💡 一句话要点
I2-NeRF：提出物理驱动的神经辐射场，增强介质退化下的三维重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 NeRF 介质退化 水下重建 雾霾去除 反向分层采样 辐射传输
📋 核心要点
- 现有NeRF模型在介质退化场景下，由于采样偏差和缺乏对光线物理过程的建模，导致重建质量下降，难以保持等距性和各向同性。
- I2-NeRF通过反向分层上采样实现均匀空间采样，并提出统一的辐射公式建模介质退化，从而提升复杂介质环境下的重建效果。
- 实验表明，I2-NeRF在真实数据集上显著提高了重建保真度和物理合理性，并能估计水深等介质属性，优于现有方法。
📝 摘要（中文）
本文提出I2-NeRF，一种新颖的神经辐射场框架，旨在增强介质退化下的等距和各向同性度量感知，从而赋能生成式AI以三维物理世界感知能力。与现有NeRF模型主要依赖于以对象为中心的采样不同，I2-NeRF引入了一种反向分层上采样策略，以实现近乎均匀的三维空间采样，从而保持等距性。此外，本文提出了一种通用的介质退化辐射公式，将发射、吸收和散射统一到一个由Beer-Lambert衰减定律控制的粒子模型中。通过组合直接辐射和介质引起的内散射辐射，该公式自然地扩展到复杂介质环境，如水下、雾霾甚至低光场景。通过在垂直和水平方向上统一处理光传播，I2-NeRF实现了各向同性度量感知，甚至可以估计水深等介质属性。在真实世界数据集上的实验表明，与现有方法相比，本文方法显著提高了重建保真度和物理合理性。
🔬 方法详解
问题定义：现有NeRF方法在处理诸如水下、雾霾等存在介质退化的场景时，由于光线传播的复杂性（吸收、散射等），以及传统NeRF采样策略的局限性，导致重建结果的几何结构失真，无法准确反映真实场景的物理属性，例如无法准确估计场景深度或水深。现有方法通常依赖于以物体为中心的采样，这在介质存在的情况下会引入偏差。
核心思路：I2-NeRF的核心思路是通过改进采样策略和光线传播模型，来解决介质退化场景下的NeRF重建问题。具体来说，它采用反向分层上采样策略，力求在三维空间中实现更均匀的采样，从而减少采样偏差。同时，它提出了一个通用的辐射公式，将光线的发射、吸收和散射统一到一个物理模型中，从而更准确地模拟光线在介质中的传播过程。
技术框架：I2-NeRF的整体框架基于NeRF，但做了关键改进。首先，在采样阶段，使用反向分层上采样策略，确保空间采样的均匀性。其次，在颜色预测阶段，使用提出的辐射公式，计算直接辐射和介质引起的内散射辐射，并将它们组合起来得到最终的颜色值。该框架可以处理水下、雾霾、低光等多种介质退化场景。框架包含一个神经辐射场网络，用于学习场景的几何和外观信息，以及一个介质属性估计模块，用于估计介质的参数（如水深）。
关键创新：I2-NeRF的关键创新点在于两个方面：一是反向分层上采样策略，它能够更均匀地采样三维空间，减少采样偏差；二是通用的辐射公式，它能够更准确地模拟光线在介质中的传播过程，从而提高重建的物理合理性。与现有方法相比，I2-NeRF能够更好地处理介质退化场景，重建出更准确的几何结构和物理属性。
关键设计：反向分层上采样策略的具体实现是，首先对整个三维空间进行均匀采样，然后根据采样点到相机的距离，对采样点进行加权，距离相机越远的点，权重越大，从而实现反向分层。辐射公式基于Beer-Lambert定律，将光线的衰减、吸收和散射建模为一个粒子模型。损失函数包括重建损失和正则化损失，重建损失用于约束重建结果与输入图像一致，正则化损失用于约束介质属性的估计值。
🖼️ 关键图片
📊 实验亮点
I2-NeRF在真实水下数据集和合成雾霾数据集上进行了实验，结果表明，与现有NeRF方法相比，I2-NeRF显著提高了重建的保真度和物理合理性。例如，在水下数据集上，I2-NeRF能够更准确地重建水下物体的几何结构，并能估计水深等介质属性。在雾霾数据集上，I2-NeRF能够更好地消除雾霾的影响，重建出清晰的场景图像。定量结果显示，I2-NeRF在PSNR、SSIM等指标上均优于现有方法。
🎯 应用场景
I2-NeRF在水下机器人导航、自动驾驶、虚拟现实、增强现实等领域具有广泛的应用前景。例如，在水下环境中，I2-NeRF可以用于重建水下场景的三维模型，帮助水下机器人进行导航和目标识别。在自动驾驶领域，I2-NeRF可以用于模拟雾霾等恶劣天气条件下的场景，提高自动驾驶系统的鲁棒性。此外，该技术还可以应用于虚拟现实和增强现实领域，创建更逼真的虚拟环境。
📄 摘要（原文）
Participating in efforts to endow generative AI with the 3D physical world perception, we propose I2-NeRF, a novel neural radiance field framework that enhances isometric and isotropic metric perception under media degradation. While existing NeRF models predominantly rely on object-centric sampling, I2-NeRF introduces a reverse-stratified upsampling strategy to achieve near-uniform sampling across 3D space, thereby preserving isometry. We further present a general radiative formulation for media degradation that unifies emission, absorption, and scattering into a particle model governed by the Beer-Lambert attenuation law. By composing the direct and media-induced in-scatter radiance, this formulation extends naturally to complex media environments such as underwater, haze, and even low-light scenes. By treating light propagation uniformly in both vertical and horizontal directions, I2-NeRF enables isotropic metric perception and can even estimate medium properties such as water depth. Experiments on real-world datasets demonstrate that our method significantly improves both reconstruction fidelity and physical plausibility compared to existing approaches.