DriftNeRF: Cross-Ray Density Drifting for Sparse-View Neural Radiance Fields
作者: Juntang Wang, Yihan Wang, Sheng'en Li, Hao Wu, Dongmian Zou, Shixin Xu
分类: cs.CV, cs.LG
发布日期: 2026-10-21
备注: 13 pages, 6 figures, 18 tables
💡 一句话要点
提出DriftNeRF以解决稀疏视图下NeRF的密度漂移问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 稀疏视图 密度漂移 图像合成 计算机视觉 深度学习
📋 核心要点
- 现有的NeRF方法在视图稀疏时表现不佳，主要由于缺乏对不同光线密度的比较，导致密度不一致。
- 论文提出DriftNeRF，通过引入光线间密度漂移的正则化方法，直接处理密度不一致性问题。
- 在NeRF-Synthetic数据集上，DriftNeRF显著降低了残余不一致性，并在多个数据集上提升了PSNR性能，超越了现有基线。
📝 摘要（中文）
神经辐射场（NeRF）能够从密集图像集合中合成逼真的新视图，但在视图稀疏时性能急剧下降。本文指出，现有目标函数的缺陷在于缺乏对不同光线在同一区域分配密度的比较，导致相邻3D点可能出现矛盾的密度。为此，本文提出DriftNeRF，通过直接测量训练过程中的光线间密度不一致性，设计了一种新的正则化方法，显著减少了残余不一致性，并在多个数据集上提升了性能。
🔬 方法详解
问题定义：本文旨在解决NeRF在稀疏视图下的密度漂移问题。现有方法的痛点在于渲染损失仅对独立光线进行求和，缺乏对同一区域密度的比较，导致相邻3D点可能出现矛盾的密度分配。
核心思路：论文的核心思路是通过引入光线间的密度漂移正则化，直接测量和惩罚不同光线对同一区域的密度不一致性，从而提高模型在稀疏视图下的表现。
技术框架：整体架构包括一个正则化模块，该模块利用掩蔽指数核从其他光线的邻近点聚合密度，形成一个停止梯度的共识目标。该正则化方法仅依赖于采样位置、光线标识符和预测密度，无需预训练模型或额外图像。
关键创新：最重要的技术创新点在于引入了光线间密度漂移的概念，通过聚合邻近点的密度来减少不一致性，这与传统NeRF方法的独立光线处理方式形成了本质区别。
关键设计：关键设计包括使用掩蔽指数核来聚合密度，以及设计了一个新的损失函数来惩罚不一致性，同时保持一致边界的完整性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DriftNeRF在NeRF-Synthetic数据集上将残余不一致性降低了一个数量级，并在多个数据集（如DTU和LLFF）上提升了3视图PSNR性能，超越了最强的MLP-NeRF基线0.42-0.65 dB，展现出强大的竞争力。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在计算机视觉、虚拟现实和增强现实等领域。通过提高稀疏视图下的图像合成质量，DriftNeRF能够为实时渲染和三维重建提供更高效的解决方案，推动相关技术的发展。
📄 摘要（原文）
Neural Radiance Fields (NeRF) synthesize photorealistic novel views from dense image collections, but degrade sharply when few views are available. We attribute a specific, measurable defect to the objective itself: the rendering loss is a sum over independent rays and contains no term comparing densities that different rays assign to the same region of space, so nearby 3D points can settle on contradictory densities while every training pixel is reproduced correctly. We make this quantity explicit by measuring cross-ray density disagreement directly during training, and show that it stays high in vanilla NeRF, falls only incidentally under frequency-based regularization, and moves together with held-out quality in the sparse regime. We then close the gap with DriftNeRF, a drop-in regularizer that instantiates the drifting-field template on density samples: a masked exponential kernel aggregates densities from nearby points on other rays into a stop-gradient consensus target, and the resulting drifting field penalizes unsupported disagreement while leaving agreed-upon boundaries intact. The regularizer reads only sampled positions, ray identifiers, and predicted densities, so it requires no pretrained model, external geometry, or additional images, and transfers across field parameterizations. On NeRF-Synthetic it reduces residual disagreement by an order of magnitude, and across NeRF-Synthetic, DTU, and LLFF it improves 3-view PSNR over the strongest MLP-NeRF baseline by 0.42-0.65 dB and remains competitive with sparse-view Gaussian pipelines under a matched protocol without their depth, flow, or covisibility preprocessing.