PhysicsNeRF: Physics-Guided 3D Reconstruction from Sparse Views

📄 arXiv: 2505.23481v2 📥 PDF

作者: Mohamed Rayan Barhdadi, Hasan Kurban, Hussein Alnuweiri

分类: cs.CV

发布日期: 2025-05-29 (更新: 2025-06-21)

备注: 4 pages, 2 figures, 2 tables. Appearing in Building Physically Plausible World Models at the 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada

💡 一句话要点

PhysicsNeRF：物理约束引导的稀疏视角三维重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 三维重建 稀疏视角 物理约束 深度排序

📋 核心要点

  1. 传统NeRF在稀疏视角下重建效果差，缺乏物理约束导致泛化能力不足。
  2. PhysicsNeRF引入深度排序、视角一致性、稀疏性先验和跨视角对齐等物理约束。
  3. PhysicsNeRF使用紧凑架构，仅用8个视角即超越现有方法，PSNR达21.4dB。

📝 摘要（中文）

PhysicsNeRF是一个基于物理的框架，用于从稀疏视角进行三维重建。它通过四个互补的约束扩展了神经辐射场（NeRF）：深度排序、RegNeRF风格的一致性、稀疏性先验和跨视角对齐。标准的NeRF在稀疏监督下表现不佳，而PhysicsNeRF采用了一个紧凑的0.67M参数架构，仅使用8个视角即可达到21.4 dB的平均PSNR，优于现有方法。观察并分析了一个5.7-6.2 dB的泛化差距，揭示了稀疏视角重建的根本局限性。PhysicsNeRF实现了物理一致、可泛化的三维表示，用于智能体交互和模拟，并阐明了约束NeRF模型中的表达能力-泛化权衡。

🔬 方法详解

问题定义：论文旨在解决从极少量的图像视角（稀疏视角）重建高质量三维模型的问题。现有的NeRF方法在稀疏视角下表现不佳，容易产生伪影，并且泛化能力较差，难以在新视角下保持一致性。这是因为缺乏足够的约束信息来唯一确定三维场景的几何和外观。

核心思路：PhysicsNeRF的核心思路是通过引入物理约束来增强NeRF在稀疏视角下的重建能力和泛化能力。这些物理约束包括深度排序、视角一致性、稀疏性先验和跨视角对齐。通过将这些约束集成到NeRF的训练过程中，可以有效地减少重建过程中的歧义性，并提高重建结果的物理合理性。

技术框架：PhysicsNeRF的整体框架是在标准NeRF的基础上添加了额外的约束项。具体来说，它包含以下几个主要模块：1) NeRF网络，用于学习场景的辐射场；2) 深度排序模块，利用深度信息对采样点进行排序，约束几何结构；3) RegNeRF风格的一致性模块，保证不同视角下渲染结果的一致性；4) 稀疏性先验模块，鼓励场景的稀疏性，减少噪声；5) 跨视角对齐模块，对齐不同视角的特征，提高重建质量。这些模块共同作用，使得PhysicsNeRF能够在稀疏视角下重建出高质量的三维模型。

关键创新：PhysicsNeRF的关键创新在于将多种物理约束有效地集成到NeRF框架中，从而显著提高了稀疏视角下的三维重建性能。与现有方法相比，PhysicsNeRF不仅考虑了图像的像素信息，还利用了深度信息、视角一致性等物理先验知识，从而更好地约束了重建过程。此外，PhysicsNeRF还采用了紧凑的网络结构，减少了参数量，提高了训练效率。

关键设计：PhysicsNeRF的关键设计包括：1) 深度排序损失，用于约束采样点的深度顺序；2) RegNeRF风格的一致性损失，用于保证不同视角下渲染结果的一致性；3) L1稀疏性损失，用于鼓励场景的稀疏性；4) 基于互信息的跨视角对齐损失，用于对齐不同视角的特征。此外，PhysicsNeRF还采用了较小的网络结构（0.67M参数），以提高训练效率和泛化能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

PhysicsNeRF在稀疏视角三维重建任务上取得了显著的性能提升。在仅使用8个视角的情况下，PhysicsNeRF达到了21.4 dB的平均PSNR，优于现有的NeRF方法。此外，PhysicsNeRF还表现出了较好的泛化能力，在新视角下的重建结果也具有较高的质量。论文还分析了稀疏视角重建的泛化差距，揭示了其根本局限性。

🎯 应用场景

PhysicsNeRF在机器人导航、虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于从少量图像中快速构建三维场景模型，为机器人提供环境感知能力，为用户提供沉浸式的虚拟体验，并为游戏开发者提供高效的三维建模工具。此外，PhysicsNeRF还可以用于三维场景的编辑和操作，例如，可以用于改变场景的光照条件、添加或删除物体等。

📄 摘要（原文）

PhysicsNeRF is a physically grounded framework for 3D reconstruction from sparse views, extending Neural Radiance Fields with four complementary constraints: depth ranking, RegNeRF-style consistency, sparsity priors, and cross-view alignment. While standard NeRFs fail under sparse supervision, PhysicsNeRF employs a compact 0.67M-parameter architecture and achieves 21.4 dB average PSNR using only 8 views, outperforming prior methods. A generalization gap of 5.7-6.2 dB is consistently observed and analyzed, revealing fundamental limitations of sparse-view reconstruction. PhysicsNeRF enables physically consistent, generalizable 3D representations for agent interaction and simulation, and clarifies the expressiveness-generalization trade-off in constrained NeRF models.