Ray-Distance Volume Rendering for Neural Scene Reconstruction

📄 arXiv: 2408.15524v1 📥 PDF

作者: Ruihong Yin, Yunlu Chen, Sezer Karaoglu, Theo Gevers

分类: cs.CV

发布日期: 2024-08-28

备注: Accepted by ECCV2024

💡 一句话要点

提出基于射线距离的体渲染方法，用于提升神经场景重建在室内场景的表现

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经场景重建 体渲染 有符号射线距离函数 室内场景 自监督学习

📋 核心要点

  1. 现有神经场景重建方法在室内场景中，基于SDF的密度函数难以准确反映采样点的重要性，受邻近物体影响大。
  2. 论文提出使用有符号射线距离函数（SRDF）参数化密度函数，仅考虑沿相机射线的表面，使密度函数更符合真实占用情况。
  3. 引入SRDF-SDF一致性损失约束符号，并提出自监督可见性任务，结合先验知识生成更准确的3D几何体，提升重建和视图合成性能。

📝 摘要（中文）

现有的神经场景重建方法通常利用有符号距离函数（SDF）来建模密度函数。然而，在室内场景中，从SDF计算出的采样点密度可能无法始终如一地反映其在体渲染中的真实重要性，这通常是由于相邻对象的影响。为了解决这个问题，本文提出了一种新的室内场景重建方法，该方法使用有符号射线距离函数（SRDF）来参数化密度函数。首先，网络预测SRDF，并将其转换为射线条件密度函数以进行体渲染。我们认为，特定于射线的SRDF仅考虑沿相机射线的表面，由此导出的密度函数比SDF导出的密度函数更符合真实的占用情况。其次，虽然SRDF和SDF代表了场景几何的不同方面，但它们的值应该共享相同的符号，表明潜在的空间占用情况。因此，本文引入了SRDF-SDF一致性损失来约束SRDF和SDF输出的符号。第三，本文提出了一种自监督可见性任务，将物理可见性几何引入到重建任务中。可见性任务结合了来自预测的SRDF和SDF的先验知识作为伪标签，并有助于生成更准确的3D几何体。我们的方法通过不同的表示实现，并在室内数据集上进行了验证，在重建和视图合成方面都取得了改进的性能。

🔬 方法详解

问题定义：现有的神经场景重建方法，特别是那些依赖于有符号距离函数（SDF）的方法，在室内场景中表现不佳。SDF在计算采样点的密度时，容易受到附近物体的影响，导致密度值不能准确反映该点在体渲染中的真实重要性。这会影响重建的质量和新视角的合成效果。

核心思路：论文的核心思路是用有符号射线距离函数（SRDF）来参数化密度函数。SRDF只考虑沿相机射线的表面，因此导出的密度函数更能反映真实的空间占用情况，减少了邻近物体的影响。此外，通过引入SRDF-SDF一致性损失和自监督可见性任务，进一步提升重建的准确性。

技术框架：该方法主要包含以下几个模块：1) SRDF预测网络：该网络负责预测场景的SRDF值。2) 射线条件密度函数转换：将预测的SRDF转换为用于体渲染的射线条件密度函数。3) SRDF-SDF一致性损失：约束SRDF和SDF输出的符号一致性。4) 自监督可见性任务：利用SRDF和SDF的先验知识作为伪标签，进行可见性预测。5) 体渲染模块：利用射线条件密度函数进行图像渲染。

关键创新：该方法最重要的创新点在于使用SRDF来参数化密度函数。与传统的SDF相比，SRDF只考虑沿相机射线的表面，因此更能反映真实的空间占用情况。此外，SRDF-SDF一致性损失和自监督可见性任务也进一步提升了重建的准确性。

关键设计：SRDF-SDF一致性损失采用符号一致性约束，确保SRDF和SDF在空间占用上的判断一致。自监督可见性任务使用SRDF和SDF预测的可见性作为伪标签，训练网络预测像素的可见性。网络结构方面，具体实现细节（如网络层数、激活函数等）未知，但整体框架围绕SRDF预测、密度函数转换、一致性约束和可见性预测展开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在室内数据集上验证了该方法的有效性，实验结果表明，与基于SDF的传统方法相比，该方法在重建质量和新视角合成方面都取得了显著的提升。具体的性能数据和提升幅度在摘要中未明确给出，但强调了在不同表示下的实现均验证了其有效性。

🎯 应用场景

该研究成果可应用于室内场景的三维重建、虚拟现实、增强现实、机器人导航等领域。通过更准确地重建室内场景，可以提升虚拟体验的真实感，帮助机器人更好地理解和导航环境，并为室内设计和建筑等领域提供更精确的三维模型。

📄 摘要（原文）

Existing methods in neural scene reconstruction utilize the Signed Distance Function (SDF) to model the density function. However, in indoor scenes, the density computed from the SDF for a sampled point may not consistently reflect its real importance in volume rendering, often due to the influence of neighboring objects. To tackle this issue, our work proposes a novel approach for indoor scene reconstruction, which instead parameterizes the density function with the Signed Ray Distance Function (SRDF). Firstly, the SRDF is predicted by the network and transformed to a ray-conditioned density function for volume rendering. We argue that the ray-specific SRDF only considers the surface along the camera ray, from which the derived density function is more consistent to the real occupancy than that from the SDF. Secondly, although SRDF and SDF represent different aspects of scene geometries, their values should share the same sign indicating the underlying spatial occupancy. Therefore, this work introduces a SRDF-SDF consistency loss to constrain the signs of the SRDF and SDF outputs. Thirdly, this work proposes a self-supervised visibility task, introducing the physical visibility geometry to the reconstruction task. The visibility task combines prior from predicted SRDF and SDF as pseudo labels, and contributes to generating more accurate 3D geometry. Our method implemented with different representations has been validated on indoor datasets, achieving improved performance in both reconstruction and view synthesis.