Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video

📄 arXiv: 2310.09647v2 📥 PDF

作者: Byeongjun Park, Changick Kim

分类: cs.CV

发布日期: 2023-10-14 (更新: 2023-10-24)

备注: WACV2024

💡 一句话要点

提出Point-DynRF以解决动态辐射场全局几何表示问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 动态辐射场 神经点云 几何一致性 单目视频 新视角生成 计算机视觉 虚拟现实

📋 核心要点

  1. 现有动态辐射场方法仅在相邻帧之间保持几何一致性，难以捕捉全局场景几何信息。
  2. 本文提出Point-DynRF框架，通过神经点云和动态辐射场的结合，优化全局几何信息和体积渲染过程。
  3. 实验结果表明，Point-DynRF在生成新视角时显著提升了全局几何表示的准确性和稳定性。

📝 摘要（中文）

动态辐射场已成为从单目视频生成新视角的有前景的方法。然而，现有方法仅在相邻输入帧之间强制几何一致性，导致难以表示全局场景几何，并在与输入相机轨迹时空距离较远的视点上退化。为了解决这一问题，本文提出了一种基于点的动态辐射场(Point-DynRF)的新框架，其中全局几何信息和体积渲染过程分别通过神经点云和动态辐射场进行训练。具体而言，我们直接从几何代理重建神经点云，并使用提出的损失函数优化辐射场和几何代理，使其相互补充。我们在NVIDIA动态场景数据集和多个因果捕获的单目视频片段上验证了我们方法的有效性。

🔬 方法详解

问题定义：现有动态辐射场方法在相邻帧之间强制几何一致性，导致全局场景几何信息的缺失，尤其是在视点与输入相机轨迹时空距离较远时，表现不佳。

核心思路：本文提出的Point-DynRF框架通过结合神经点云和动态辐射场，优化全局几何信息和体积渲染过程，旨在克服现有方法的局限性。

技术框架：该框架包括两个主要模块：一是从几何代理直接重建神经点云，二是通过优化损失函数来同时训练辐射场和几何代理，以实现相互补充。

关键创新：最重要的创新在于提出了一种新的损失函数，使得辐射场和几何代理能够在训练过程中相互促进，从而提升全局几何表示的能力。

关键设计：在技术细节上，本文设计了特定的损失函数来平衡辐射场和几何代理的优化，同时采用了神经网络结构来处理点云数据，以提高渲染效果和计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Point-DynRF在NVIDIA动态场景数据集上相较于基线方法在全局几何表示上有显著提升，具体性能数据未提供，提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等，能够为动态场景的重建和新视角生成提供更为准确和稳定的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dynamic radiance fields have emerged as a promising approach for generating novel views from a monocular video. However, previous methods enforce the geometric consistency to dynamic radiance fields only between adjacent input frames, making it difficult to represent the global scene geometry and degenerates at the viewpoint that is spatio-temporally distant from the input camera trajectory. To solve this problem, we introduce point-based dynamic radiance fields (\textbf{Point-DynRF}), a novel framework where the global geometric information and the volume rendering process are trained by neural point clouds and dynamic radiance fields, respectively. Specifically, we reconstruct neural point clouds directly from geometric proxies and optimize both radiance fields and the geometric proxies using our proposed losses, allowing them to complement each other. We validate the effectiveness of our method with experiments on the NVIDIA Dynamic Scenes Dataset and several causally captured monocular video clips.