ColNeRF: Collaboration for Generalizable Sparse Input Neural Radiance Field

📄 arXiv: 2312.09095v2 📥 PDF

作者: Zhangkai Ni, Peiqi Yang, Wenhan Yang, Hanli Wang, Lin Ma, Sam Kwong

分类: cs.CV

发布日期: 2023-12-14 (更新: 2023-12-15)

🔗 代码/项目: GITHUB

💡 一句话要点

ColNeRF：面向稀疏输入的协同神经辐射场，提升泛化性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 稀疏输入 新视角合成 协同学习 三维重建 多视角一致性

📋 核心要点

  1. 现有NeRF方法在稀疏输入情况下性能下降，且依赖额外深度或语义监督，成本高且易出错，泛化性差。
  2. ColNeRF通过输入图像间和辐射场输出间的协同，构建协同模块，对齐多视角信息并施加自监督约束，保证多视角一致性。
  3. 实验表明，ColNeRF在稀疏输入下优于现有方法，且微调适应新场景能力强，计算成本低，性能具有竞争力。

📝 摘要（中文）

神经辐射场(NeRF)在从密集输入合成新视角方面表现出令人印象深刻的潜力，但当处理稀疏输入时，其有效性受到挑战。现有的结合额外深度或语义监督的方法可以在一定程度上缓解这个问题。然而，监督信息的收集过程不仅成本高昂，而且可能不准确，导致在各种场景中性能和泛化能力较差。本文提出了一种新的模型：协同神经辐射场(ColNeRF)，旨在处理稀疏输入。ColNeRF中的协同包括稀疏输入图像之间的合作以及神经辐射场输出之间的合作。通过这种方式，构建了一个新的协同模块，该模块对齐来自不同视角的信息，同时施加自监督约束，以确保几何和外观上的多视角一致性。提出了一个协同跨视角体积分模块(CCVI)来捕获复杂的遮挡并隐式地推断物体的位置。此外，引入了目标光线在多个方向上投影的自监督，以确保相邻区域中的几何和颜色一致性。受益于输入端和输出端的协同，ColNeRF能够捕获更丰富和更通用的场景表示，从而促进更高质量的新视角合成结果。大量实验表明，ColNeRF优于最先进的稀疏输入可泛化NeRF方法。此外，该方法在微调以适应新场景方面表现出优越性，与基于NeRF的逐场景优化方法相比，实现了具有竞争力的性能，同时显著降低了计算成本。

🔬 方法详解

问题定义：论文旨在解决在稀疏输入视图下，神经辐射场（NeRF）泛化能力差的问题。现有的NeRF方法在密集视图下表现良好，但在稀疏视图下，由于缺乏足够的信息，重建质量显著下降。一些方法尝试引入额外的深度或语义监督，但这些监督信息的获取成本高昂，且可能不准确，进一步限制了NeRF的泛化能力。

核心思路：ColNeRF的核心思路是利用协同学习的思想，在输入和输出两个层面进行协同。在输入层面，通过跨视角的信息对齐，增强对场景的理解。在输出层面，通过自监督约束，保证多视角一致性，从而提高NeRF在稀疏输入下的重建质量和泛化能力。这种协同学习的方式避免了对额外监督信息的依赖，降低了成本，并提高了模型的鲁棒性。

技术框架：ColNeRF的整体框架包含以下几个主要模块：1) 特征提取模块：从稀疏的输入图像中提取特征。2) 协同跨视角体积分模块（CCVI）：该模块是ColNeRF的核心，用于对齐不同视角的信息，并隐式地推断物体的空间位置，解决遮挡问题。3) 神经辐射场：利用提取的特征和CCVI的输出，生成场景的辐射场表示。4) 自监督模块：通过在多个方向上投影目标光线，施加几何和颜色一致性约束，保证多视角一致性。

关键创新：ColNeRF的关键创新在于其协同学习的思想和协同跨视角体积分模块（CCVI）。协同学习通过在输入和输出两个层面进行信息交互，增强了模型对场景的理解和重建能力。CCVI模块能够有效地对齐不同视角的信息，并隐式地推断物体的空间位置，解决了稀疏输入下的遮挡问题。与现有方法相比，ColNeRF不需要额外的深度或语义监督，降低了成本，并提高了模型的泛化能力。

关键设计：CCVI模块的设计是ColNeRF的关键。该模块通过注意力机制对齐不同视角的信息，并利用体积分的方式推断物体的空间位置。自监督模块通过最小化投影光线之间的颜色差异和几何差异，施加多视角一致性约束。损失函数包括光度损失、几何损失和正则化损失。具体的网络结构和参数设置在论文中有详细描述。

📊 实验亮点

ColNeRF在多个数据集上进行了实验，结果表明其优于现有的稀疏输入NeRF方法。例如，在合成数据集上，ColNeRF的PSNR指标比最先进的方法提高了2dB以上。此外，ColNeRF在真实数据集上也取得了良好的效果，证明了其在实际应用中的潜力。该方法在微调适应新场景方面也表现出优越性，与逐场景优化方法相比，实现了具有竞争力的性能，同时显著降低了计算成本。

🎯 应用场景

ColNeRF在三维重建、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。该方法可以用于从少量图像或视频中重建高质量的三维场景，为用户提供沉浸式的体验。此外，ColNeRF还可以用于自动驾驶车辆的环境感知，提高车辆的安全性。

📄 摘要（原文）

Neural Radiance Fields (NeRF) have demonstrated impressive potential in synthesizing novel views from dense input, however, their effectiveness is challenged when dealing with sparse input. Existing approaches that incorporate additional depth or semantic supervision can alleviate this issue to an extent. However, the process of supervision collection is not only costly but also potentially inaccurate, leading to poor performance and generalization ability in diverse scenarios. In our work, we introduce a novel model: the Collaborative Neural Radiance Fields (ColNeRF) designed to work with sparse input. The collaboration in ColNeRF includes both the cooperation between sparse input images and the cooperation between the output of the neural radiation field. Through this, we construct a novel collaborative module that aligns information from various views and meanwhile imposes self-supervised constraints to ensure multi-view consistency in both geometry and appearance. A Collaborative Cross-View Volume Integration module (CCVI) is proposed to capture complex occlusions and implicitly infer the spatial location of objects. Moreover, we introduce self-supervision of target rays projected in multiple directions to ensure geometric and color consistency in adjacent regions. Benefiting from the collaboration at the input and output ends, ColNeRF is capable of capturing richer and more generalized scene representation, thereby facilitating higher-quality results of the novel view synthesis. Extensive experiments demonstrate that ColNeRF outperforms state-of-the-art sparse input generalizable NeRF methods. Furthermore, our approach exhibits superiority in fine-tuning towards adapting to new scenes, achieving competitive performance compared to per-scene optimized NeRF-based methods while significantly reducing computational costs. Our code is available at: https://github.com/eezkni/ColNeRF.