Nuvo: Neural UV Mapping for Unruly 3D Representations

📄 arXiv: 2312.05283v1 📥 PDF

作者: Pratul P. Srinivasan, Stephan J. Garbin, Dor Verbin, Jonathan T. Barron, Ben Mildenhall

分类: cs.CV, cs.GR

发布日期: 2023-12-11

备注: Project page at https://pratulsrinivasan.github.io/nuvo

💡 一句话要点

Nuvo：提出一种神经UV映射方法，用于处理复杂三维重建和生成几何体的纹理映射。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经UV映射 三维重建 神经辐射场 纹理映射 几何建模

📋 核心要点

  1. 现有UV映射方法难以处理三维重建和生成技术产生的复杂几何体，导致纹理图谱碎片化。
  2. Nuvo使用神经场表示连续UV映射，并优化其对可见点的有效性和质量，避免了对规整网格的依赖。
  3. 实验证明Nuvo在处理不规整几何体时具有鲁棒性，能够生成可编辑且细节丰富的UV映射。

📝 摘要（中文）

现有的UV映射算法通常设计用于处理规整的网格模型，而无法直接应用于当前先进的三维重建和生成技术所产生的几何表示。因此，将这些方法应用于神经辐射场等技术恢复的体密度（或由此体密度三角化得到的网格）会导致纹理图谱过于碎片化，无法用于诸如视图合成或外观编辑等任务。我们提出了一种UV映射方法Nuvo，专门用于处理三维重建和生成技术产生的几何体。Nuvo没有计算定义在网格顶点上的映射，而是使用神经场来表示连续的UV映射，并对其进行优化，使其成为仅对可见点（即影响场景外观的点）有效且表现良好的映射。实验表明，我们的模型能够有效应对不规整几何体带来的挑战，并生成可编辑的UV映射，从而表示精细的外观。

🔬 方法详解

问题定义：现有UV映射算法主要针对规整的网格模型设计，无法直接应用于神经辐射场（NeRF）等三维重建和生成技术产生的复杂、不规则几何体。这些几何体通常包含噪声、伪影或拓扑缺陷，导致传统UV映射方法生成的纹理图谱高度碎片化，难以进行后续的纹理编辑和视图合成等任务。因此，如何为这些“不规矩”的3D表示生成高质量的UV映射是一个关键问题。

核心思路：Nuvo的核心思路是使用一个神经场来表示连续的UV映射。与传统方法在网格顶点上定义离散的UV坐标不同，Nuvo将UV坐标视为空间位置的函数，通过神经网络学习这个函数。此外，Nuvo只关注对场景外观有贡献的可见点，避免了对隐藏或无关几何体的映射，从而提高了效率和映射质量。

技术框架：Nuvo的整体框架包括以下几个主要步骤：1) 使用神经辐射场或其他三维重建方法获取场景的几何表示（例如体密度或点云）；2) 初始化一个神经UV映射场，该场将三维空间中的点映射到二维UV坐标；3) 使用渲染技术（例如光线追踪）确定场景中的可见点；4) 定义损失函数，优化神经UV映射场，使其生成的UV映射在可见点上具有良好的性质，例如低拉伸、低扭曲和均匀覆盖；5) 使用优化后的UV映射进行纹理编辑、视图合成等应用。

关键创新：Nuvo的关键创新在于使用神经场表示连续的UV映射，并针对可见点进行优化。这与传统方法在离散网格上定义UV坐标，并对整个模型进行优化的方式有本质区别。通过神经场的连续表示，Nuvo可以更好地处理不规则几何体，避免了对拓扑结构的依赖。通过只关注可见点，Nuvo可以提高效率，并生成更适合渲染和编辑的UV映射。

关键设计：Nuvo的关键设计包括：1) 使用多层感知机（MLP）作为神经UV映射场，将三维空间坐标映射到二维UV坐标；2) 定义多种损失函数，包括拉伸损失、扭曲损失和覆盖率损失，以保证UV映射的质量；3) 使用光线追踪或其他渲染技术计算可见点，并只在这些点上计算损失；4) 使用Adam优化器优化神经UV映射场的参数。

📊 实验亮点

论文实验结果表明，Nuvo在处理复杂几何体时，能够生成比传统方法更低拉伸、更低扭曲的UV映射。与基于网格的UV映射方法相比，Nuvo能够更好地保留细节，并生成更均匀的纹理覆盖。此外，Nuvo生成的可编辑UV映射可以方便用户进行纹理编辑和外观设计，从而提高三维内容的创作效率。

🎯 应用场景

Nuvo在三维内容创作、虚拟现实、增强现实等领域具有广泛的应用前景。它可以用于生成高质量的纹理映射，从而提高渲染效果和视觉体验。此外，Nuvo生成的可编辑UV映射可以方便用户进行纹理编辑和外观设计，从而加速三维内容的创作流程。未来，Nuvo可以与其他三维重建和生成技术相结合，实现更加自动化和智能化的三维内容创作。

📄 摘要（原文）

Existing UV mapping algorithms are designed to operate on well-behaved meshes, instead of the geometry representations produced by state-of-the-art 3D reconstruction and generation techniques. As such, applying these methods to the volume densities recovered by neural radiance fields and related techniques (or meshes triangulated from such fields) results in texture atlases that are too fragmented to be useful for tasks such as view synthesis or appearance editing. We present a UV mapping method designed to operate on geometry produced by 3D reconstruction and generation techniques. Instead of computing a mapping defined on a mesh's vertices, our method Nuvo uses a neural field to represent a continuous UV mapping, and optimizes it to be a valid and well-behaved mapping for just the set of visible points, i.e. only points that affect the scene's appearance. We show that our model is robust to the challenges posed by ill-behaved geometry, and that it produces editable UV mappings that can represent detailed appearance.