HyperFields: Towards Zero-Shot Generation of NeRFs from Text

📄 arXiv: 2310.17075v3 📥 PDF

作者: Sudarshan Babu, Richard Liu, Avery Zhou, Michael Maire, Greg Shakhnarovich, Rana Hanocka

分类: cs.CV

发布日期: 2023-10-26 (更新: 2024-06-13)

备注: Accepted to ICML 2024, Project page: https://threedle.github.io/hyperfields/

💡 一句话要点

提出HyperFields以实现文本条件下的NeRF零-shot生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 文本生成 动态超网络 蒸馏训练 零-shot学习 计算机视觉 3D场景合成

📋 核心要点

  1. 现有的NeRF生成方法在处理文本条件下的场景生成时效率低下，且难以适应多样化的场景。
  2. HyperFields通过动态超网络和NeRF蒸馏训练，提供了一种高效的文本到NeRF的映射，支持零-shot生成。
  3. 实验结果显示，HyperFields在合成新场景时速度提升5到10倍，且能够处理多种场景类型，表现优异。

📝 摘要（中文）

我们提出了HyperFields，一种通过单次前向传播生成文本条件下的神经辐射场（NeRF）的方法，并可选地进行一些微调。我们的方法的关键在于：动态超网络，它学习从文本标记嵌入到NeRF空间的平滑映射；NeRF蒸馏训练，它将单个NeRF中编码的场景蒸馏到一个动态超网络中。这些技术使得单个网络能够适应超过一百个独特场景。我们进一步证明，HyperFields学习了文本与NeRF之间更通用的映射，因此能够预测新颖的场景，无论是零-shot还是经过少量微调。微调HyperFields得益于学习到的通用映射，加速了收敛，并能够以比现有神经优化方法快5到10倍的速度合成新场景。我们的消融实验表明，动态架构和NeRF蒸馏对HyperFields的表现力至关重要。

🔬 方法详解

问题定义：本论文旨在解决现有NeRF生成方法在文本条件下生成场景时的效率和适应性不足的问题。现有方法通常需要大量的训练时间和计算资源，难以快速生成多样化的场景。

核心思路：我们提出的HyperFields方法通过引入动态超网络，能够实现从文本嵌入到NeRF空间的平滑映射，进而支持零-shot生成。这种设计使得模型能够在不需要大量训练的情况下，快速适应新的场景。

技术框架：HyperFields的整体架构包括一个动态超网络和一个NeRF蒸馏模块。动态超网络负责将文本输入映射到NeRF参数，而蒸馏模块则将多个NeRF的知识整合到一个统一的网络中，从而提高模型的表现力和效率。

关键创新：HyperFields的主要创新在于动态超网络的引入和NeRF蒸馏训练的结合。这种方法使得模型能够在单次前向传播中生成多个场景，并且在处理新场景时表现出更好的泛化能力。

关键设计：在模型设计中，我们采用了特定的损失函数来优化文本到NeRF的映射，并通过动态调整网络结构来适应不同的输入场景。此外，蒸馏训练过程中的参数设置也经过精心设计，以确保知识的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HyperFields在合成新场景时的速度比现有的神经优化方法快5到10倍，且能够有效处理多种场景类型。消融实验验证了动态架构和NeRF蒸馏对模型表现力的重要性，进一步证明了该方法的有效性和创新性。

🎯 应用场景

HyperFields在计算机视觉、虚拟现实和增强现实等领域具有广泛的应用潜力。通过快速生成高质量的3D场景，该方法可以用于游戏开发、影视制作以及在线教育等多个场景，提升用户体验和交互性。未来，HyperFields可能会推动更多基于文本的3D内容生成技术的发展。

📄 摘要（原文）

We introduce HyperFields, a method for generating text-conditioned Neural Radiance Fields (NeRFs) with a single forward pass and (optionally) some fine-tuning. Key to our approach are: (i) a dynamic hypernetwork, which learns a smooth mapping from text token embeddings to the space of NeRFs; (ii) NeRF distillation training, which distills scenes encoded in individual NeRFs into one dynamic hypernetwork. These techniques enable a single network to fit over a hundred unique scenes. We further demonstrate that HyperFields learns a more general map between text and NeRFs, and consequently is capable of predicting novel in-distribution and out-of-distribution scenes -- either zero-shot or with a few finetuning steps. Finetuning HyperFields benefits from accelerated convergence thanks to the learned general map, and is capable of synthesizing novel scenes 5 to 10 times faster than existing neural optimization-based methods. Our ablation experiments show that both the dynamic architecture and NeRF distillation are critical to the expressivity of HyperFields.