MaintaAvatar: A Maintainable Avatar Based on Neural Radiance Fields by Continual Learning

📄 arXiv: 2502.02372v1 📥 PDF

作者: Shengbo Gu, Yu-Kun Qiu, Yu-Ming Tang, Ancong Wu, Wei-Shi Zheng

分类: cs.CV, cs.AI

发布日期: 2025-02-04

备注: AAAI 2025. 9 pages

💡 一句话要点

提出MaintaAvatar，通过持续学习维护NeRF化身，解决外观和姿态变化下的灾难性遗忘问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 虚拟化身 持续学习 灾难性遗忘 全局-局部联合存储 姿态蒸馏

📋 核心要点

  1. 现有NeRF化身方法难以应对真实场景中人物外观和姿态的持续变化，导致灾难性遗忘，旧外观渲染质量下降。
  2. MaintaAvatar通过全局-局部联合存储模块和姿态蒸馏模块，在持续学习新外观和姿态的同时，保留旧外观的渲染能力。
  3. 实验表明，MaintaAvatar仅需少量数据即可快速微调，有效避免灾难性遗忘，实现可维护的虚拟化身。

📝 摘要（中文）

虚拟数字人生成是计算机视觉领域中的一个关键研究课题。许多现有工作利用神经辐射场（NeRF）来解决这个问题，并取得了令人瞩目的成果。然而，先前的工作假设训练对象的图像是可用的且固定的，而在实际场景中，对象的外观和姿态可能会不断变化和增加。如何更新人体化身，同时保持渲染人物旧外观的能力，是一个实际的挑战。一个简单的解决方案是将现有的基于NeRF的虚拟化身模型与持续学习方法相结合。然而，这种方法存在一些关键问题：学习新的外观和姿态会导致模型忘记过去的信息，从而导致过去外观的渲染质量下降，尤其是颜色渗透问题和不正确的人体姿态。在这项工作中，我们提出了一种基于神经辐射场的、通过持续学习的可维护化身（MaintaAvatar），它通过利用全局-局部联合存储模块和姿态蒸馏模块来解决这些问题。总的来说，我们的模型只需要有限的数据收集就可以快速微调模型，同时避免灾难性遗忘，从而实现可维护的虚拟化身。实验结果验证了我们的MaintaAvatar模型的有效性。

🔬 方法详解

问题定义：现有基于NeRF的虚拟化身方法通常假设训练数据是固定不变的，无法适应真实场景中人物外观和姿态的持续变化。当模型学习新的外观和姿态时，容易发生灾难性遗忘，导致对先前学习的外观渲染质量下降，出现颜色渗透和姿态不准确等问题。

核心思路：MaintaAvatar的核心思路是通过持续学习的方式，在学习新外观和姿态的同时，保留对旧外观的渲染能力，避免灾难性遗忘。它通过设计特定的模块来存储和利用过去的信息，从而在更新模型的同时，保持对历史数据的记忆。

技术框架：MaintaAvatar的整体框架包含以下主要模块：1) 全局-局部联合存储模块：用于存储和检索全局和局部特征，以保留过去的信息。2) 姿态蒸馏模块：用于约束新学习的姿态与旧姿态的一致性，避免姿态漂移。模型首先利用初始数据集训练一个NeRF模型，然后当有新的数据到来时，利用全局-局部联合存储模块和姿态蒸馏模块对模型进行微调。

关键创新：MaintaAvatar的关键创新在于：1) 提出了全局-局部联合存储模块，能够有效地存储和检索过去的信息，避免灾难性遗忘。2) 提出了姿态蒸馏模块，能够约束新学习的姿态与旧姿态的一致性，避免姿态漂移。与现有方法相比，MaintaAvatar能够更好地适应真实场景中人物外观和姿态的持续变化，并保持对历史数据的渲染能力。

关键设计：全局-局部联合存储模块可能包含一个记忆库，用于存储过去学习到的全局和局部特征。姿态蒸馏模块可能使用KL散度等损失函数来约束新学习的姿态分布与旧姿态分布的相似性。具体的网络结构和参数设置在论文中应该有详细的描述，这里无法给出确切的数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的MaintaAvatar模型在持续学习场景下，能够有效地避免灾难性遗忘，并保持对历史数据的渲染能力。具体的实验结果（例如PSNR、SSIM等指标）应该在论文中给出，并与现有的持续学习方法进行比较，以验证MaintaAvatar的优越性。实验结果应该表明，MaintaAvatar在学习新外观和姿态的同时，能够显著提高对旧外观的渲染质量。

🎯 应用场景

MaintaAvatar在虚拟现实、增强现实、游戏、远程会议等领域具有广泛的应用前景。它可以用于创建能够适应用户外观和姿态变化的个性化虚拟化身，提升用户体验。此外，它还可以用于生成历史人物的虚拟化身，用于教育和娱乐等目的。该研究有助于推动虚拟化身技术的进一步发展，并为相关应用提供更强大的技术支持。

📄 摘要（原文）

The generation of a virtual digital avatar is a crucial research topic in the field of computer vision. Many existing works utilize Neural Radiance Fields (NeRF) to address this issue and have achieved impressive results. However, previous works assume the images of the training person are available and fixed while the appearances and poses of a subject could constantly change and increase in real-world scenarios. How to update the human avatar but also maintain the ability to render the old appearance of the person is a practical challenge. One trivial solution is to combine the existing virtual avatar models based on NeRF with continual learning methods. However, there are some critical issues in this approach: learning new appearances and poses can cause the model to forget past information, which in turn leads to a degradation in the rendering quality of past appearances, especially color bleeding issues, and incorrect human body poses. In this work, we propose a maintainable avatar (MaintaAvatar) based on neural radiance fields by continual learning, which resolves the issues by utilizing a Global-Local Joint Storage Module and a Pose Distillation Module. Overall, our model requires only limited data collection to quickly fine-tune the model while avoiding catastrophic forgetting, thus achieving a maintainable virtual avatar. The experimental results validate the effectiveness of our MaintaAvatar model.