NBAvatar: Neural Billboards Avatars with Realistic Hand-Face Interaction
作者: David Svitov, Mahtab Dahaghin
分类: cs.CV
发布日期: 2026-03-12
💡 一句话要点
提出NBAvatar，通过神经渲染实现逼真手-脸交互头部化身
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经渲染 头部化身 手-脸交互 非刚性形变 虚拟现实
📋 核心要点
- 现有头部化身方法难以处理手-脸交互造成的复杂形变和光照变化，导致渲染效果不真实。
- NBAvatar结合了定向平面基元的显式几何表示和神经渲染的隐式外观建模，实现高质量渲染。
- 实验表明，NBAvatar在渲染质量上显著优于现有方法，尤其是在手-脸交互场景下。
📝 摘要（中文）
本文提出NBAvatar，一种用于逼真渲染头部化身的方法，能够处理由手-脸交互引起的非刚性形变。我们引入了一种新颖的动画化身表示方法，它将定向平面基元的训练与神经渲染相结合。这种显式和隐式表示的结合使NBAvatar能够处理时间上和姿势上一致的几何体，以及神经渲染技术提供的精细外观细节。实验表明，NBAvatar隐式地学习了由面部-手部交互引起的颜色变换，并在新视角和新姿势渲染质量方面超越了现有方法。具体而言，与基于高斯的化身方法相比，NBAvatar在高分辨率百万像素渲染下实现了高达30%的LPIPS降低，同时还提高了PSNR和SSIM，并且与最先进的手-脸交互方法InteractAvatar相比，实现了更高的结构相似性。
🔬 方法详解
问题定义：现有头部化身方法在处理手与脸部交互时，难以捕捉由此产生的非刚性形变和复杂的光照变化，导致渲染结果不够真实，缺乏细节。尤其是在新视角和新姿势下，渲染质量会显著下降。现有方法通常难以在几何一致性和外观细节之间取得平衡。
核心思路：NBAvatar的核心思路是将显式的几何表示与隐式的神经渲染相结合。通过训练定向平面基元来捕捉化身的几何结构，保证时间和姿态上的一致性。同时，利用神经渲染技术来学习精细的外观细节和由手-脸交互引起的颜色变换。这种结合使得NBAvatar能够同时处理几何一致性和外观细节。
技术框架：NBAvatar的整体框架包含以下几个主要阶段：1) 使用定向平面基元来表示化身的几何结构。2) 使用神经渲染技术，基于这些基元来渲染化身的外观。3) 通过训练，使网络能够隐式地学习手-脸交互引起的颜色变换。整个框架是端到端可训练的，可以同时优化几何表示和外观渲染。
关键创新：NBAvatar的关键创新在于将显式的定向平面基元表示与隐式的神经渲染相结合。这种混合表示方法能够同时处理几何一致性和外观细节，克服了现有方法在这两方面难以兼顾的缺点。此外，NBAvatar能够隐式地学习手-脸交互引起的颜色变换，从而实现更逼真的渲染效果。
关键设计：NBAvatar的关键设计包括：1) 使用定向平面基元来表示几何结构，每个基元包含位置、法向量和颜色等信息。2) 使用神经渲染网络，基于这些基元来预测每个像素的颜色。3) 使用LPIPS、PSNR和SSIM等指标来评估渲染质量，并使用这些指标来指导网络的训练。损失函数的设计旨在平衡几何一致性和外观细节，并鼓励网络学习手-脸交互引起的颜色变换。
🖼️ 关键图片
📊 实验亮点
NBAvatar在高分辨率百万像素渲染下，LPIPS指标相比于基于高斯的化身方法降低了高达30%，同时PSNR和SSIM指标也得到了提升。与最先进的手-脸交互方法InteractAvatar相比，NBAvatar实现了更高的结构相似性。这些实验结果表明，NBAvatar在渲染质量上显著优于现有方法，尤其是在手-脸交互场景下。
🎯 应用场景
NBAvatar可应用于虚拟现实、增强现实、视频会议、游戏等领域，提供更逼真、更具表现力的虚拟化身。尤其是在需要频繁手-脸交互的场景下，如虚拟主播、在线教育等，NBAvatar能够显著提升用户体验。未来，该技术有望进一步发展，实现更高质量、更个性化的虚拟化身定制。
📄 摘要（原文）
We present NBAvatar - a method for realistic rendering of head avatars handling non-rigid deformations caused by hand-face interaction. We introduce a novel representation for animated avatars by combining the training of oriented planar primitives with neural rendering. Such a combination of explicit and implicit representations enables NBAvatar to handle temporally and pose-consistent geometry, along with fine-grained appearance details provided by the neural rendering technique. In our experiments, we demonstrate that NBAvatar implicitly learns color transformations caused by face-hand interactions and surpasses existing approaches in terms of novel-view and novel-pose rendering quality. Specifically, NBAvatar achieves up to 30% LPIPS reduction under high-resolution megapixel rendering compared to Gaussian-based avatar methods, while also improving PSNR and SSIM, and achieves higher structural similarity compared to the state-of-the-art hand-face interaction method InteractAvatar.