Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views
作者: Kunwar Maheep Singh, Jianchun Chen, Vladislav Golyanik, Stephan J. Garbin, Thabo Beeler, Rishabh Dabral, Marc Habermann, Christian Theobalt
分类: cs.CV
发布日期: 2025-11-29
💡 一句话要点
提出Relightable Holoported Characters，实现从稀疏视角RGB视频中动态人体表演的自由视角渲染和重光照。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 人体重光照 自由视角渲染 动态人体 Transformer网络 3D高斯Splats
📋 核心要点
- 现有方法依赖OLAT，需要多次渲染，计算成本高昂，且难以捕捉复杂光照下的动态人体。
- 提出RelightNet，利用Transformer架构，通过单次前向传播预测重光照外观，显著提升渲染效率。
- 引入新的光照捕获策略和数据集，结合随机环境光照和均匀光照，实现精确运动跟踪和多样光照覆盖。
📝 摘要（中文）
本文提出了一种名为Relightable Holoported Characters (RHC) 的新型的、针对特定人物的方法，用于仅从稀疏视角RGB视频中对全身和高度动态的人体进行自由视角渲染和重光照。与传统的基于单次一盏灯 (OLAT) 的人体重光照方法不同，我们基于Transformer的RelightNet在一个网络通道中预测重光照后的外观，避免了代价高昂的OLAT基础捕获和生成。为了训练这样的模型，我们引入了一种新的捕获策略和数据集，该数据集在一个多视角光照舞台中记录，其中我们交替使用由随机环境贴图照亮的帧和均匀照亮的跟踪帧，同时实现精确的运动跟踪和多样化的光照以及动态覆盖。受到渲染方程的启发，我们推导出物理信息特征，这些特征从粗糙的人体网格代理和输入视图中编码几何体、反照率、阴影和虚拟相机视图。然后，我们的RelightNet将这些特征作为输入，并使用新的光照条件进行交叉注意，并以附加到粗糙网格代理的纹素对齐的3D高斯splat的形式回归重光照后的外观。因此，我们的RelightNet隐式地学习在单个前馈通道中有效地计算新光照条件下的渲染方程。实验表明，与最先进的方法相比，我们的方法具有卓越的视觉保真度和光照再现能力。
🔬 方法详解
问题定义：现有的人体重光照方法，特别是基于OLAT的方法，需要对每个光源进行单独渲染，计算量大，难以实时处理高动态的人体表演。此外，捕捉复杂光照条件下的数据也面临挑战。
核心思路：本文的核心思路是利用深度学习直接学习渲染方程，从而避免了传统的基于物理的渲染过程。通过训练一个神经网络（RelightNet），使其能够根据输入的几何、材质信息和新的光照条件，直接预测重光照后的外观。
技术框架：整体框架包含数据采集、特征提取和RelightNet三个主要部分。首先，通过多视角光照舞台采集数据，包括随机环境光照和均匀光照下的图像。然后，从粗糙的人体网格代理和输入视图中提取物理信息特征，包括几何体、反照率、阴影和虚拟相机视图。最后，RelightNet将这些特征和新的光照条件作为输入，预测重光照后的外观。输出以纹素对齐的3D高斯splat形式呈现。
关键创新：最重要的创新在于使用Transformer架构的RelightNet，它能够在一个网络通道中预测重光照后的外观，避免了传统OLAT方法的多次渲染。此外，物理信息特征的提取和3D高斯splat的输出形式也是关键创新。
关键设计：RelightNet使用Transformer架构，通过交叉注意力机制将物理信息特征和光照条件进行融合。损失函数的设计旨在保证重光照后的外观与真实图像尽可能接近。3D高斯splat的使用允许高效的渲染和高质量的细节重建。数据集的采集策略结合了随机环境光照和均匀光照，保证了模型能够学习到复杂的光照效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Relightable Holoported Characters (RHC) 在视觉保真度和光照再现方面优于当前最先进的方法。该方法能够生成高质量的重光照人体图像，并且能够处理复杂的动态人体表演。与基于OLAT的方法相比，RHC显著提高了渲染效率，实现了实时重光照。
🎯 应用场景
该技术可应用于虚拟现实、增强现实、游戏、电影制作等领域，实现逼真的人体虚拟化身和实时重光照效果。例如，在VR/AR应用中，用户可以与具有真实光照效果的虚拟人物进行互动。在电影制作中，可以方便地对演员进行重光照，以适应不同的场景需求。该技术还可用于创建个性化的虚拟形象，用于社交媒体和在线会议等。
📄 摘要（原文）
We present Relightable Holoported Characters (RHC), a novel person-specific method for free-view rendering and relighting of full-body and highly dynamic humans solely observed from sparse-view RGB videos at inference. In contrast to classical one-light-at-a-time (OLAT)-based human relighting, our transformer-based RelightNet predicts relit appearance within a single network pass, avoiding costly OLAT-basis capture and generation. For training such a model, we introduce a new capture strategy and dataset recorded in a multi-view lightstage, where we alternate frames lit by random environment maps with uniformly lit tracking frames, simultaneously enabling accurate motion tracking and diverse illumination as well as dynamics coverage. Inspired by the rendering equation, we derive physics-informed features that encode geometry, albedo, shading, and the virtual camera view from a coarse human mesh proxy and the input views. Our RelightNet then takes these features as input and cross-attends them with a novel lighting condition, and regresses the relit appearance in the form of texel-aligned 3D Gaussian splats attached to the coarse mesh proxy. Consequently, our RelightNet implicitly learns to efficiently compute the rendering equation for novel lighting conditions within a single feed-forward pass. Experiments demonstrate our method's superior visual fidelity and lighting reproduction compared to state-of-the-art approaches. Project page: https://vcai.mpi-inf.mpg.de/projects/RHC/