HeadLighter: Disentangling Illumination in Generative 3D Gaussian Heads via Lightstage Captures
作者: Yating Wang, Yuan Sun, Xuan Wang, Ran Yi, Boyao Zhou, Yipengjing Sun, Hongyu Liu, Yinuo Wang, Lizhuang Ma
分类: cs.CV
发布日期: 2026-01-05
💡 一句话要点
HeadLighter：通过光场捕捉解耦生成式3D高斯头部中的光照
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 3D头部生成 光照解耦 高斯溅射 光场捕捉 监督学习 渲染 外观建模
📋 核心要点
- 现有的基于3D高斯溅射的头部生成模型在光照解耦方面存在困难，光照与外观的深度纠缠限制了其应用。
- HeadLighter提出了一种监督框架，通过双分支架构和渐进式解耦训练，学习头部外观和光照的物理可信分解。
- 实验结果表明，该方法在保持高质量生成和实时渲染的同时，支持显式光照和视点编辑，具有良好的性能。
📝 摘要（中文）
基于3D高斯溅射的3D感知头部生成模型能够实现实时、逼真且视角一致的头部合成。然而，光照与内在外观的深度纠缠限制了可控的光照重打。现有的解耦方法依赖于强假设以实现弱监督学习，限制了其处理复杂光照的能力。为了解决这个问题，我们提出了HeadLighter，一种新颖的监督框架，用于学习头部生成模型中外观和光照的物理可信分解。具体来说，我们设计了一个双分支架构，分别建模光照不变的头部属性和物理基础的渲染组件。采用渐进式解耦训练，逐步将头部外观先验注入生成架构，并通过在光场设置下受控光照条件下的多视角图像进行监督。我们进一步引入了一种蒸馏策略，以生成高质量的法线用于逼真渲染。实验表明，我们的方法保留了高质量生成和实时渲染，同时支持显式光照和视点编辑。我们将公开发布我们的代码和数据集。
🔬 方法详解
问题定义：现有基于3D高斯溅射的头部生成模型虽然能实现逼真的头部合成，但光照与头部内在外观的深度纠缠使得光照控制变得困难。现有的解耦方法通常依赖于强假设进行弱监督学习，这限制了它们处理复杂光照条件的能力，无法实现精细的光照编辑。
核心思路：HeadLighter的核心思路是通过监督学习的方式，显式地将头部外观和光照进行解耦。该方法利用光场捕捉技术，在受控的光照条件下获取多视角图像，从而为监督学习提供可靠的数据。通过学习外观和光照的物理可信分解，实现对头部光照的精确控制。
技术框架：HeadLighter采用双分支架构，一个分支用于建模光照不变的头部属性（如纹理、形状），另一个分支用于建模物理基础的渲染组件（如光照、阴影）。该框架采用渐进式解耦训练策略，逐步将头部外观先验注入生成架构。此外，还引入了蒸馏策略，从高质量的渲染结果中提取法线信息，用于提升渲染的真实感。
关键创新：HeadLighter的关键创新在于其监督学习框架和渐进式解耦训练策略。与以往依赖弱监督或无监督的方法不同，HeadLighter利用光场数据进行强监督学习，从而能够更准确地解耦光照和外观。渐进式解耦训练则有助于稳定训练过程，并逐步将头部外观先验融入模型中。
关键设计：HeadLighter的关键设计包括：1) 双分支架构，分别建模光照不变的头部属性和物理基础的渲染组件；2) 渐进式解耦训练策略，逐步注入头部外观先验；3) 蒸馏策略，生成高质量法线；4) 使用光场数据进行监督学习，确保光照解耦的准确性。具体的损失函数设计和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HeadLighter在保持高质量生成和实时渲染的同时，能够实现显式光照和视点编辑。通过与现有方法的对比，HeadLighter在光照解耦和渲染质量方面均取得了显著提升。论文还提供了消融实验，验证了各个模块的有效性。公开的代码和数据集将有助于推动相关领域的研究。
🎯 应用场景
HeadLighter的研究成果可应用于虚拟现实、增强现实、游戏开发、电影制作等领域。通过精确的光照控制，可以实现更加逼真和可控的虚拟人物生成，提升用户体验。此外，该技术还可以用于人脸重建、光照编辑等任务，具有广泛的应用前景和实际价值。未来，该技术有望进一步发展，实现更加精细和实时的光照控制，为相关领域带来更大的创新。
📄 摘要（原文）
Recent 3D-aware head generative models based on 3D Gaussian Splatting achieve real-time, photorealistic and view-consistent head synthesis. However, a fundamental limitation persists: the deep entanglement of illumination and intrinsic appearance prevents controllable relighting. Existing disentanglement methods rely on strong assumptions to enable weakly supervised learning, which restricts their capacity for complex illumination. To address this challenge, we introduce HeadLighter, a novel supervised framework that learns a physically plausible decomposition of appearance and illumination in head generative models. Specifically, we design a dual-branch architecture that separately models lighting-invariant head attributes and physically grounded rendering components. A progressive disentanglement training is employed to gradually inject head appearance priors into the generative architecture, supervised by multi-view images captured under controlled light conditions with a light stage setup. We further introduce a distillation strategy to generate high-quality normals for realistic rendering. Experiments demonstrate that our method preserves high-quality generation and real-time rendering, while simultaneously supporting explicit lighting and viewpoint editing. We will publicly release our code and dataset.