GS-PI: An Optimization-Decoupled Appearance Decomposition Approach for Generating PBR Gaussian Assets
作者: Jieting Xu, Rengan Xie, Zijian Huang, Zehui Jin, Rui Wang, Yuchi Huo
分类: cs.CV, cs.GR
发布日期: 2026-09-17
💡 一句话要点
提出GS-PI以解决PBR资产生成中的光照与几何耦合问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯点云 物理基础渲染 逆渲染 多视图一致性 条件扩散 光照解耦 计算机图形学
📋 核心要点
- 现有的逆渲染方法通过联合优化材料和光照，导致严重的模糊和伪影问题，难以实现高质量的PBR资产生成。
- GS-PI提出了一种优化解耦的框架，将PBR材料生成视为基于3D点云的几何条件扩散过程，从而提高了多视图一致性。
- 实验结果表明，GS-PI在性能上超越了最近的逆渲染基线，成功避免了光照与颜色的耦合问题，生成了可重新照明的PBR-GS资产。
📝 摘要（中文）
Gaussian Splatting (GS) 在新视角合成中表现出色，但其固有的辐射编码使得光照与几何紧密耦合，阻碍了与物理基础渲染（PBR）管道的无缝集成。现有的逆渲染方法通过联合优化尝试解耦材料，但往往面临竞争目标导致的严重模糊和残余光照伪影。为此，我们提出GS-PI，这是一种新颖的优化解耦框架，将PBR材料生成视为基于3D点云的几何条件扩散过程。通过直接在3D域中操作，我们的方法本质上保证了多视图一致性，避免了2D扩散方法所面临的严重像素对应问题。我们引入了一种多尺度跨视图条件机制，整合了全球语义先验、源锚定光度线索和绝对空间学习的视角方向条件信号。
🔬 方法详解
问题定义：论文要解决的问题是如何在生成PBR资产时有效解耦光照与几何信息。现有方法通过联合优化材料和光照，导致了严重的模糊和残余光照伪影，影响了生成质量。
核心思路：GS-PI的核心思路是将PBR材料生成视为一个几何条件的扩散过程，直接在3D点云中操作，从而避免了2D扩散方法中的像素对应问题。
技术框架：GS-PI的整体架构包括三个主要模块：1) 从预训练的高斯模型中提取点云；2) 通过条件扩散预测PBR属性；3) 通过可微分光栅化将属性提炼回去，生成可重新照明的PBR-GS资产。
关键创新：GS-PI的主要创新在于引入了多尺度跨视图条件机制，结合全球语义先验、源锚定光度线索和绝对空间学习的视角方向条件信号，有效压缩复杂的多视图证据，避免了光照伪影的产生。
关键设计：在设计中，GS-PI采用了多尺度特征提取和条件扩散网络，损失函数设计上注重多视图一致性和光照解耦，确保生成的PBR资产在不同视角下保持一致性。通过短期目标驱动的蒸馏过程，进一步提升了生成质量。
🖼️ 关键图片
📊 实验亮点
GS-PI在实验中表现出色，相较于最新的逆渲染基线，显著提高了生成质量，成功避免了光照与颜色的耦合问题，生成的PBR-GS资产在多视图下保持一致性，提升幅度明显。
🎯 应用场景
该研究在计算机图形学和游戏开发领域具有广泛的应用潜力，尤其是在需要高质量PBR资产生成的场景中。GS-PI能够有效提升渲染质量和效率，推动虚拟现实、增强现实等技术的发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
Gaussian Splatting (GS) excels at novel-view synthesis but encodes baked-in radiance, tightly entangling illumination with geometry and preventing seamless integration into physically based rendering (PBR) pipelines. Existing inverse-rendering methods attempt to disentangle materials via joint optimization, but often suffer from competing objectives that cause severe ambiguities and residual lighting artifacts. To overcome this, we present GS-PI, a novel optimization-decoupled framework that casts PBR material generation as a geometry-conditioned diffusion process on 3D point clouds. By operating directly in the 3D domain, our method inherently guarantees multi-view consistency, sidestepping the severe pixel correspondence issues that challenge 2D diffusion approaches. We introduce a multi-scale cross-view conditioning mechanism that integrates three complementary components: a global semantic prior, source-anchored photometric cues, and an absolute spatial learned view-direction conditioning signal. This design efficiently compresses complex multi-view evidence, mitigating cross-view projection misalignment and successfully preventing specular highlights from baking into intrinsic colors. By extracting a point cloud from a pre-trained Gaussian model, predicting PBR attributes via conditional diffusion, and distilling them back through differentiable rasterisation, we yield a fully relightable PBR-GS asset. GS-PI outperforms recent inverse-rendering baselines while replacing per-scene joint illumination/BRDF optimization with a learned diffusion pass followed by a short target-driven distillation, without requiring proxy meshes.