GOR-IS: 3D Gaussian Object Removal in the Intrinsic Space

📄 arXiv: 2605.00498v1 📥 PDF

作者: Yonghao Zhao, Yupeng Gao, Jian Yang, Jin Xie, Beibei Wang

分类: cs.CV

发布日期: 2026-05-01

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GOR-IS，在内参空间实现3D高斯模型的物体移除与光照一致性修复。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 物体移除 内参空间 光照一致性 非朗伯表面

📋 核心要点

  1. 现有3D物体移除方法忽略全局光照效果，且难以处理视角相关的非朗伯表面，导致修复结果在物理和视觉上不一致。
  2. GOR-IS将场景分解为内参分量，显式建模光传输以保持光照一致性，并在内参空间进行修复，有效处理非朗伯表面。
  3. 实验结果表明，GOR-IS在物理一致性和视觉连贯性方面显著优于现有方法，LPIPS指标提升13%，PSNR指标提升2dB。

📝 摘要（中文）

近年来，神经辐射场（NeRF）和3D高斯溅射（3DGS）已成为从多视角图像重建3D场景的标准方法。从这些3D表示中移除物体是一项基本的编辑任务，它需要对遮挡区域进行完整和无缝的修复，以确保几何和外观的一致性。虽然现有方法在提高修复一致性方面取得了显著进展，但它们通常忽略了全局光照效果，导致物理上不合理的结果。此外，这些方法难以处理视角相关的非朗伯表面，其中外观随视角变化，导致不可靠的修复。本文提出了内参空间中的3D高斯物体移除（GOR-IS），这是一个用于物理一致且视觉连贯的3D物体移除的新框架。我们的方法将场景分解为内参分量，并显式地建模光传输，以保持全局光照效果的一致性。此外，我们引入了一个在材质和光照域中直接操作的内参空间修复模块，有效地解决了非朗伯表面带来的挑战。在合成和真实世界数据集上的大量实验表明，我们的框架显著提高了物体移除的物理一致性和视觉连贯性，在感知相似性（LPIPS）方面优于现有方法13%，在峰值信噪比（PSNR）方面优于现有方法2dB。

🔬 方法详解

问题定义：现有3D场景物体移除方法在处理复杂光照和非朗伯表面时存在缺陷，导致修复后的场景在光照一致性和视觉真实性方面表现不佳。具体来说，现有方法难以保持全局光照效果，并且在视角变化时，对非朗伯表面的修复结果不准确，影响整体场景的物理合理性。

核心思路：GOR-IS的核心思路是将3D场景分解到内参空间，即分解为材质、光照等独立的分量。通过在内参空间中进行物体移除和修复，可以更好地控制光照效果，并解决非朗伯表面的视角依赖性问题。显式地建模光传输过程，保证全局光照的一致性，从而实现物理上更合理的物体移除。

技术框架：GOR-IS框架主要包含以下几个阶段：1) 3D场景的内参分解，将场景表示分解为材质、光照等分量；2) 在内参空间中进行物体移除；3) 内参空间修复模块，对移除物体后产生的空洞进行修复，该模块直接在材质和光照域中操作；4) 将修复后的内参分量重新组合，得到最终的3D场景表示。整个流程旨在保持光照一致性和处理非朗伯表面。

关键创新：GOR-IS的关键创新在于其在内参空间进行物体移除和修复。与直接在RGB空间进行操作的方法不同，GOR-IS通过解耦光照和材质，能够更好地控制光照效果，并解决非朗伯表面的视角依赖性问题。此外，显式地建模光传输过程也是一个重要的创新点，保证了全局光照的一致性。

关键设计：GOR-IS的关键设计包括：1) 内参分解的具体方法，例如使用特定的神经网络结构或优化算法来实现；2) 内参空间修复模块的设计，包括所使用的损失函数、网络结构等，以保证修复结果的质量；3) 光传输模型的选择和参数设置，以准确地模拟光照效果。具体的参数设置和网络结构等技术细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GOR-IS在合成和真实数据集上均取得了显著的性能提升。在感知相似性（LPIPS）指标上，GOR-IS优于现有方法13%。在峰值信噪比（PSNR）指标上，GOR-IS优于现有方法2dB。这些数据表明，GOR-IS在物理一致性和视觉连贯性方面都取得了显著的进步。

🎯 应用场景

GOR-IS技术可应用于虚拟现实、增强现实、游戏开发、电影制作等领域。例如，在VR/AR应用中，可以移除场景中不需要的物体，并无缝地填充背景，提升用户体验。在游戏开发中，可以快速编辑3D场景，创造更丰富的游戏世界。在电影制作中，可以实现更逼真的特效，例如移除拍摄现场的干扰物。

📄 摘要（原文）

Recent advances in Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) have made it standard practice to reconstruct 3D scenes from multi-view images. Removing objects from such 3D representations is a fundamental editing task that requires complete and seamless inpainting of occluded regions, ensuring consistency in geometry and appearance. Although existing methods have made notable progress in improving inpainting consistency, they often neglect global lighting effects, leading to physically implausible results. Moreover, these methods struggle with view-dependent non-Lambertian surfaces, where appearance varies across viewpoints, leading to unreliable inpainting. In this paper, we present 3D Gaussian Object Removal in the Intrinsic Space (GOR-IS), a novel framework for physically consistent and visually coherent 3D object removal. Our approach decomposes the scene into intrinsic components and explicitly models light transport to maintain global lighting effects consistency. Furthermore, we introduce an intrinsic-space inpainting module that operates directly in the material and lighting domains, effectively addressing the challenges posed by non-Lambertian surfaces. Extensive experiments on both synthetic and real-world datasets demonstrate that our framework substantially improves the physical consistency and visual coherence of object removal, outperforming existing methods by 13% in perceptual similarity (LPIPS) and 2dB in peak signal-to-noise ratio (PSNR). Code is publicly available at https://applezyh.github.io/GOR-IS-project-page/