Reference-based Controllable Scene Stylization with Gaussian Splatting
作者: Yiqun Mei, Jiacong Xu, Vishal M. Patel
分类: cs.CV, cs.GR
发布日期: 2024-07-09
💡 一句话要点
提出ReGS，利用高斯溅射实现参考图像引导的实时可控场景风格化
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 场景风格化 3D高斯溅射 神经渲染 实时渲染 纹理引导
📋 核心要点
- 现有基于NeRF的风格化方法渲染速度慢，难以满足实时应用需求。
- ReGS利用3D高斯溅射，通过纹理引导的控制机制调整高斯分布的几何排列，实现风格迁移。
- ReGS在保证风格化效果的同时，实现了实时渲染，支持自由视点导航。
📝 摘要（中文）
基于参考图像的场景风格化是一种新兴的研究领域，它根据内容对齐的参考图像来编辑场景的外观。现有方法通常从预训练的神经辐射场（NeRF）开始，学习一种与给定风格匹配的新外观。尽管它们有效，但它们固有地受到耗时的体渲染的影响，因此对于许多实时应用来说是不切实际的。在这项工作中，我们提出了ReGS，它采用3D高斯溅射（3DGS）进行基于参考的风格化，以实现实时风格化视图合成。编辑预训练的3DGS的外观具有挑战性，因为它使用离散高斯作为3D表示，这会将外观与几何形状紧密结合。简单地像先前方法那样优化外观通常不足以对给定参考图像中的连续纹理进行建模。为了应对这一挑战，我们提出了一种新颖的纹理引导控制机制，该机制自适应地将局部负责的高斯调整到新的几何排列，从而服务于所需的纹理细节。所提出的过程由纹理线索引导以进行有效的外观编辑，并通过场景深度进行正则化以保留原始几何结构。通过这些新颖的设计，我们表明ReGS可以产生最先进的风格化结果，这些结果尊重参考纹理，同时拥抱实时渲染速度以进行自由视点导航。
🔬 方法详解
问题定义：现有基于参考图像的场景风格化方法，通常基于NeRF，存在渲染速度慢的问题，难以满足实时应用的需求。直接优化3D高斯溅射的外观，难以捕捉参考图像中的连续纹理，风格化效果不佳。
核心思路：ReGS的核心思路是利用3D高斯溅射作为场景表示，并引入纹理引导的控制机制，自适应地调整局部高斯分布的几何排列，从而实现对参考图像风格的迁移。通过调整高斯分布的位置和形状，可以更好地拟合目标风格的纹理细节。
技术框架：ReGS的整体框架包括以下几个主要步骤：1) 使用预训练的3D高斯溅射模型表示原始场景；2) 从参考图像中提取纹理特征；3) 利用纹理特征引导高斯分布的几何调整；4) 优化高斯分布的外观参数，以匹配参考图像的风格。该框架的关键在于纹理引导的控制机制，它负责将纹理特征转化为对高斯分布几何形状的调整。
关键创新：ReGS的关键创新在于纹理引导的控制机制。该机制能够根据参考图像的纹理信息，自适应地调整局部高斯分布的几何排列，从而更好地拟合目标风格的纹理细节。与直接优化外观参数的方法相比，该方法能够更有效地捕捉参考图像中的连续纹理，提高风格化效果。
关键设计：ReGS的关键设计包括：1) 使用深度信息正则化高斯分布的调整，以保持原始场景的几何结构；2) 设计损失函数，鼓励生成的结果与参考图像的风格一致，同时保持场景的几何结构；3) 使用自适应学习率调整高斯分布的参数，以提高优化效率。
🖼️ 关键图片
📊 实验亮点
ReGS在参考图像引导的场景风格化任务上取得了state-of-the-art的结果。与基于NeRF的方法相比，ReGS实现了实时渲染，显著提高了渲染速度。实验结果表明，ReGS能够生成高质量的风格化结果，同时保持场景的几何结构。
🎯 应用场景
ReGS具有广泛的应用前景，例如：虚拟现实/增强现实（VR/AR）内容创作、游戏开发、电影特效制作等。它可以用于快速生成具有特定风格的3D场景，提高内容创作的效率和质量。此外，ReGS还可以应用于艺术创作领域，帮助艺术家探索不同的视觉风格。
📄 摘要（原文）
Referenced-based scene stylization that edits the appearance based on a content-aligned reference image is an emerging research area. Starting with a pretrained neural radiance field (NeRF), existing methods typically learn a novel appearance that matches the given style. Despite their effectiveness, they inherently suffer from time-consuming volume rendering, and thus are impractical for many real-time applications. In this work, we propose ReGS, which adapts 3D Gaussian Splatting (3DGS) for reference-based stylization to enable real-time stylized view synthesis. Editing the appearance of a pretrained 3DGS is challenging as it uses discrete Gaussians as 3D representation, which tightly bind appearance with geometry. Simply optimizing the appearance as prior methods do is often insufficient for modeling continuous textures in the given reference image. To address this challenge, we propose a novel texture-guided control mechanism that adaptively adjusts local responsible Gaussians to a new geometric arrangement, serving for desired texture details. The proposed process is guided by texture clues for effective appearance editing, and regularized by scene depth for preserving original geometric structure. With these novel designs, we show ReGs can produce state-of-the-art stylization results that respect the reference texture while embracing real-time rendering speed for free-view navigation.