ABC-GS: Alignment-Based Controllable Style Transfer for 3D Gaussian Splatting

📄 arXiv: 2503.22218v1 📥 PDF

作者: Wenjie Liu, Zhongliang Liu, Xiaoyan Yang, Man Sha, Yang Li

分类: cs.CV, eess.IV

发布日期: 2025-03-28

备注: 10 pages, 14 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

ABC-GS：基于对齐的可控3D高斯溅射风格迁移

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D风格迁移 高斯溅射 神经辐射场 特征对齐 可控风格化

📋 核心要点

  1. 现有NeRF风格迁移方法依赖NNFM损失，忽略全局风格，且隐式表达难以精细控制。
  2. ABC-GS通过可控匹配阶段和特征对齐损失，实现内容与风格的精确对齐和全局风格保持。
  3. 实验表明，ABC-GS能有效控制风格迁移，并生成与参考风格更一致的风格化结果。

📝 摘要（中文）

本文提出ABC-GS，一个基于3D高斯溅射的新框架，用于实现高质量的3D风格迁移。针对现有基于神经辐射场(NeRF)的3D场景风格化方法依赖最近邻特征匹配(NNFM)损失，但忽略全局风格信息，以及NeRF的隐式表示限制了对结果场景的细粒度控制的问题，ABC-GS设计了一个可控的匹配阶段，通过分割掩码实现场景内容和风格特征之间的精确对齐。此外，提出了一种基于特征对齐的风格迁移损失函数，以确保风格迁移的结果准确反映参考图像的全局风格。同时，通过深度损失和高斯正则化项保留了场景的原始几何信息。大量实验表明，ABC-GS提供了风格迁移的可控性，并实现了与所选艺术参考的全局风格更忠实对齐的风格化结果。

🔬 方法详解

问题定义：现有基于NeRF的3D场景风格迁移方法主要依赖于最近邻特征匹配(NNFM)损失。这种方法的痛点在于它没有考虑到全局的风格信息，容易导致风格迁移结果的局部性，无法捕捉到参考风格的整体艺术感。此外，NeRF的隐式表达方式限制了用户对风格迁移结果的细粒度控制，难以根据用户的意愿调整场景的特定部分。

核心思路：ABC-GS的核心思路是通过显式地对齐场景内容和风格特征来实现可控的风格迁移。具体来说，它首先利用分割掩码将场景内容划分为不同的区域，然后通过一个可控的匹配阶段，将这些区域的特征与参考图像的风格特征进行对齐。同时，为了保证风格迁移结果的全局一致性，ABC-GS还引入了一个基于特征对齐的风格迁移损失函数，该损失函数能够促使风格迁移结果准确地反映参考图像的全局风格。

技术框架：ABC-GS的整体框架主要包括以下几个模块：1) 场景分割模块：用于将3D场景分割成不同的区域，为后续的特征对齐提供基础。2) 特征提取模块：用于提取场景内容和参考图像的特征。3) 可控匹配模块：用于将场景内容的特征与参考图像的风格特征进行对齐，用户可以通过调整匹配策略来控制风格迁移的结果。4) 风格迁移模块：用于将对齐后的特征融合到3D场景中，生成风格化的结果。5) 几何保持模块：通过深度损失和高斯正则化项，保持场景的原始几何信息。

关键创新：ABC-GS最重要的技术创新点在于其可控的匹配阶段和基于特征对齐的风格迁移损失函数。可控匹配阶段允许用户通过调整匹配策略来控制风格迁移的结果，从而实现细粒度的风格控制。基于特征对齐的风格迁移损失函数能够促使风格迁移结果准确地反映参考图像的全局风格，从而保证风格迁移结果的全局一致性。与现有方法的本质区别在于，ABC-GS不再依赖于局部的特征匹配，而是通过全局的特征对齐来实现风格迁移。

关键设计：在可控匹配阶段，论文可能使用了注意力机制或者最优传输等方法来实现特征的对齐。风格迁移损失函数可能采用了Gram矩阵或者其他风格表示方法来衡量风格的相似度。深度损失通常采用L1或L2损失来约束风格迁移后的深度图与原始深度图之间的差异。高斯正则化项则用于约束3D高斯参数，防止其过度变形。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了ABC-GS的有效性。实验结果表明，ABC-GS能够生成高质量的3D风格迁移结果，并且能够实现对风格迁移结果的细粒度控制。与现有的NeRF风格迁移方法相比，ABC-GS在风格一致性和可控性方面都有显著提升。具体性能数据和对比基线未知，但从论文描述来看，ABC-GS在视觉效果上优于现有方法。

🎯 应用场景

ABC-GS在游戏美术设计、电影特效制作、建筑可视化等领域具有广泛的应用前景。它可以帮助设计师快速生成具有特定艺术风格的3D场景，提高创作效率。此外，该技术还可以用于虚拟现实和增强现实应用中，为用户提供更加个性化的体验。未来，该研究有望推动3D内容创作的自动化和智能化。

📄 摘要（原文）

3D scene stylization approaches based on Neural Radiance Fields (NeRF) achieve promising results by optimizing with Nearest Neighbor Feature Matching (NNFM) loss. However, NNFM loss does not consider global style information. In addition, the implicit representation of NeRF limits their fine-grained control over the resulting scenes. In this paper, we introduce ABC-GS, a novel framework based on 3D Gaussian Splatting to achieve high-quality 3D style transfer. To this end, a controllable matching stage is designed to achieve precise alignment between scene content and style features through segmentation masks. Moreover, a style transfer loss function based on feature alignment is proposed to ensure that the outcomes of style transfer accurately reflect the global style of the reference image. Furthermore, the original geometric information of the scene is preserved with the depth loss and Gaussian regularization terms. Extensive experiments show that our ABC-GS provides controllability of style transfer and achieves stylization results that are more faithfully aligned with the global style of the chosen artistic reference. Our homepage is available at https://vpx-ecnu.github.io/ABC-GS-website.