StyleMe3D: Stylization with Disentangled Priors by Multiple Encoders on 3D Gaussians

📄 arXiv: 2504.15281v1 📥 PDF

作者: Cailin Zhuang, Yaoqi Hu, Xuanyang Zhang, Wei Cheng, Jiacheng Bao, Shengqi Liu, Yiying Yang, Xianfang Zeng, Gang Yu, Ming Li

分类: cs.CV

发布日期: 2025-04-21

备注: 16 pages; Project page: https://styleme3d.github.io/

💡 一句话要点

StyleMe3D：通过多编码器解耦先验，实现3D高斯模型的风格迁移

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 风格迁移 多模态学习 语义对齐 对比学习

📋 核心要点

  1. 现有3D高斯溅射方法在风格化场景中存在纹理碎片化、语义不对齐等问题，难以生成高质量的风格化3D模型。
  2. StyleMe3D通过多模态风格条件、多层次语义对齐和感知质量增强，实现了对3D高斯模型的有效风格迁移。
  3. 实验结果表明，StyleMe3D在保持几何细节和风格一致性方面优于现有方法，并能实现实时渲染。

📝 摘要（中文）

3D高斯溅射(3DGS)在照片级真实感场景重建方面表现出色，但由于纹理碎片化、语义不对齐以及对抽象美学的适应性有限，难以应用于风格化场景(如卡通、游戏)。我们提出了StyleMe3D，一个用于3D GS风格迁移的整体框架，它集成了多模态风格条件、多层次语义对齐和感知质量增强。我们的关键见解包括：(1)仅优化RGB属性可在风格化过程中保持几何完整性；(2)解耦低、中、高级语义对于连贯的风格迁移至关重要；(3)在孤立对象和复杂场景中的可扩展性对于实际部署至关重要。StyleMe3D引入了四个新颖的组件：动态风格分数蒸馏(DSSD)，利用Stable Diffusion的潜在空间进行语义对齐；对比风格描述符(CSD)，用于局部、内容感知的纹理迁移；同步优化尺度(SOS)，用于解耦风格细节和结构连贯性；以及3D高斯质量评估(3DG-QA)，一种在人工评估数据上训练的可微美学先验，用于抑制伪影并增强视觉和谐。在NeRF合成数据集(对象)和tandt db(场景)数据集上进行评估，StyleMe3D在保持几何细节(如雕塑上的雕刻)和确保场景间的风格一致性(如景观中连贯的光照)方面优于最先进的方法，同时保持实时渲染。这项工作桥接了照片级真实感3D GS和艺术风格化，开启了在游戏、虚拟世界和数字艺术中的应用。

🔬 方法详解

问题定义：现有的3D高斯溅射（3DGS）方法虽然在真实感场景重建方面表现出色，但在风格化场景中面临挑战。这些方法生成的风格化结果往往存在纹理碎片化、语义不对齐等问题，难以满足游戏、数字艺术等领域的需求。现有方法缺乏对风格化过程的细粒度控制，难以在保持几何结构的同时实现高质量的风格迁移。

核心思路：StyleMe3D的核心思路是通过解耦不同层次的语义信息，并利用多模态风格条件进行风格迁移。该方法认为，风格迁移不仅需要考虑全局的风格特征，还需要关注局部的内容信息和几何结构。因此，StyleMe3D通过多个编码器提取不同层次的语义特征，并利用对比学习等技术实现语义对齐，从而保证风格迁移的质量和一致性。

技术框架：StyleMe3D的整体框架包括以下几个主要模块：1) 多模态风格条件模块：用于提取图像和文本等多模态风格信息。2) 多层次语义对齐模块：通过多个编码器提取低、中、高级语义特征，并利用动态风格分数蒸馏（DSSD）和对比风格描述符（CSD）实现语义对齐。3) 同步优化尺度（SOS）模块：用于解耦风格细节和结构连贯性。4) 3D高斯质量评估（3DG-QA）模块：用于评估风格化结果的质量，并指导模型的训练。

关键创新：StyleMe3D的关键创新在于以下几个方面：1) 提出了动态风格分数蒸馏（DSSD）方法，利用Stable Diffusion的潜在空间进行语义对齐。2) 提出了对比风格描述符（CSD），用于局部、内容感知的纹理迁移。3) 提出了同步优化尺度（SOS），用于解耦风格细节和结构连贯性。4) 提出了3D高斯质量评估（3DG-QA），一种可微美学先验，用于抑制伪影并增强视觉和谐。

关键设计：在DSSD中，作者利用Stable Diffusion的潜在空间作为语义对齐的桥梁，通过计算风格图像和内容图像在潜在空间中的相似度，实现语义对齐。在CSD中，作者利用对比学习的思想，训练一个能够区分不同风格的描述符，从而实现局部风格迁移。在SOS中，作者通过同时优化高斯模型的尺度和颜色，实现风格细节和结构连贯性的解耦。3DG-QA是一个在人工评估数据上训练的神经网络，用于评估风格化结果的质量，并作为损失函数的一部分指导模型的训练。

📊 实验亮点

StyleMe3D在NeRF合成数据集和tandt db数据集上进行了评估，实验结果表明，StyleMe3D在保持几何细节和风格一致性方面优于现有方法。例如，在雕塑风格化任务中，StyleMe3D能够更好地保留雕塑上的雕刻细节。在景观风格化任务中，StyleMe3D能够生成具有连贯光照效果的风格化场景。此外，StyleMe3D还能够实现实时渲染，满足实际应用的需求。

🎯 应用场景

StyleMe3D在游戏开发、虚拟世界构建和数字艺术创作等领域具有广泛的应用前景。它可以帮助游戏开发者快速生成具有特定风格的3D场景和角色，提升游戏的美术品质。在虚拟世界中，StyleMe3D可以用于创建各种风格的虚拟环境，满足用户的个性化需求。此外，StyleMe3D还可以作为一种数字艺术创作工具，帮助艺术家创作出独特的3D艺术作品。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) excels in photorealistic scene reconstruction but struggles with stylized scenarios (e.g., cartoons, games) due to fragmented textures, semantic misalignment, and limited adaptability to abstract aesthetics. We propose StyleMe3D, a holistic framework for 3D GS style transfer that integrates multi-modal style conditioning, multi-level semantic alignment, and perceptual quality enhancement. Our key insights include: (1) optimizing only RGB attributes preserves geometric integrity during stylization; (2) disentangling low-, medium-, and high-level semantics is critical for coherent style transfer; (3) scalability across isolated objects and complex scenes is essential for practical deployment. StyleMe3D introduces four novel components: Dynamic Style Score Distillation (DSSD), leveraging Stable Diffusion's latent space for semantic alignment; Contrastive Style Descriptor (CSD) for localized, content-aware texture transfer; Simultaneously Optimized Scale (SOS) to decouple style details and structural coherence; and 3D Gaussian Quality Assessment (3DG-QA), a differentiable aesthetic prior trained on human-rated data to suppress artifacts and enhance visual harmony. Evaluated on NeRF synthetic dataset (objects) and tandt db (scenes) datasets, StyleMe3D outperforms state-of-the-art methods in preserving geometric details (e.g., carvings on sculptures) and ensuring stylistic consistency across scenes (e.g., coherent lighting in landscapes), while maintaining real-time rendering. This work bridges photorealistic 3D GS and artistic stylization, unlocking applications in gaming, virtual worlds, and digital art.