M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting

📄 arXiv: 2604.03773 📥 PDF

作者: Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

M2StyleGS：利用高斯溅射和多模态信息进行3D风格迁移，实现实时风格化渲染。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D风格迁移 高斯溅射 多模态学习 CLIP模型 特征对齐

📋 核心要点

  1. 现有3D风格迁移方法依赖于固定的参考图像，缺乏对文本描述等灵活输入的支持。
  2. M2StyleGS利用3D高斯溅射和CLIP多模态知识，通过细分流实现精确的特征对齐，从而进行风格迁移。
  3. 实验结果表明，M2StyleGS在视觉质量和一致性方面优于现有方法，一致性指标提升高达32.92%。

📝 摘要（中文）

本文提出了一种新颖的实时风格化技术M2StyleGS，用于生成精确颜色映射的视图序列。该方法利用3D高斯溅射（3DGS）作为3D表示，并使用CLIP提炼的多模态知识作为参考风格。M2StyleGS通过采用精确的特征对齐（即细分流）来解决异常变换问题，增强了映射的CLIP文本-视觉组合特征到VGG风格特征的投影。此外，引入了观察损失，以帮助风格化场景在生成过程中更好地匹配参考风格，以及抑制损失，以抑制整个解码过程中参考颜色信息的偏移。通过整合这些方法，M2StyleGS可以使用文本或图像作为参考来生成一组风格增强的新视角。实验表明，M2StyleGS实现了更好的视觉质量，并且在一致性方面比以前的工作提高了高达32.92%。

🔬 方法详解

问题定义：现有的3D风格迁移方法主要依赖于单一的参考图像，无法灵活地接受文本描述或其他类型的多模态输入。这限制了用户在虚拟现实和增强现实等应用中的创造性和交互性。此外，直接将风格从参考图像迁移到3D场景可能导致几何结构的扭曲和不一致的风格应用。

核心思路：M2StyleGS的核心思路是利用3D高斯溅射（3DGS）作为3D场景的表示，因为它具有可微渲染的特性，便于优化。同时，利用CLIP模型强大的多模态理解能力，将文本或图像的风格信息编码成统一的特征向量。通过将CLIP特征与3DGS的颜色信息进行融合，并引入额外的损失函数进行约束，实现高质量的风格迁移。

技术框架：M2StyleGS的整体框架包括以下几个主要模块：1) 3DGS表示：使用3D高斯溅射来表示3D场景。2) 多模态风格编码：使用CLIP模型将文本或图像编码成风格特征向量。3) 特征对齐：通过细分流（subdivisive flow）实现CLIP特征与VGG风格特征的精确对齐。4) 风格迁移：将对齐后的风格特征融入到3DGS的颜色信息中。5) 损失函数：包括观察损失（observation loss）和抑制损失（suppression loss），用于约束风格迁移过程。

关键创新：M2StyleGS的关键创新在于：1) 引入了多模态风格迁移，允许使用文本或图像作为参考风格。2) 提出了细分流（subdivisive flow）来实现精确的特征对齐，解决了异常变换问题。3) 设计了观察损失和抑制损失，分别用于保证风格一致性和颜色信息的稳定性。

关键设计：细分流是一种特征对齐方法，它通过迭代地细化特征图来实现更精确的对齐。观察损失用于鼓励风格化后的场景与参考风格在视觉上相似。抑制损失用于抑制在风格迁移过程中颜色信息的偏移，保持场景的原始结构。具体的网络结构和参数设置在论文中有详细描述，例如CLIP模型选择、VGG特征提取层等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，M2StyleGS在视觉质量和风格一致性方面优于现有的3D风格迁移方法。具体而言，M2StyleGS在一致性指标上比之前的工作提高了高达32.92%。此外，M2StyleGS能够处理多种类型的风格参考，包括文本和图像，展示了其强大的泛化能力。

🎯 应用场景

M2StyleGS具有广泛的应用前景，包括虚拟现实（VR）、增强现实（AR）、游戏开发、艺术创作等领域。用户可以使用文本描述或参考图像，快速地将3D场景风格化，创造出具有独特艺术风格的虚拟环境。该技术还可以用于3D内容的快速原型设计和风格探索，提高创作效率。

📄 摘要（原文）

Conventional 3D style transfer methods rely on a fixed reference image to apply artistic patterns to 3D scenes. However, in practical applications such as virtual or augmented reality, users often prefer more flexible inputs, including textual descriptions and diverse imagery. In this work, we introduce a novel real-time styling technique M2StyleGS to generate a sequence of precisely color-mapped views. It utilizes 3D Gaussian Splatting (3DGS) as a 3D presentation and multi-modality knowledge refined by CLIP as a reference style. M2StyleGS resolves the abnormal transformation issue by employing a precise feature alignment, namely subdivisive flow, it strengthens the projection of the mapped CLIP text-visual combination feature to the VGG style feature. In addition, we introduce observation loss, which assists in the stylized scene better matching the reference style during the generation, and suppression loss, which suppresses the offset of reference color information throughout the decoding process. By integrating these approaches, M2StyleGS can employ text or images as references to generate a set of style-enhanced novel views. Our experiments show that M2StyleGS achieves better visual quality and surpasses the previous work by up to 32.92% in terms of consistency.