CLIPGaussian: Universal and Multimodal Style Transfer Based on Gaussian Splatting

📄 arXiv: 2505.22854v2 📥 PDF

作者: Kornel Howil, Joanna Waczyńska, Piotr Borycki, Tadeusz Dziarmaga, Marcin Mazur, Przemysław Spurek

分类: cs.CV

发布日期: 2025-05-28 (更新: 2025-10-24)

备注: Accepted to NeurIPS 2025

💡 一句话要点

提出CLIPGaussian，实现基于高斯溅射的通用多模态风格迁移

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高斯溅射 风格迁移 多模态 CLIP模型 3D渲染

📋 核心要点

  1. 现有高斯溅射风格迁移方法难以实现复杂的风格迁移，尤其是在颜色变化之外。
  2. CLIPGaussian通过直接操作高斯基元，并结合CLIP模型，实现了文本和图像引导的风格迁移。
  3. 实验表明，CLIPGaussian在2D图像、视频、3D对象和4D场景中均表现出优越的风格保真度和一致性。

📝 摘要（中文）

高斯溅射(GS)最近成为一种高效的3D场景渲染表示方法，并已扩展到图像、视频和动态4D内容。然而，将风格迁移应用于基于GS的表示仍然具有挑战性，尤其是在超出简单颜色变化的情况下。本文提出了CLIPGaussian，这是第一个统一的风格迁移框架，支持跨多种模态（2D图像、视频、3D对象和4D场景）的文本和图像引导的风格化。该方法直接在高斯基元上操作，并作为插件模块集成到现有的GS流程中，无需大型生成模型或从头开始的重新训练。CLIPGaussian方法能够在3D和4D设置中联合优化颜色和几何形状，并在视频中实现时间一致性，同时保持模型大小。实验结果表明，该方法在所有任务中都具有卓越的风格保真度和一致性，验证了CLIPGaussian作为一种通用且高效的多模态风格迁移解决方案。

🔬 方法详解

问题定义：现有的基于高斯溅射的风格迁移方法，尤其是在处理超出简单颜色变化的复杂风格时，面临着挑战。这些方法通常难以在保持模型大小的同时，实现跨多种模态（如2D图像、视频、3D对象和4D场景）的一致性和保真度。此外，现有方法可能需要大型生成模型或从头开始的重新训练，增加了计算成本和复杂性。

核心思路：CLIPGaussian的核心思路是利用CLIP（Contrastive Language-Image Pre-training）模型的强大语义理解能力，将文本或图像的风格信息融入到高斯溅射的基元中。通过优化高斯基元的颜色和几何属性，使得渲染结果在视觉上与目标风格对齐。这种方法避免了对大型生成模型的依赖，并且可以直接集成到现有的高斯溅射流程中。

技术框架：CLIPGaussian作为一个插件模块集成到现有的高斯溅射流程中。整体流程包括：1) 使用高斯溅射表示输入场景（2D图像、视频、3D对象或4D场景）；2) 使用CLIP模型提取目标风格的文本或图像特征；3) 定义一个损失函数，该损失函数衡量渲染结果与目标风格特征之间的差异；4) 通过优化高斯基元的颜色和几何属性，最小化损失函数，从而实现风格迁移。

关键创新：CLIPGaussian的关键创新在于其通用性和多模态性。它能够处理2D图像、视频、3D对象和4D场景的风格迁移，并且支持文本和图像引导的风格化。此外，该方法通过联合优化颜色和几何形状，并在视频中实现时间一致性，从而提高了风格迁移的质量和稳定性。

关键设计：CLIPGaussian的关键设计包括：1) 使用CLIP模型提取风格特征；2) 定义一个风格损失函数，该损失函数基于CLIP特征的差异；3) 使用优化算法（如Adam）更新高斯基元的颜色和几何属性。具体的损失函数可以根据不同的任务进行调整，例如，可以添加时间一致性损失来提高视频风格迁移的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLIPGaussian在2D图像、视频、3D对象和4D场景中均表现出优越的风格保真度和一致性。与现有的风格迁移方法相比，CLIPGaussian能够更好地保留原始场景的结构和细节，同时实现更逼真的风格迁移效果。此外，CLIPGaussian在视频风格迁移中能够实现时间一致性，避免了闪烁等问题。定量评估和定性比较都验证了CLIPGaussian的有效性。

🎯 应用场景

CLIPGaussian具有广泛的应用前景，包括电影制作、游戏开发、虚拟现实和增强现实等领域。它可以用于快速生成具有特定风格的3D内容，例如，将一个普通的3D模型转换为具有卡通风格或油画风格的模型。此外，CLIPGaussian还可以用于视频风格迁移，例如，将一个视频转换为具有复古风格或科幻风格的视频。该研究的实际价值在于降低了风格迁移的门槛，使得非专业人士也能够轻松地创建具有艺术风格的内容。

📄 摘要（原文）

Gaussian Splatting (GS) has recently emerged as an efficient representation for rendering 3D scenes from 2D images and has been extended to images, videos, and dynamic 4D content. However, applying style transfer to GS-based representations, especially beyond simple color changes, remains challenging. In this work, we introduce CLIPGaussian, the first unified style transfer framework that supports text- and image-guided stylization across multiple modalities: 2D images, videos, 3D objects, and 4D scenes. Our method operates directly on Gaussian primitives and integrates into existing GS pipelines as a plug-in module, without requiring large generative models or retraining from scratch. The CLIPGaussian approach enables joint optimization of color and geometry in 3D and 4D settings, and achieves temporal coherence in videos, while preserving the model size. We demonstrate superior style fidelity and consistency across all tasks, validating CLIPGaussian as a universal and efficient solution for multimodal style transfer.