Thinking Like Van Gogh: Structure-Aware Style Transfer via Flow-Guided 3D Gaussian Splatting
作者: Zhendong Wang, Lebin Zhou, Jingchuan Xiao, Rongduo Han, Nam Ling, Cihan Ruan
分类: cs.CV, cs.GR, cs.LG
发布日期: 2026-01-15
备注: 7 pages, 8 figures
💡 一句话要点
提出基于流引导3D高斯溅射的结构感知风格迁移方法，实现梵高式艺术风格的几何抽象。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D风格迁移 高斯溅射 流场引导 几何抽象 视觉语言模型
📋 核心要点
- 现有3D风格迁移方法通常将几何结构视为刚性基底，仅进行表面纹理投影，忽略了几何抽象在艺术风格表达中的重要性。
- 该论文提出了一种基于流引导的几何平流框架，通过从2D绘画中提取流场并反向传播到3D空间，实现结构感知的风格迁移。
- 该方法使用VLM作为评判器，通过审美判断来评估风格迁移的艺术真实性，而非传统的像素级指标，更符合艺术风格的特点。
📝 摘要（中文）
本文提出了一种用于3D高斯溅射（3DGS）的流引导几何平流框架，旨在实现后印象派艺术风格的结构感知风格迁移。该方法从2D绘画中提取方向流场，并将其反向传播到3D空间，从而校正高斯基元，形成与场景拓扑一致的、流对齐的笔触，而无需显式的网格先验。这使得由绘画运动直接驱动的、富有表现力的结构变形成为可能，而非光度约束。主要贡献包括：(1) 一种基于投影的、无网格的流引导机制，将2D艺术运动转移到3D高斯几何体中；(2) 一种亮度-结构解耦策略，将几何变形与颜色优化隔离，从而减轻在激进的结构抽象期间产生的伪影；(3) 一个VLM-as-a-Judge评估框架，通过审美判断而非传统的像素级指标来评估艺术真实性，从而明确地解决了艺术风格化的主观性。
🔬 方法详解
问题定义：现有的3D风格迁移方法主要关注表面纹理的迁移，将3D几何结构视为一个固定的载体，缺乏对几何结构本身的抽象和变形能力。这与后印象派等艺术风格强调的“在本质上夸张”的原则相悖，无法真实地再现艺术风格的神韵。因此，需要一种能够对3D几何结构进行结构性变形，并将其与风格化的笔触相结合的方法。
核心思路：论文的核心思路是从2D绘画中提取艺术风格的运动信息（流场），并将这些信息反向传播到3D空间，从而驱动3D高斯基元的变形。通过这种方式，可以使3D模型的几何结构沿着艺术风格的笔触方向进行弯曲和拉伸，从而实现结构感知的风格迁移。这种方法避免了直接操作3D网格的复杂性，并且能够更好地捕捉艺术风格中的动态感。
技术框架：该方法主要包含以下几个阶段：1) 2D流场提取：从给定的2D绘画中提取方向流场，捕捉绘画中的笔触方向和运动信息。2) 3D流场反向传播：将2D流场反向投影到3D空间，为每个3D高斯基元赋予一个运动方向。3) 高斯基元变形：根据3D流场的信息，对3D高斯基元的位置、形状和方向进行调整，使其沿着流场方向进行变形。4) 亮度-结构解耦：将几何变形与颜色优化分离，避免在结构抽象过程中产生颜色伪影。5) 风格化渲染：使用变形后的高斯基元进行渲染，生成具有艺术风格的3D模型。
关键创新：该方法最重要的创新点在于：1) 基于流场的几何变形：通过从2D绘画中提取流场并反向传播到3D空间，实现了对3D几何结构的结构性变形，这与传统的表面纹理迁移方法有本质区别。2) 无网格的风格迁移：该方法基于3D高斯溅射，无需显式的网格结构，避免了网格操作的复杂性，并且能够更好地处理复杂的几何形状。3) VLM-as-a-Judge评估框架：使用视觉语言模型（VLM）作为评判器，通过审美判断来评估风格迁移的艺术真实性，更符合艺术风格的特点。
关键设计：1) 流场提取：使用现有的光流估计方法从2D绘画中提取流场。2) 流场反向传播：使用投影变换将2D流场反向投影到3D空间，并对流场进行插值，为每个3D高斯基元赋予一个运动方向。3) 高斯基元变形：根据流场信息，调整高斯基元的中心位置、协方差矩阵和旋转角度。4) 亮度-结构解耦：使用单独的损失函数来约束几何变形和颜色优化，避免相互干扰。5) VLM评估：使用预训练的VLM模型，输入原始图像和风格迁移后的图像，让VLM判断风格迁移后的图像是否具有艺术真实性。
🖼️ 关键图片
📊 实验亮点
论文提出了VLM-as-a-Judge评估框架，使用视觉语言模型评估艺术真实性，实验结果表明，该方法能够生成具有较高艺术真实性的3D风格化模型。相较于传统的基于像素级指标的评估方法，该评估框架更符合艺术风格迁移的特点，能够更准确地反映风格迁移的效果。
🎯 应用场景
该研究成果可应用于3D艺术创作、虚拟现实、游戏开发等领域。例如，用户可以使用该方法将普通3D模型转换为具有梵高等艺术家风格的艺术品。此外，该方法还可以用于生成具有特定艺术风格的虚拟场景，为用户提供更加沉浸式的体验。未来，该技术有望进一步发展，实现更加精细和个性化的3D风格迁移。
📄 摘要（原文）
In 1888, Vincent van Gogh wrote, "I am seeking exaggeration in the essential." This principle, amplifying structural form while suppressing photographic detail, lies at the core of Post-Impressionist art. However, most existing 3D style transfer methods invert this philosophy, treating geometry as a rigid substrate for surface-level texture projection. To authentically reproduce Post-Impressionist stylization, geometric abstraction must be embraced as the primary vehicle of expression. We propose a flow-guided geometric advection framework for 3D Gaussian Splatting (3DGS) that operationalizes this principle in a mesh-free setting. Our method extracts directional flow fields from 2D paintings and back-propagates them into 3D space, rectifying Gaussian primitives to form flow-aligned brushstrokes that conform to scene topology without relying on explicit mesh priors. This enables expressive structural deformation driven directly by painterly motion rather than photometric constraints. Our contributions are threefold: (1) a projection-based, mesh-free flow guidance mechanism that transfers 2D artistic motion into 3D Gaussian geometry; (2) a luminance-structure decoupling strategy that isolates geometric deformation from color optimization, mitigating artifacts during aggressive structural abstraction; and (3) a VLM-as-a-Judge evaluation framework that assesses artistic authenticity through aesthetic judgment instead of conventional pixel-level metrics, explicitly addressing the subjective nature of artistic stylization.