Empowering Vector Graphics with Consistently Arbitrary Viewing and View-dependent Visibility

📄 arXiv: 2505.21377v1 📥 PDF

作者: Yidi Li, Jun Xiao, Zhengda Lu, Yiqun Wang, Haiyong Jiang

分类: cs.CV

发布日期: 2025-05-27

备注: CVPR 2025

💡 一句话要点

Dream3DVG：提出一种支持任意视角、渐进细节优化和视角相关可见性的文本到矢量图生成方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)

关键词: 文本到矢量图 3D高斯溅射 视角一致性 渐进式细节控制 遮挡感知 可微分渲染 3D内容生成

📋 核心要点

  1. 现有文本到矢量图生成方法在视角一致性和细节控制方面存在不足，难以生成高质量的3D矢量图形。
  2. Dream3DVG采用双分支优化框架，利用3D高斯溅射分支提供一致性指导，并结合渐进式细节控制策略。
  3. 实验结果表明，Dream3DVG在不同抽象级别的细节、跨视角一致性和遮挡感知方面均优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的文本到矢量图生成方法，名为Dream3DVG，它允许任意视角的观察、渐进的细节优化以及视角相关的遮挡感知。我们的方法是一个双分支优化框架，包含一个辅助的3D高斯溅射(3DGS)优化分支和一个3D矢量图优化分支。引入的3DGS分支可以通过更一致的指导来弥合文本提示和矢量图之间的领域差距。此外，3DGS允许通过调度无分类器指导来实现渐进的细节控制，从而在初始阶段使用粗略的形状引导矢量图，并在后期阶段使用更精细的细节。我们还通过设计一个可见性感知渲染模块来改进视角相关的遮挡。在3D草图和3D图像符号上的大量结果表明，该方法在不同抽象级别的细节、跨视角一致性和遮挡感知笔画剔除方面具有优越性。

🔬 方法详解

问题定义：现有的文本到矢量图生成方法通常难以保证生成结果在不同视角下的一致性，并且缺乏对细节的有效控制，尤其是在处理复杂的3D场景时，遮挡问题也难以有效解决。这些问题导致生成的矢量图形质量不高，难以满足实际应用需求。

核心思路：Dream3DVG的核心思路是利用3D高斯溅射（3DGS）作为辅助分支，为矢量图的生成提供更稳定和一致的3D几何先验。通过3DGS分支，模型可以更好地理解文本提示所描述的3D场景，从而生成在不同视角下都保持一致的矢量图形。此外，渐进式细节控制策略允许模型先生成粗略的形状，再逐步添加细节，从而提高生成质量。

技术框架：Dream3DVG采用双分支优化框架。该框架包含两个主要分支：一个3D高斯溅射（3DGS）优化分支和一个3D矢量图优化分支。3DGS分支负责从文本提示中生成3D高斯表示，为矢量图分支提供3D几何先验。矢量图分支则利用3DGS分支的指导，生成最终的矢量图形。此外，该框架还包含一个可见性感知渲染模块，用于处理视角相关的遮挡问题。

关键创新：Dream3DVG的关键创新在于引入了3DGS分支作为辅助指导，弥合了文本提示和矢量图之间的领域差距，从而提高了生成结果的视角一致性。此外，渐进式细节控制策略和可见性感知渲染模块也分别提高了生成结果的细节丰富度和遮挡处理能力。

关键设计：在3DGS分支中，采用了标准的3DGS优化方法，并使用无分类器指导来控制细节的生成。在矢量图分支中，使用了可微分渲染技术，以便进行端到端的优化。可见性感知渲染模块通过计算每个笔画的可见性得分，并根据得分调整笔画的颜色和透明度，从而实现遮挡效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Dream3DVG在3D草图和3D图像符号的生成方面均优于现有方法。在跨视角一致性方面，Dream3DVG生成的矢量图形在不同视角下保持了高度的一致性。在细节控制方面，Dream3DVG能够生成具有丰富细节的矢量图形。此外，Dream3DVG的遮挡感知渲染模块能够有效地处理视角相关的遮挡问题，提高了生成结果的真实感。

🎯 应用场景

Dream3DVG在3D内容创作、游戏开发、广告设计等领域具有广泛的应用前景。它可以帮助设计师快速生成高质量的3D矢量图形，提高工作效率。此外，该方法还可以用于生成3D草图和3D图像符号，为用户提供更丰富的视觉体验。未来，该技术有望应用于虚拟现实和增强现实等领域。

📄 摘要（原文）

This work presents a novel text-to-vector graphics generation approach, Dream3DVG, allowing for arbitrary viewpoint viewing, progressive detail optimization, and view-dependent occlusion awareness. Our approach is a dual-branch optimization framework, consisting of an auxiliary 3D Gaussian Splatting optimization branch and a 3D vector graphics optimization branch. The introduced 3DGS branch can bridge the domain gaps between text prompts and vector graphics with more consistent guidance. Moreover, 3DGS allows for progressive detail control by scheduling classifier-free guidance, facilitating guiding vector graphics with coarse shapes at the initial stages and finer details at later stages. We also improve the view-dependent occlusions by devising a visibility-awareness rendering module. Extensive results on 3D sketches and 3D iconographies, demonstrate the superiority of the method on different abstraction levels of details, cross-view consistency, and occlusion-aware stroke culling.