SVGDreamer++: Advancing Editability and Diversity in Text-Guided SVG Generation

📄 arXiv: 2411.17832v2 📥 PDF

作者: Ximing Xing, Qian Yu, Chuang Wang, Haitao Zhou, Jing Zhang, Dong Xu

分类: cs.CV, cs.AI

发布日期: 2024-11-26 (更新: 2024-12-13)

备注: 17 pages, 17 figures. Project Page: http://ximinng.github.io/SVGDreamerV2Project/. arXiv admin note: text overlap with arXiv:2312.16476

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

SVGDreamer++：提出HIVE和VPSD，提升文本引导SVG生成的可编辑性和多样性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本引导生成 矢量图形 可编辑性 多样性 图像矢量化 评分蒸馏 自适应图元控制

📋 核心要点

  1. 现有文本到SVG方法生成的SVG图形缺乏可编辑性，且在视觉质量和多样性方面存在不足。
  2. 提出分层图像矢量化（HIVE）框架和矢量化粒子评分蒸馏（VPSD）方法，分别提升可编辑性和多样性。
  3. 实验表明，该方法在可编辑性、视觉质量和多样性方面均优于现有方法，并支持多种矢量风格。

📝 摘要（中文）

本文提出了一种新的文本引导矢量图形合成方法，旨在解决现有Text-to-SVG方法在可编辑性、视觉质量和多样性方面的不足。为了增强输出SVG的可编辑性，我们引入了分层图像矢量化（HIVE）框架，该框架在语义对象级别运行，并监督矢量对象内组件的优化，从而将矢量图形解耦为不同的对象和组件级别。HIVE算法以图像分割先验为指导，不仅确保了矢量图形的更精确表示，还实现了矢量对象内的细粒度编辑功能。为了提高输出SVG的多样性，我们提出了一种基于矢量粒子评分蒸馏（VPSD）的方法，该方法解决了现有方法中的过度饱和问题，并增强了样本多样性。我们还引入了一个预训练的奖励模型来重新加权矢量粒子，从而提高美学吸引力并加快收敛速度。此外，我们设计了一种新的自适应矢量图元控制策略，该策略允许动态调整图元的数量，从而增强图形细节的呈现。大量实验验证了该方法的有效性，证明了其在可编辑性、视觉质量和多样性方面优于基线方法。我们的新方法支持多达六种不同的矢量风格，能够生成适用于风格化矢量设计和海报设计的高质量矢量资产。

🔬 方法详解

问题定义：现有文本引导的SVG生成方法生成的矢量图形，在可编辑性、视觉质量和多样性方面存在明显的局限性。具体来说，生成的SVG图形难以进行细粒度的编辑，视觉效果不够理想，且生成的图形样式单一，缺乏多样性。这些问题限制了该技术在实际应用中的价值。

核心思路：本文的核心思路是通过解耦矢量图形的表示，并引入新的优化策略来提升可编辑性和多样性。HIVE框架通过在语义对象级别进行矢量化，将矢量图形分解为可独立编辑的对象和组件。VPSD方法则通过矢量化粒子和奖励模型，增强生成结果的多样性和美观性。

技术框架：该方法主要包含两个核心模块：HIVE（Hierarchical Image VEctorization）和VPSD（Vectorized Particle-based Score Distillation）。HIVE框架负责生成可编辑的矢量图形，它首先利用图像分割先验信息将图像分解为不同的语义对象，然后对每个对象进行矢量化。VPSD方法则负责提升生成结果的多样性，它通过矢量化粒子来表示不同的矢量图形，并利用预训练的奖励模型来指导粒子的优化。此外，还包含一个自适应矢量图元控制策略，用于动态调整图元的数量。

关键创新：该方法最重要的技术创新点在于HIVE框架和VPSD方法的结合。HIVE框架通过在语义对象级别进行矢量化，实现了细粒度的编辑能力，这与传统的全局矢量化方法有本质区别。VPSD方法通过矢量化粒子和奖励模型，有效地提升了生成结果的多样性和美观性，克服了现有方法中存在的过度饱和问题。

关键设计：HIVE框架的关键设计在于利用图像分割先验信息来指导矢量化过程，这使得生成的矢量图形能够更好地反映图像的语义信息。VPSD方法的关键设计在于使用预训练的奖励模型来重新加权矢量粒子，这使得生成的矢量图形更符合人类的审美偏好。自适应矢量图元控制策略则根据图像的复杂度动态调整图元的数量，从而更好地呈现图形的细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SVGDreamer++在可编辑性、视觉质量和多样性方面均显著优于现有方法。通过HIVE框架，用户可以对生成的矢量图形进行细粒度的编辑，例如修改特定对象的颜色、形状等。VPSD方法有效提升了生成结果的多样性，避免了过度饱和的问题。该方法支持多达六种不同的矢量风格，能够生成适用于风格化矢量设计和海报设计的高质量矢量资产。

🎯 应用场景

该研究成果可广泛应用于图标设计、草图绘制、海报设计等领域。通过文本描述即可生成高质量、可编辑的矢量图形，极大地提高了设计效率。未来，该技术有望应用于自动化设计、内容创作等更广泛的领域，例如游戏美术资源生成、广告设计等。

📄 摘要（原文）

Recently, text-guided scalable vector graphics (SVG) synthesis has demonstrated significant potential in domains such as iconography and sketching. However, SVGs generated from existing Text-to-SVG methods often lack editability and exhibit deficiencies in visual quality and diversity. In this paper, we propose a novel text-guided vector graphics synthesis method to address these limitations. To enhance the editability of output SVGs, we introduce a Hierarchical Image VEctorization (HIVE) framework that operates at the semantic object level and supervises the optimization of components within the vector object. This approach facilitates the decoupling of vector graphics into distinct objects and component levels. Our proposed HIVE algorithm, informed by image segmentation priors, not only ensures a more precise representation of vector graphics but also enables fine-grained editing capabilities within vector objects. To improve the diversity of output SVGs, we present a Vectorized Particle-based Score Distillation (VPSD) approach. VPSD addresses over-saturation issues in existing methods and enhances sample diversity. A pre-trained reward model is incorporated to re-weight vector particles, improving aesthetic appeal and enabling faster convergence. Additionally, we design a novel adaptive vector primitives control strategy, which allows for the dynamic adjustment of the number of primitives, thereby enhancing the presentation of graphic details. Extensive experiments validate the effectiveness of the proposed method, demonstrating its superiority over baseline methods in terms of editability, visual quality, and diversity. We also show that our new method supports up to six distinct vector styles, capable of generating high-quality vector assets suitable for stylized vector design and poster design. Code and demo will be released at: http://ximinng.github.io/SVGDreamerV2Project/