IntroSVG: Learning from Rendering Feedback for Text-to-SVG Generation via an Introspective Generator-Critic Framework
作者: Feiyu Wang, Jiayuan Yang, Zhiyuan Zhao, Da Zhang, Bingyu Li, Peng Liu, Junyu Gao
分类: cs.CV
发布日期: 2026-03-10
💡 一句话要点
提出IntroSVG框架，通过生成器-评论家自省学习提升文本到SVG的生成质量。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 文本到SVG生成 视觉语言模型 自省学习 生成器-评论家框架 直接偏好优化
📋 核心要点
- 现有文本到SVG生成方法缺乏对渲染图像的视觉感知，限制了生成质量。
- IntroSVG框架利用统一的VLM作为生成器和评论家，通过自省循环提升生成质量。
- 实验表明，IntroSVG在多个指标上达到SOTA，生成更复杂、语义对齐更好、可编辑性更强的SVG。
📝 摘要（中文）
可缩放矢量图形（SVG）因其固有的可扩展性和可编辑性而在数字设计中占据核心地位。尽管视觉语言模型（VLMs）在内容生成方面取得了显著进展，但现有的文本到SVG生成方法受到一个核心挑战的限制：自回归训练过程没有结合对最终渲染图像的视觉感知，这从根本上限制了生成质量。为了解决这一限制，我们提出了一个自省SVG生成框架（IntroSVG）。该框架的核心是实例化一个统一的VLM，使其在闭环中运行，同时承担生成器和评论家的双重角色。具体来说，通过监督微调（SFT），模型学习起草SVG并提供对其渲染输出的反馈；此外，我们系统地将早期阶段的失败转化为高质量的纠错训练数据，从而增强模型的鲁棒性。随后，我们利用高容量的教师VLM构建偏好数据集，并通过直接偏好优化（DPO）进一步对齐生成器的策略。在推理过程中，优化的生成器和评论家以迭代的“生成-审查-改进”循环协同工作，从不完美的中间草稿开始自主提高输出质量。实验结果表明，我们的方法在几个关键评估指标上实现了最先进的性能，生成具有更复杂结构、更强的语义对齐和更大的可编辑性的SVG。这些结果证实了将显式视觉反馈纳入生成循环的有效性。
🔬 方法详解
问题定义：现有文本到SVG的生成方法主要采用自回归训练，缺乏对生成结果的视觉感知，导致生成质量受限，难以生成复杂结构和保证语义一致性。痛点在于无法有效利用渲染后的图像信息来指导SVG的生成过程。
核心思路：IntroSVG的核心思路是构建一个闭环的生成-评论-改进流程，通过让模型同时扮演生成器和评论家的角色，利用视觉反馈来指导SVG的生成。模型首先生成SVG草稿，然后对其渲染结果进行评估，并根据评估结果进行改进，从而逐步提高生成质量。
技术框架：IntroSVG框架包含以下几个主要阶段：1) 监督微调（SFT）：使用文本-SVG对数据对VLM进行微调，使其具备生成SVG草稿和评估渲染结果的能力。2) 错误纠正数据构建：将SFT阶段的失败案例转化为高质量的纠错数据，进一步提升模型的鲁棒性。3) 偏好数据集构建与DPO对齐：利用高容量的教师VLM构建偏好数据集，并通过直接偏好优化（DPO）对生成器的策略进行对齐，使其更符合人类的偏好。4) 迭代生成-审查-改进：在推理阶段，生成器和评论家协同工作，通过迭代的生成、审查和改进循环，逐步提升SVG的质量。
关键创新：最重要的技术创新点在于将视觉反馈显式地融入到文本到SVG的生成循环中。通过让模型具备自省能力，能够根据渲染结果自我评估和改进，从而突破了传统自回归方法的局限性。与现有方法的本质区别在于，IntroSVG不仅仅依赖于文本信息，还充分利用了视觉信息来指导生成过程。
关键设计：框架使用统一的VLM作为生成器和评论家，简化了模型结构。错误纠正数据的构建方法能够有效利用失败案例，提升模型的鲁棒性。DPO对齐能够使生成结果更符合人类的偏好。迭代生成-审查-改进循环的设计能够逐步提升SVG的质量。具体的参数设置、损失函数和网络结构等细节未在摘要中详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，IntroSVG在多个关键评估指标上实现了最先进的性能，能够生成具有更复杂结构、更强的语义对齐和更大的可编辑性的SVG。具体性能数据和对比基线未在摘要中给出，属于未知信息。但结论表明，IntroSVG显著提升了文本到SVG的生成质量。
🎯 应用场景
IntroSVG在数字设计领域具有广泛的应用前景，可以用于自动生成各种矢量图形，例如图标、插图、UI元素等。该技术可以提高设计效率，降低设计成本，并为用户提供更加灵活和可定制的设计方案。未来，该技术有望应用于游戏开发、广告设计、网页设计等领域，并促进数字内容创作的智能化。
📄 摘要（原文）
Scalable Vector Graphics (SVG) are central to digital design due to their inherent scalability and editability. Despite significant advancements in content generation enabled by Visual Language Models (VLMs), existing text-to-SVG generation methods are limited by a core challenge: the autoregressive training process does not incorporate visual perception of the final rendered image, which fundamentally constrains generation quality. To address this limitation, we propose an Introspective SVG Generation Framework (IntroSVG). At its core, the framework instantiates a unified VLM that operates in a closed loop, assuming dual roles of both generator and critic. Specifically, through Supervised Fine-Tuning (SFT), the model learns to draft SVGs and to provide feedback on their rendered outputs; moreover, we systematically convert early-stage failures into high-quality error-correction training data, thereby enhancing model robustness. Subsequently, we leverage a high-capacity teacher VLM to construct a preference dataset and further align the generator's policy through Direct Preference Optimization (DPO). During inference, the optimized generator and critic operate collaboratively in an iterative "generate-review-refine" cycle, starting from imperfect intermediate drafts to autonomously improve output quality. Experimental results demonstrate that our method achieves state-of-the-art performance across several key evaluation metrics, generating SVGs with more complex structures, stronger semantic alignment, and greater editability. These results corroborate the effectiveness of incorporating explicit visual feedback into the generation loop.