GlyphPrinter: Region-Grouped Direct Preference Optimization for Glyph-Accurate Visual Text Rendering

📄 arXiv: 2603.15616v1 📥 PDF

作者: Xincheng Shuai, Ziye Li, Henghui Ding, Dacheng Tao

分类: cs.CV

发布日期: 2026-03-16

备注: CVPR 2026, Project Page: https://henghuiding.com/GlyphPrinter/

💡 一句话要点

提出GlyphPrinter，通过区域分组直接偏好优化实现字形精确的视觉文本渲染

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉文本渲染 字形生成 直接偏好优化 区域分组 深度学习

📋 核心要点

  1. 现有视觉文本渲染方法在字形精度上存在不足，尤其是在处理复杂或领域外字符时，主要原因是字形变化覆盖有限和过度风格化。
  2. GlyphPrinter借鉴直接偏好优化（DPO）思想，提出区域分组DPO（R-GDPO），优化区域间的偏好关系，提升字形渲染的准确性。
  3. 实验结果表明，GlyphPrinter在字形精度上优于现有方法，并在风格化和精度之间取得了良好的平衡。

📝 摘要（中文）

生成精确的字形对于视觉文本渲染至关重要，但也极具挑战性。现有方法通常通过在大量高质量场景文本图像上训练来增强文本渲染，但字形变化的覆盖范围有限以及过度风格化通常会损害字形精度，特别是对于复杂或超出领域的字符。一些方法利用强化学习来缓解这个问题，但它们的奖励模型通常依赖于对细粒度字形错误不敏感的文本识别系统，因此具有不正确字形的图像可能仍然获得高奖励。受到直接偏好优化（DPO）的启发，我们提出GlyphPrinter，一种基于偏好的文本渲染方法，消除了对显式奖励模型的依赖。然而，标准的DPO目标仅对两个样本之间的整体偏好进行建模，这不足以用于字形错误通常发生在局部区域的视觉文本渲染。为了解决这个问题，我们构建了具有区域级字形偏好注释的GlyphCorrector数据集，并提出了区域分组DPO（R-GDPO），一种基于区域的目标，优化注释区域上的样本间和样本内偏好，从而大大提高了字形精度。此外，我们引入了区域奖励指导，一种从具有可控字形精度的最佳分布中采样的推理策略。大量实验表明，所提出的GlyphPrinter在字形精度方面优于现有方法，同时保持了风格化和精度之间的良好平衡。

🔬 方法详解

问题定义：论文旨在解决视觉文本渲染中字形精度不足的问题，尤其是在处理复杂或超出领域的字符时。现有方法依赖大量数据训练，但字形覆盖不全，且过度风格化导致字形失真。强化学习方法依赖的奖励模型对细粒度字形错误不敏感，无法有效提升精度。

核心思路：论文的核心思路是利用直接偏好优化（DPO）框架，避免显式奖励模型的构建，直接学习人类对字形渲染结果的偏好。针对字形错误通常发生在局部区域的问题，引入区域分组的概念，在区域级别进行偏好优化。

技术框架：GlyphPrinter的整体框架包含以下几个关键部分：1) GlyphCorrector数据集：包含区域级字形偏好标注，用于训练偏好模型。2) 区域分组DPO（R-GDPO）：基于区域的偏好优化目标，优化样本间和样本内偏好。3) 区域奖励指导：一种推理策略，从具有可控字形精度的最佳分布中采样。

关键创新：论文的关键创新在于提出了区域分组DPO（R-GDPO），这是一种针对视觉文本渲染的偏好优化方法。与标准DPO只考虑整体偏好不同，R-GDPO关注局部区域的字形错误，通过优化区域间的偏好关系，显著提升了字形精度。此外，GlyphCorrector数据集的构建也为该研究提供了数据支撑。

关键设计：R-GDPO损失函数的设计是关键。它不仅考虑了整体图像的偏好，还考虑了每个标注区域内的偏好。具体来说，对于每个区域，模型会比较preferred样本和rejected样本在该区域的渲染质量，并根据偏好关系调整模型参数。区域奖励指导则通过调整采样策略，控制生成结果的字形精度。具体参数设置和网络结构细节在论文中有详细描述。

📊 实验亮点

实验结果表明，GlyphPrinter在字形精度方面显著优于现有方法。通过在GlyphCorrector数据集上进行训练和评估，GlyphPrinter在字形准确率上取得了明显的提升，同时保持了良好的风格化效果。具体的性能数据和对比基线在论文中有详细展示。

🎯 应用场景

GlyphPrinter在诸多领域具有广泛的应用前景，例如：高质量文档生成、艺术字设计、虚拟现实/增强现实中的文本显示、以及文化遗产数字化保护等。该研究能够提升视觉文本渲染的质量和精度，改善用户体验，并为相关领域的进一步研究提供技术支持。

📄 摘要（原文）

Generating accurate glyphs for visual text rendering is essential yet challenging. Existing methods typically enhance text rendering by training on a large amount of high-quality scene text images, but the limited coverage of glyph variations and excessive stylization often compromise glyph accuracy, especially for complex or out-of-domain characters. Some methods leverage reinforcement learning to alleviate this issue, yet their reward models usually depend on text recognition systems that are insensitive to fine-grained glyph errors, so images with incorrect glyphs may still receive high rewards. Inspired by Direct Preference Optimization (DPO), we propose GlyphPrinter, a preference-based text rendering method that eliminates reliance on explicit reward models. However, the standard DPO objective only models overall preference between two samples, which is insufficient for visual text rendering where glyph errors typically occur in localized regions. To address this issue, we construct the GlyphCorrector dataset with region-level glyph preference annotations and propose Region-Grouped DPO (R-GDPO), a region-based objective that optimizes inter- and intra-sample preferences over annotated regions, substantially enhancing glyph accuracy. Furthermore, we introduce Regional Reward Guidance, an inference strategy that samples from an optimal distribution with controllable glyph accuracy. Extensive experiments demonstrate that the proposed GlyphPrinter outperforms existing methods in glyph accuracy while maintaining a favorable balance between stylization and precision.