Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning
作者: Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu
分类: cs.CV
发布日期: 2026-05-15
备注: ICML 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出自提示扩散Transformer，通过上下文学习实现开放词汇场景文本编辑
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 场景文本编辑 扩散模型 Transformer 自提示学习 上下文学习
📋 核心要点
- 现有场景文本编辑方法忽略原始文本风格，且依赖预训练字形编码器限制了可编辑文本范围。
- 提出自提示方法，直接从原始图像构建风格和字形提示，无需额外编码器，保留原始文本风格。
- 采用两阶段训练策略，利用多模态扩散Transformer的上下文学习能力，实现开放词汇和风格一致的编辑。
📝 摘要（中文）
本文提出了一种自提示场景文本编辑方法，旨在修改图像目标区域中的文本，同时保留周围背景的风格和纹理。现有方法仅依赖图像背景信息，忽略了目标区域的视觉细节，导致原始文本的风格特征丢失，本质上退化为文本渲染。此外，预训练字形编码器施加的条件限制了可编辑文本的范围。为了解决这些问题，本文直接从原始图像构建风格和字形提示，无需引入额外的风格或字形编码器。我们采用两阶段训练策略：首先在大规模自监督数据上训练扩散Transformer，然后使用少量配对图像进行微调。通过利用多模态扩散Transformer (MM-DiT) 的上下文学习能力，实现了开放词汇和风格一致的文本编辑。在各种语言上的实验结果表明，我们的方法在文本准确性和风格一致性方面都达到了最先进的性能。
🔬 方法详解
问题定义：场景文本编辑旨在修改图像中的文本，同时保持背景风格和纹理的一致性。现有方法主要依赖图像背景信息，忽略了原始文本区域的视觉细节，导致编辑后的文本风格与原始文本不一致，并且依赖预训练的字形编码器限制了可编辑的文本范围，无法实现开放词汇的编辑。
核心思路：本文的核心思路是从原始图像中提取自提示（self-prompting），包括风格提示和字形提示，直接用于指导文本编辑过程。这样可以避免对额外编码器的依赖，并保留原始文本的风格特征。通过利用扩散模型强大的生成能力和Transformer的上下文学习能力，实现开放词汇和风格一致的文本编辑。
技术框架：该方法采用两阶段训练策略。第一阶段，在大规模自监督数据上预训练扩散Transformer，使其具备强大的图像生成能力。第二阶段，使用少量配对图像（原始图像和编辑后的图像）对预训练的Transformer进行微调，使其能够根据自提示进行文本编辑。整体框架基于多模态扩散Transformer (MM-DiT)，输入包括原始图像和文本提示，输出为编辑后的图像。
关键创新：最重要的技术创新点在于自提示机制，即直接从原始图像中提取风格和字形提示，避免了对额外编码器的依赖。这种方法能够更好地保留原始文本的风格特征，并实现开放词汇的编辑。此外，利用扩散模型和Transformer的结合，实现了高质量的图像生成和上下文学习。
关键设计：该方法使用多模态扩散Transformer (MM-DiT) 作为核心生成模型。在训练过程中，使用L1损失和感知损失来保证生成图像的质量和风格一致性。自提示的提取方式是关键，具体实现细节（例如如何提取风格和字形特征）在论文中应该有更详细的描述。微调阶段使用少量配对数据，需要仔细设计损失函数和训练策略，以避免过拟合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在文本准确性和风格一致性方面均达到了最先进的性能。通过与现有方法的对比，证明了自提示机制的有效性和优越性。在多种语言上的实验结果也验证了该方法的泛化能力。
🎯 应用场景
该研究成果可广泛应用于图像编辑、广告设计、虚拟现实、增强现实等领域。例如，可以用于修改照片中的文字，生成具有特定风格的文本图像，或者在虚拟场景中动态地编辑文本内容。该技术具有重要的商业价值和应用前景，能够提升用户体验和创作效率。
📄 摘要（原文）
Scene text editing aims to modify text in a target region of an image while preserving surrounding background style and texture. Existing methods rely solely on image background information while neglecting the visual details of target regions, which discards stylistic features in the original text and essentially degrades the task to text rendering. Moreover, the conditions imposed by pre-trained glyph encoder limit the scope of editable text. To address these issues, this paper proposes a self-prompting scene text editing method that constructs style and glyph prompts directly from the original image, without introducing additional style or glyph encoders. We employ a two-stage training strategy: the diffusion transformer is first trained on large-scale self-supervised data and then refined using a small set of paired images. By leveraging the in-context learning capability of the Multi-Modal Diffusion Transformer (MM-DiT), it achieves open-vocabulary and style-consistent text editing. Experimental results on various languages demonstrate that our method achieves the state-of-the-art performance in both text accuracy and style consistency. Our project page: \href{https://hongxiii.github.io/mstedit}{hongxiii.github.io/mstedit}.