Choose What You Need: Disentangled Representation Learning for Scene Text Recognition, Removal and Editing

📄 arXiv: 2405.04377v1 📥 PDF

作者: Boqiang Zhang, Hongtao Xie, Zuan Gao, Yuxin Wang

分类: cs.CV

发布日期: 2024-05-07

备注: Accepted to CVPR 2024

💡 一句话要点

提出DARLING框架，解耦场景文本图像的风格与内容特征，提升识别、移除和编辑性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 场景文本识别 解耦表示学习 风格迁移 文本编辑 图像重建

📋 核心要点

  1. 现有场景文本方法使用紧耦合特征，无法针对不同任务选择所需信息，导致性能瓶颈。
  2. DARLING框架通过合成图像对，并设计监督机制，将场景文本图像解耦为风格和内容特征。
  3. 实验表明，DARLING在场景文本识别、移除和编辑任务上均取得了当前最优的性能。

📝 摘要（中文）

本文提出了一种解耦表示学习框架（DARLING），旨在解耦场景文本图像中的风格（字体、背景）和内容（字符、纹理）特征。现有方法使用紧耦合的特征处理所有任务，导致性能欠佳。DARLING通过合成具有相同风格但不同内容的图像对数据集，并基于此数据集设计监督方式来解耦这两种特征。具体而言，DARLING将视觉表示直接分解为风格和内容特征，内容特征通过文本识别损失进行监督，而风格特征通过对齐损失在图像对中对齐。然后，风格特征被用于通过图像解码器重建对应的图像，并使用提示来指示对应图像的内容。这种操作有效地基于其独特的属性解耦了特征。据我们所知，这是场景文本领域首次解耦文本图像的固有属性。我们的方法在场景文本识别、移除和编辑方面取得了最先进的性能。

🔬 方法详解

问题定义：场景文本图像包含风格（如字体、背景）和内容（如字符、纹理）信息。现有的场景文本处理方法通常将这些信息紧密耦合在一起，导致模型难以针对不同的下游任务灵活地提取和利用所需的信息。例如，文本识别可能更关注内容信息，而文本编辑则需要同时理解风格和内容。这种紧耦合的表示方式限制了模型在不同任务上的泛化能力和性能表现。

核心思路：DARLING框架的核心思路是将场景文本图像的表示解耦为风格和内容两个独立的特征空间。通过这种解耦，模型可以更容易地针对不同的任务选择和利用相应的特征。具体来说，内容特征负责捕捉文本的语义信息，而风格特征则负责捕捉文本的视觉外观信息。这种解耦使得模型可以更加灵活地处理各种场景文本任务。

技术框架：DARLING框架主要包含以下几个模块：1) 特征提取器：将输入图像编码为视觉表示；2) 特征解耦模块：将视觉表示分解为风格和内容特征；3) 内容识别模块：利用内容特征进行文本识别；4) 风格对齐模块：利用图像对的风格特征进行对齐；5) 图像解码器：利用风格特征和内容提示重建图像。整个框架通过联合训练的方式，使得风格和内容特征能够有效地解耦。

关键创新：DARLING框架的关键创新在于首次在场景文本领域实现了风格和内容特征的解耦。与以往的方法不同，DARLING不是简单地将风格和内容信息混合在一起，而是通过精心设计的监督机制，将它们分离到不同的特征空间中。这种解耦使得模型可以更加灵活地处理各种场景文本任务，并取得了显著的性能提升。

关键设计：DARLING框架的关键设计包括：1) 合成图像对数据集：用于训练模型解耦风格和内容特征；2) 内容识别损失：用于监督内容特征的学习；3) 风格对齐损失：用于监督风格特征的学习；4) 图像重建模块：用于验证风格和内容特征的解耦效果。此外，DARLING还采用了prompt机制，通过内容提示来指导图像重建过程，进一步增强了风格和内容特征的解耦效果。

📊 实验亮点

DARLING框架在场景文本识别、移除和编辑任务上均取得了当前最优的性能。具体而言，在文本识别任务上，DARLING的准确率超过了现有方法X%。在文本移除任务上，DARLING能够更加干净地移除文本区域，并保持图像的整体视觉效果。在文本编辑任务上，DARLING能够更加自然地改变文本的风格和内容。

🎯 应用场景

DARLING框架在场景文本识别、移除和编辑等领域具有广泛的应用前景。例如，可以用于自动识别图像中的文本信息，从而实现智能文档分析和信息提取。此外，还可以用于移除图像中的敏感文本信息，从而保护用户隐私。DARLING还可以应用于图像编辑领域，例如，可以用于改变图像中文本的字体、颜色和背景等。

📄 摘要（原文）

Scene text images contain not only style information (font, background) but also content information (character, texture). Different scene text tasks need different information, but previous representation learning methods use tightly coupled features for all tasks, resulting in sub-optimal performance. We propose a Disentangled Representation Learning framework (DARLING) aimed at disentangling these two types of features for improved adaptability in better addressing various downstream tasks (choose what you really need). Specifically, we synthesize a dataset of image pairs with identical style but different content. Based on the dataset, we decouple the two types of features by the supervision design. Clearly, we directly split the visual representation into style and content features, the content features are supervised by a text recognition loss, while an alignment loss aligns the style features in the image pairs. Then, style features are employed in reconstructing the counterpart image via an image decoder with a prompt that indicates the counterpart's content. Such an operation effectively decouples the features based on their distinctive properties. To the best of our knowledge, this is the first time in the field of scene text that disentangles the inherent properties of the text images. Our method achieves state-of-the-art performance in Scene Text Recognition, Removal, and Editing.