VOLTAGE: A Versatile Contrastive Learning based OCR Methodology for ultra low-resource scripts through Auto Glyph Feature Extraction

📄 arXiv: 2510.10490v1 📥 PDF

作者: Prawaal Sharma, Poonam Goyal, Vidisha Sharma, Navneet Goyal

分类: cs.CL

发布日期: 2025-10-12

备注: 9 Pages, Plus Appendices, EACL 2024

DOI: 10.18653/v1/2024.eacl-long.53

💡 一句话要点

VOLTAGE：基于对比学习和自动字形特征提取的超低资源文字OCR方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 光学字符识别 对比学习 低资源语言 字形特征提取 数据增强 生成对抗网络 聚类分析

📋 核心要点

  1. 低资源语言缺乏有效的OCR方法，阻碍了其数字化进程，面临消亡风险。
  2. VOLTAGE利用对比学习和自动字形特征提取，实现聚类标签，并使用GAN进行数据增强。
  3. 在Takri文字上，VOLTAGE在机器印刷体和手写体上分别实现了95%和87%的准确率。

📝 摘要（中文）

本文提出了一种名为VOLTAGE的基于对比学习的OCR方法，旨在解决低资源语言的数字化难题。该方法利用自动字形特征推荐进行聚类标签，并通过图像变换和生成对抗网络（GAN）来扩充带标签数据，以提高多样性和数据量。VOLTAGE的设计基于Takri文字，一种16至20世纪在印度喜马拉雅地区使用的文字。实验结果表明，该方法不仅适用于Takri文字，也适用于其他印度文字（包括低资源和高资源文字），证明了其通用性。在Takri文字上，机器印刷体的准确率达到95%，手写体的准确率达到87%。此外，本文还进行了基线和消融研究，并构建了Takri文字的下游用例，验证了该方法的实用性。

🔬 方法详解

问题定义：论文旨在解决超低资源文字的光学字符识别（OCR）问题。现有方法在处理低资源语言时，由于缺乏足够的标注数据，性能往往不佳，难以满足实际应用需求。此外，针对特定低资源文字定制OCR系统成本高昂，缺乏通用性。

核心思路：论文的核心思路是利用对比学习，通过学习字形之间的相似性和差异性，提取有效的字形特征。结合自动字形特征推荐和聚类，实现对少量标注数据的有效利用。同时，利用数据增强技术，扩充训练数据，提高模型的泛化能力。

技术框架：VOLTAGE的整体框架包含以下几个主要模块：1) 自动字形特征提取模块：自动提取输入图像的字形特征。2) 对比学习模块：利用对比损失函数，学习字形特征的嵌入表示，使得相似字形在嵌入空间中距离更近，不相似字形距离更远。3) 聚类标签模块：基于字形特征的嵌入表示，利用聚类算法对字形进行聚类，并根据少量标注数据对聚类结果进行标签。4) 数据增强模块：利用图像变换和GAN生成更多样化的训练数据。5) OCR模型训练模块：利用增强后的带标签数据训练OCR模型。

关键创新：VOLTAGE的关键创新在于：1) 自动字形特征推荐：无需人工干预，自动提取字形特征，降低了对专业知识的依赖。2) 对比学习框架：通过对比学习，有效利用了未标注数据，提高了模型的泛化能力。3) 数据增强策略：结合图像变换和GAN，生成更多样化的训练数据，进一步提高了模型的鲁棒性。

关键设计：对比学习模块使用了InfoNCE损失函数，用于最大化正样本对之间的一致性，最小化负样本对之间的一致性。数据增强模块使用了多种图像变换，包括旋转、缩放、平移、噪声添加等。GAN使用了DCGAN架构，用于生成更逼真的字形图像。聚类算法使用了K-means算法，K值的选择需要根据具体文字的字形数量进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VOLTAGE在Takri文字上取得了显著的成果，机器印刷体的准确率达到95%，手写体的准确率达到87%。此外，该方法在其他印度文字上也表现出良好的性能，证明了其通用性。与传统方法相比，VOLTAGE在低资源场景下具有更强的竞争力。

🎯 应用场景

VOLTAGE的应用场景广泛，可用于低资源语言的数字化保护、古籍文献的自动识别与整理、手写文档的自动录入等。该研究有助于促进文化遗产的传承和发展，提高信息获取的效率，并为低资源语言社区提供更好的数字服务。

📄 摘要（原文）

UNESCO has classified 2500 out of 7000 languages spoken worldwide as endangered. Attrition of a language leads to loss of traditional wisdom, folk literature, and the essence of the community that uses it. It is therefore imperative to bring digital inclusion to these languages and avoid its extinction. Low resource languages are at a greater risk of extinction. Lack of unsupervised Optical Character Recognition(OCR) methodologies for low resource languages is one of the reasons impeding their digital inclusion. We propose VOLTAGE - a contrastive learning based OCR methodology, leveraging auto-glyph feature recommendation for cluster-based labelling. We augment the labelled data for diversity and volume using image transformations and Generative Adversarial Networks. Voltage has been designed using Takri - a family of scripts used in 16th to 20th century in the Himalayan regions of India. We present results for Takri along with other Indic scripts (both low and high resource) to substantiate the universal behavior of the methodology. An accuracy of 95% for machine printed and 87% for handwritten samples on Takri script has been achieved. We conduct baseline and ablation studies along with building downstream use cases for Takri, demonstrating the usefulness of our work.