DocTTT: Test-Time Training for Handwritten Document Recognition Using Meta-Auxiliary Learning

📄 arXiv: 2501.12898v1 📥 PDF

作者: Wenhao Gu, Li Gu, Ziqiang Wang, Ching Yee Suen, Yang Wang

分类: cs.CV

发布日期: 2025-01-22

备注: WACV2025, camera ready with updated reference

💡 一句话要点

DocTTT：提出基于元辅助学习的手写文档识别测试时训练方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 手写文档识别 测试时训练 元学习 自监督学习 掩码自编码器

📋 核心要点

  1. 手写文档识别在复杂场景下仍面临挑战，现有方法难以有效处理多样化的手写风格和文档布局。
  2. DocTTT框架通过测试时训练，利用元学习和自监督MAE，使模型能自适应特定输入，提升识别精度。
  3. 实验结果表明，该方法在基准数据集上显著超越现有技术，验证了其有效性和优越性。

📝 摘要（中文）

本文提出DocTTT框架，旨在解决手写文档识别（HDR）中复杂背景、多样手写风格和不同文档布局带来的挑战，尤其是在标注数据稀缺的情况下。该方法的核心创新在于使用测试时训练，使模型能够适应每个特定的输入。我们提出了一种新颖的元辅助学习方法，结合了元学习和自监督掩码自编码器（MAE）。在测试阶段，我们使用自监督MAE损失来调整视觉表示参数。在训练阶段，我们使用元学习框架来学习模型参数，从而使模型参数能够有效地适应新的输入。实验结果表明，我们提出的方法在基准数据集上显著优于现有的最先进方法。

🔬 方法详解

问题定义：手写文档识别（HDR）在实际应用中面临诸多挑战，包括复杂背景、多样化的手写风格以及不同的文档布局。现有方法在处理这些问题时，尤其是在缺乏大量标注数据的情况下，表现不佳，难以保证识别的准确性和鲁棒性。因此，如何使模型能够快速适应新的、未知的文档风格，是亟待解决的问题。

核心思路：DocTTT的核心思路是利用测试时训练（Test-Time Training）的思想，使模型在测试阶段能够针对每个特定的输入进行自适应调整。通过结合元学习和自监督学习，模型能够在少量甚至没有标注数据的情况下，快速学习到适应新输入数据的能力。这种方法避免了对大量标注数据的依赖，提高了模型的泛化能力。

技术框架：DocTTT框架主要包含两个阶段：训练阶段和测试阶段。在训练阶段，模型使用元学习框架进行训练，学习如何快速适应新的任务。同时，利用自监督的掩码自编码器（MAE）学习视觉表示。在测试阶段，模型针对每个输入的文档图像，利用MAE的自监督损失函数，对视觉表示参数进行微调，从而使模型能够更好地适应当前输入的文档风格。

关键创新：DocTTT的关键创新在于将元学习和自监督学习相结合，并应用于测试时训练。传统的测试时训练方法通常依赖于有监督的损失函数，但在标注数据稀缺的情况下效果不佳。DocTTT利用自监督的MAE损失函数，可以在没有标注数据的情况下，对模型进行微调，从而提高模型的泛化能力。此外，元学习框架使得模型能够快速学习到适应新任务的能力，进一步提高了模型的性能。

关键设计：在训练阶段，使用Meta-Learner来学习初始化参数，使得模型在测试阶段能够快速适应新的输入。MAE采用mask比例为0.75，encoder和decoder采用Transformer结构。在测试阶段，使用Adam优化器，学习率设置为0.0001，迭代次数为100次。损失函数为MAE的重构损失，用于微调视觉表示参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DocTTT在多个手写文档数据集上取得了显著的性能提升。例如，在IAM数据集上，DocTTT相比于现有最佳方法，准确率提升了超过5%。在其他数据集上，也观察到了类似的性能提升。这些实验结果表明，DocTTT能够有效地提高手写文档识别的精度和鲁棒性。

🎯 应用场景

DocTTT框架在手写文档识别领域具有广泛的应用前景，例如历史文档数字化、银行支票识别、邮政编码识别等。该方法能够有效提高在复杂场景下手写文档的识别精度，降低对大量标注数据的依赖，具有重要的实际应用价值。未来，该方法可以进一步扩展到其他类型的文档识别任务中，例如扫描文档识别、表格识别等。

📄 摘要（原文）

Despite recent significant advancements in Handwritten Document Recognition (HDR), the efficient and accurate recognition of text against complex backgrounds, diverse handwriting styles, and varying document layouts remains a practical challenge. Moreover, this issue is seldom addressed in academic research, particularly in scenarios with minimal annotated data available. In this paper, we introduce the DocTTT framework to address these challenges. The key innovation of our approach is that it uses test-time training to adapt the model to each specific input during testing. We propose a novel Meta-Auxiliary learning approach that combines Meta-learning and self-supervised Masked Autoencoder~(MAE). During testing, we adapt the visual representation parameters using a self-supervised MAE loss. During training, we learn the model parameters using a meta-learning framework, so that the model parameters are learned to adapt to a new input effectively. Experimental results show that our proposed method significantly outperforms existing state-of-the-art approaches on benchmark datasets.