Few-shot Writer Adaptation via Multimodal In-Context Learning
作者: Tom Simon, Stephane Nicolas, Pierrick Tranouez, Clement Chatelain, Thierry Paquet
分类: cs.CV, cs.AI
发布日期: 2026-03-31
💡 一句话要点
提出基于多模态上下文学习的少样本手写体作者自适应方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 手写文本识别 作者自适应 多模态学习 上下文学习 少样本学习
📋 核心要点
- 现有手写文本识别模型在特定作者风格上表现不佳，作者自适应方法计算成本高且需调参。
- 提出基于多模态上下文学习的框架，仅需少量目标作者样本即可实现推理时自适应，无需参数更新。
- 实验表明，该方法在IAM和RIMES数据集上超越了现有作者无关模型，且无需推理时参数更新。
📝 摘要（中文）
本文提出了一种新颖的上下文驱动的手写文本识别（HTR）框架，该框架受到多模态上下文学习的启发，能够在推理时仅使用目标作者的少量样本进行作者自适应，而无需任何参数更新。领先的作者自适应方法通常需要在推理时进行离线微调或参数更新，这二者都需要梯度计算和反向传播，从而增加了计算成本并需要仔细的超参数调整。此外，本文还展示了上下文长度的影响，设计了一个紧凑的8M参数CNN-Transformer，实现了少样本上下文自适应，并表明将上下文驱动和标准OCR训练策略相结合可以带来互补的改进。在IAM和RIMES上的实验验证了该方法的有效性，字符错误率分别为3.92%和2.34%，超过了所有无需在推理时进行任何参数更新的作者无关HTR模型。
🔬 方法详解
问题定义：现有手写文本识别（HTR）模型在处理训练数据中未充分表示的、具有高度特定风格的作者时，性能会显著下降。现有的作者自适应方法通常需要离线微调或在推理时进行参数更新，这些方法都涉及梯度计算和反向传播，导致计算成本增加，并且需要仔细调整超参数，这限制了它们在资源受限环境中的应用。
核心思路：本文的核心思路是借鉴多模态上下文学习的思想，将少量目标作者的样本作为上下文信息，引导HTR模型在推理时适应新的作者风格。通过这种方式，模型可以在不进行任何参数更新的情况下，利用上下文信息来调整其预测，从而实现快速的作者自适应。这种方法避免了梯度计算和超参数调整的复杂性，降低了计算成本。
技术框架：该框架主要包含一个CNN-Transformer模型，以及一个上下文编码模块。首先，从目标作者的少量样本中提取视觉特征，这些特征作为上下文信息输入到模型中。然后，CNN-Transformer模型利用这些上下文信息来识别手写文本。整个过程无需任何参数更新，完全依赖于上下文信息的引导。
关键创新：该方法最重要的创新点在于将多模态上下文学习的思想引入到手写文本识别的作者自适应任务中。与传统的微调或参数更新方法不同，该方法无需任何参数更新，仅通过上下文信息即可实现作者自适应。此外，该方法还设计了一个紧凑的8M参数CNN-Transformer，进一步提高了效率。
关键设计：该模型使用了一个紧凑的8M参数CNN-Transformer作为主干网络，以减少计算量。上下文编码模块负责提取目标作者样本的视觉特征，并将其作为上下文信息输入到Transformer中。损失函数方面，采用了标准的交叉熵损失函数。此外，论文还研究了上下文长度对性能的影响，并发现适当的上下文长度可以提高模型的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在IAM和RIMES数据集上取得了显著的性能提升，字符错误率分别降低至3.92%和2.34%。与现有的作者无关的HTR模型相比，该方法在无需任何参数更新的情况下，取得了更好的性能。此外，该方法还验证了上下文长度对性能的影响，并设计了一个紧凑的8M参数CNN-Transformer，提高了效率。
🎯 应用场景
该研究成果可应用于手写文档的自动识别与数字化，例如历史文献的整理、信件的自动归档、以及医疗记录的电子化。该方法无需针对每个作者进行模型微调，降低了部署成本，具有广泛的应用前景。未来，该技术还可扩展到其他风格迁移任务中。
📄 摘要（原文）
While state-of-the-art Handwritten Text Recognition (HTR) models perform well on standard benchmarks, they frequently struggle with writers exhibiting highly specific styles that are underrepresented in the training data. To handle unseen and atypical writers, writer adaptation techniques personalize HTR models to individual handwriting styles. Leading writer adaptation methods require either offline fine-tuning or parameter updates at inference time, both involving gradient computation and backpropagation, which increase computational costs and demand careful hyperparameter tuning. In this work, we propose a novel context-driven HTR framework3 inspired by multimodal in-context learning, enabling inference-time writer adaptation using only a few examples from the target writer without any parameter updates. We further demonstrate the impact of context length, design a compact 8M-parameter CNN-Transformer that enables few-shot in-context adaptation, and show that combining context-driven and standard OCR training strategies leads to complementary improvements. Experiments on IAM and RIMES validate our approach with Character Error Rates of 3.92% and 2.34%, respectively, surpassing all writer-independent HTR models without requiring any parameter updates at inference time.