Contrastive Learning for Authorship Verification
作者: Peter Kirby
分类: cs.CL, cs.LG
发布日期: 2026-09-23
备注: Published in the proceedings of CLEF 2026. Code: https://github.com/petekirby/contrastive-av
期刊: Experimental IR Meets Multilinguality, Multimodality, and Interaction (CLEF 2026), LNCS 17087, pp. 92-102, Springer (2027)
DOI: 10.1007/978-3-032-39150-6_7
💡 一句话要点
提出对比学习方法以提升作者验证准确性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 对比学习 作者验证 文本分析 深度学习 BERT模型 机器学习 自然语言处理
📋 核心要点
- 现有的作者验证方法多依赖于分类模型，面临准确性和泛化能力不足的挑战。
- 论文提出了一种基于对比学习的ModernBERT双编码器模型，通过优化多个关键因素提升性能。
- 实验结果显示，该模型在PAN21任务中实现了98.4%的准确率，显著优于传统分类方法。
📝 摘要（中文）
我们的研究结果表明，在测试的设置下，对比学习方法在作者验证任务中优于基于分类的方法。我们识别出损失函数、批量大小、训练时长、预训练模型、输入上下文长度以及随机文本跨度数据增强等因素对模型性能的重要影响。基于这些考虑，我们开发了ModernBERT双编码器模型，在PAN21作者验证任务中达到了98.4%的准确率。
🔬 方法详解
问题定义：本论文旨在解决作者验证任务中的准确性和泛化能力不足的问题。现有的分类方法在处理复杂文本特征时表现不佳，导致验证结果不够可靠。
核心思路：论文提出通过对比学习来增强模型对作者特征的学习能力，利用相似性度量来区分不同作者的文本风格，从而提高验证的准确性。
技术框架：整体架构包括数据预处理、对比学习损失计算、双编码器结构和模型训练等主要模块。首先对输入文本进行处理，然后通过双编码器提取特征，最后利用对比损失进行训练。
关键创新：最重要的技术创新在于引入对比学习机制，替代传统的分类方法，使得模型能够更好地捕捉文本之间的细微差异，从而提升验证效果。
关键设计：在模型设计中，选择了适合的损失函数，调整了批量大小和训练时长，并使用了预训练的BERT模型作为基础。此外，输入上下文长度和随机文本跨度的数据增强策略也被纳入考虑，以进一步提升模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ModernBERT双编码器模型在PAN21作者验证任务中达到了98.4%的准确率，显著优于传统的分类方法。这一提升表明对比学习在文本特征学习中的有效性，为作者验证提供了新的解决方案。
🎯 应用场景
该研究的潜在应用领域包括学术诚信检测、社交媒体内容审核以及法律文书的作者身份确认等。通过提高作者验证的准确性，可以有效防止抄袭和伪造行为，维护学术和社会的公正性。未来，该方法还可能扩展到其他文本分析任务中，具有广泛的实际价值。
📄 摘要（原文）
Our results show that contrastive learning outperforms a classification-based approach to authorship verification under the tested settings. We identify loss function, batch size, training duration, pre-trained model, input context length, and random text span data augmentation as important factors of model performance. Based on these considerations, we develop a ModernBERT Bi-Encoder model that achieves 98.4% accuracy on the PAN21 authorship verification task.