T5 meets Tybalt: Author Attribution in Early Modern English Drama Using Large Language Models
作者: Rebecca M. M. Hicke, David Mimno
分类: cs.CL, cs.LG
发布日期: 2023-10-27
备注: Published in CHR 2023
💡 一句话要点
利用大语言模型进行早期现代英语戏剧的作者归属识别
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 作者归属 风格分析 早期现代英语 文本识别 微调技术 自然语言处理
📋 核心要点
- 现有方法在早期现代英语戏剧的作者识别中存在准确性不足和误归属风险。
- 论文提出通过微调大语言模型t5-large来提升短文本的作者归属准确性。
- 实验结果显示，t5-large模型在小段落的作者归属任务中显著优于传统基线模型。
📝 摘要（中文）
大语言模型在许多自然语言处理领域展现了突破性的潜力。本文探讨了其在风格分析中的应用，特别是早期现代英语戏剧的作者识别。研究发现，尽管大语言模型能够准确预测相对较短文本的作者，但也存在将文本错误归属给特定作者的风险。经过微调的t5-large模型在小段落的归属任务中优于所有测试的基线模型，包括逻辑回归、线性核支持向量机和余弦相似度。然而，模型预训练数据中某些作者的存在对预测结果产生了难以评估的影响。
🔬 方法详解
问题定义：本文旨在解决早期现代英语戏剧中的作者归属识别问题，现有方法在处理短文本时准确性不足，且容易出现误归属现象。
核心思路：通过微调大语言模型t5-large，利用其强大的上下文理解能力来提升短文本的作者识别准确性，旨在克服传统方法的局限性。
技术框架：研究首先对t5-large模型进行微调，使用包含早期现代英语戏剧文本的特定数据集进行训练。模型的输入为短文本片段，输出为预测的作者。
关键创新：本研究的主要创新在于将大语言模型应用于风格分析领域，尤其是在短文本的作者归属任务中，显著提升了识别准确性。
关键设计：在模型微调过程中，采用了特定的训练数据集，并对模型的超参数进行了优化，以确保在短文本上获得最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，微调后的t5-large模型在小段落的作者归属任务中表现优异，超越了逻辑回归、线性核SVM和余弦相似度等基线模型，展现出更高的准确性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括文学研究、文本分析和历史文献的作者识别等。通过提高作者归属的准确性，能够为学术界提供更为可靠的文本分析工具，推动相关领域的研究进展。
📄 摘要（原文）
Large language models have shown breakthrough potential in many NLP domains. Here we consider their use for stylometry, specifically authorship identification in Early Modern English drama. We find both promising and concerning results; LLMs are able to accurately predict the author of surprisingly short passages but are also prone to confidently misattribute texts to specific authors. A fine-tuned t5-large model outperforms all tested baselines, including logistic regression, SVM with a linear kernel, and cosine delta, at attributing small passages. However, we see indications that the presence of certain authors in the model's pre-training data affects predictive results in ways that are difficult to assess.