A large-scale, unsupervised pipeline for automatic corpus annotation using LLMs: variation and change in the English consider construction

📄 arXiv: 2510.12306v1 📥 PDF

作者: Cameron Morin, Matti Marttinen Larsson

分类: cs.CL

发布日期: 2025-10-14

💡 一句话要点

提出基于LLM的大规模无监督语料自动标注流程，加速语料库语言学研究。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语料库标注 无监督学习 自然语言处理 提示工程

📋 核心要点

  1. 人工标注是语料库语言学研究的瓶颈，难以应对语料库规模的快速增长。
  2. 提出一种基于LLM的无监督自动标注流程，包含提示工程、预评估、批量处理和后验证。
  3. 在COHA语料库上验证，对英语consider结构进行标注，准确率达到98%以上。

📝 摘要（中文）

本文提出了一种可扩展的无监督流程，利用大型语言模型（LLM）自动标注海量语料库，旨在解决语料库语言学研究中人工标注的瓶颈问题。该方法包含提示工程、预先评估、自动批量处理和事后验证四个阶段。通过对英语consider结构变异的历时案例研究，验证了该流程的可行性和有效性。使用OpenAI API的GPT-5，在不到60小时内标注了来自美国历史英语语料库（COHA）的143,933个句子，在两个复杂的标注程序上实现了98%以上的准确率。结果表明，LLM可以在最少的人工干预下执行大规模数据准备任务，为基于语料库的研究开辟了新的可能性，但实施需要关注成本、许可和其他伦理问题。

🔬 方法详解

问题定义：论文旨在解决语料库语言学研究中，由于语料库规模日益增长，而人工标注效率低下所造成的瓶颈问题。现有方法，如监督学习和迭代方法，在处理大规模语料库时成本高昂且耗时。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，通过精心设计的提示（prompt engineering），使LLM能够自动执行复杂的语法标注任务。通过无监督的方式，减少对大量标注数据的依赖，从而降低成本并提高效率。

技术框架：该流程包含四个主要阶段： 1. 提示工程（Prompt Engineering）：设计合适的提示，指导LLM执行特定的标注任务。 2. 预先评估（Pre-hoc Evaluation）：在小规模数据集上评估不同提示的效果，选择最优提示。 3. 自动批量处理（Automated Batch Processing）：使用选定的提示，对大规模语料库进行自动标注。 4. 事后验证（Post-hoc Validation）：对标注结果进行抽样检查，评估整体标注质量。

关键创新：该方法的主要创新在于其无监督的特性，以及利用LLM进行大规模自动标注的能力。与传统的监督学习方法相比，该方法无需大量人工标注数据，降低了标注成本。与迭代方法相比，该方法流程更简洁，效率更高。

关键设计：论文使用了GPT-5模型，并通过OpenAI API进行调用。提示工程是关键，需要根据具体的标注任务进行设计。论文没有详细说明具体的提示设计，但强调了预先评估的重要性，即通过实验选择最优提示。此外，事后验证也至关重要，用于评估标注质量并发现潜在问题。

📊 实验亮点

该研究使用GPT-5模型，在COHA语料库上对143,933个句子进行了标注，标注任务是识别英语consider结构的变异。实验结果表明，该流程在两个复杂的标注程序上实现了98%以上的准确率。整个标注过程在不到60小时内完成，展示了LLM在数据准备方面的强大能力。

🎯 应用场景

该研究成果可广泛应用于语料库语言学、自然语言处理等领域。例如，可以用于自动构建大规模标注语料库，加速语言研究和模型训练。此外，该方法还可以应用于其他需要大量数据标注的任务，如文本分类、情感分析等，具有重要的实际应用价值和潜力。

📄 摘要（原文）

As natural language corpora expand at an unprecedented rate, manual annotation remains a significant methodological bottleneck in corpus linguistic work. We address this challenge by presenting a scalable, unsupervised pipeline for automating grammatical annotation in voluminous corpora using large language models (LLMs). Unlike previous supervised and iterative approaches, our method employs a four-phase workflow: prompt engineering, pre-hoc evaluation, automated batch processing, and post-hoc validation. We demonstrate the pipeline's accessibility and effectiveness through a diachronic case study of variation in the English consider construction. Using GPT-5 through the OpenAI API, we annotate 143,933 sentences from the Corpus of Historical American English (COHA) in under 60 hours, achieving 98%+ accuracy on two sophisticated annotation procedures. Our results suggest that LLMs can perform a range of data preparation tasks at scale with minimal human intervention, opening new possibilities for corpus-based research, though implementation requires attention to costs, licensing, and other ethical considerations.