Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study

📄 arXiv: 2510.12835v1 📥 PDF

作者: Kon Woo Kim, Rezarta Islamaj, Jin-Dong Kim, Florian Boudin, Akiko Aizawa

分类: cs.CL, cs.AI

发布日期: 2025-10-13

备注: 11 pages, 2 figures, 3 tables, This is a preprint of the article accepted at NLDB 2025 (Springer LNCS). The final version is available at https://doi.org/10.1007/978-3-031-97144-0_13

期刊: In International Conference on Applications of Natural Language to Information Systems, pp. 140-151. Cham: Springer Nature Switzerland, 2025

DOI: 10.1007/978-3-031-97144-0_13

💡 一句话要点

提出一种基于LLM的标注指南重构方法，提升文本标注效率与质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本标注 标注指南 自动化标注 指令重构

📋 核心要点

  1. 传统标注指南面向人工标注者，难以直接应用于LLM，导致LLM标注效果不佳。
  2. 提出一种基于LLM调节的指南重构方法，将现有指南转化为LLM可理解的指令。
  3. 实验表明，重构后的指南能有效指导LLM标注，并揭示了实际应用中的挑战。

📝 摘要（中文）

本研究探讨了如何将现有的标注指南重新用于指导大型语言模型（LLM）进行文本标注任务。传统的指南是为经过训练并能内化规则的人工标注者编写的，而LLM需要明确的、结构化的指令。我们提出了一种面向调节的指南重构方法，通过LLM调节过程将指南转化为清晰的指令。以NCBI疾病语料库为例，我们的实验表明，重构后的指南可以有效地指导LLM标注者，同时也揭示了一些实际挑战。结果突出了这种工作流程在支持可扩展、低成本的标注指南改进和自动化标注方面的潜力。

🔬 方法详解

问题定义：论文旨在解决如何有效利用大型语言模型（LLM）进行文本标注的问题。现有的标注指南通常是为人类标注者设计的，他们可以通过培训来理解和应用这些指南。然而，LLM需要更明确、结构化的指令才能执行标注任务。直接使用现有的标注指南指导LLM往往效果不佳，因为LLM无法像人类一样进行推理和内化规则。

核心思路：论文的核心思路是通过一个“LLM调节”过程，将现有的标注指南转化为LLM可以理解和执行的指令。这种方法不是简单地将指南复制给LLM，而是利用LLM本身的能力来理解指南，并将其转化为更具体、更可操作的指令。通过迭代的调节过程，逐步完善指令，提高LLM标注的准确性和一致性。

技术框架：整体框架包含以下几个主要步骤：1) 指南分析：分析现有的标注指南，识别关键概念和规则。2) 指令生成：基于指南，生成初步的LLM指令。3) LLM标注：使用生成的指令，让LLM进行文本标注。4) 结果评估：评估LLM标注的结果，识别错误和不一致之处。5) 指令优化：根据评估结果，优化LLM指令，使其更清晰、更准确。重复步骤3-5，直到达到满意的标注效果。

关键创新：该方法的核心创新在于利用LLM本身来调节和优化标注指令。传统的做法是人工编写和修改指令，这需要耗费大量的人力和时间。而该方法通过LLM的自动化能力，可以更快速、更高效地生成和优化指令。此外，该方法还可以发现现有指南中的模糊或不一致之处，从而帮助改进指南本身。

关键设计：论文中没有明确给出关键的参数设置或网络结构等技术细节，因为该方法主要关注的是指令的生成和优化过程，而不是特定的模型或算法。关键的设计在于如何设计有效的提示词（prompts）来引导LLM理解指南并生成指令，以及如何设计评估指标来衡量LLM标注的质量。具体使用的LLM模型（例如GPT-3）以及评估指标（例如准确率、召回率）可能会影响最终的标注效果。

📊 实验亮点

实验结果表明，使用重构后的标注指南，LLM在NCBI疾病语料库上的标注效果得到了显著提升。虽然论文中没有给出具体的性能数据，但强调了重构后的指南能够更有效地指导LLM进行标注，并揭示了实际应用中的一些挑战，例如如何处理复杂规则和歧义情况。该研究为利用LLM进行自动化标注提供了一种新的思路。

🎯 应用场景

该研究成果可应用于各种文本标注任务，例如命名实体识别、关系抽取、情感分析等。通过自动化标注指南的重构和优化，可以显著降低标注成本，提高标注效率，并保证标注质量。此外，该方法还可以用于改进现有的标注指南，使其更清晰、更易于理解，从而提高人工标注的效率和一致性。未来，该方法有望应用于更复杂的标注任务，例如图像标注、视频标注等。

📄 摘要（原文）

This study investigates how existing annotation guidelines can be repurposed to instruct large language model (LLM) annotators for text annotation tasks. Traditional guidelines are written for human annotators who internalize training, while LLMs require explicit, structured instructions. We propose a moderation-oriented guideline repurposing method that transforms guidelines into clear directives for LLMs through an LLM moderation process. Using the NCBI Disease Corpus as a case study, our experiments show that repurposed guidelines can effectively guide LLM annotators, while revealing several practical challenges. The results highlight the potential of this workflow to support scalable and cost-effective refinement of annotation guidelines and automated annotation.