Automated Annotation of Evolving Corpora for Augmenting Longitudinal Network Data: A Framework Integrating Large Language Models and Expert Knowledge

📄 arXiv: 2503.01672v1 📥 PDF

作者: Xiao Liu, Zirui Wu, Jiayi Li, Zhicheng Shao, Xun Pang, Yansong Feng

分类: cs.CL, cs.SI

发布日期: 2025-03-03

备注: Work in progress, presented at the 2025 Asian PolMeth Conference

💡 一句话要点

提出EALA框架，结合LLM与专家知识，自动标注演化语料以增强纵向网络数据。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自动标注 纵向网络数据 演化语料 专家知识

📋 核心要点

  1. 现有方法难以应对语义环境随时间变化带来的动态交互类型推断挑战，尤其是在保持标注一致性方面。
  2. EALA方法结合LLM、历史标注数据和专家构建的编码手册，自动外推和扩展数据集，预测未来时期的交互。
  3. 在气候谈判数据集上的实验表明，EALA能有效预测谈判方之间的细微互动，并捕捉主题随时间的演变。

📝 摘要（中文）

纵向网络数据对于分析政治、经济和社会系统及过程至关重要。在政治学中，这些数据集通常通过人工标注或应用于演化语料的监督机器学习生成。然而，随着语义环境随时间推移而变化，推断不同实体之间在新兴问题上的动态交互类型带来了重大挑战，尤其是在保持及时和一致的标注方面。本文提出了专家增强的LLM标注（EALA）方法，该方法结合了大型语言模型（LLM）、历史标注数据和专家构建的编码手册，以将数据集外推和扩展到未来时期。我们使用气候谈判数据集评估了EALA的性能和可靠性。我们的研究结果表明，EALA有效地预测了谈判各方之间细微的互动，并捕捉了主题随时间的演变。同时，我们发现了基于LLM的标注的一些固有局限性，突出了未来改进的领域。鉴于编码手册和标注数据集的广泛可用性，EALA在推进政治学及其他领域的研究方面具有巨大的潜力。

🔬 方法详解

问题定义：论文旨在解决纵向网络数据构建中，由于语义环境随时间演变，导致人工标注成本高昂且难以保持一致性的问题。现有方法，如完全依赖人工标注或传统监督学习，难以有效应对新兴议题和动态交互类型，无法及时更新和扩展数据集。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语义理解和生成能力，结合已有的历史标注数据和专家构建的编码手册，对未来的语料进行自动标注。通过这种方式，可以降低人工标注的成本，提高标注效率，并保持标注的一致性。

技术框架：EALA框架主要包含以下几个阶段：1) 数据准备：收集历史标注数据和专家构建的编码手册；2) LLM微调/提示工程：利用历史数据对LLM进行微调，或者设计合适的提示，使其能够理解和遵循编码手册的规则；3) 语料标注：使用微调后的LLM或通过提示工程的LLM对新的语料进行自动标注；4) 结果评估与修正：评估LLM标注的准确性和一致性，并根据需要进行人工修正。

关键创新：EALA的关键创新在于将LLM与专家知识相结合，利用LLM的泛化能力和编码手册的规范性，实现了对演化语料的自动标注。与传统的监督学习方法相比，EALA能够更好地适应语义环境的变化，并能够处理新兴议题。与完全依赖LLM的方法相比，EALA通过编码手册的约束，提高了标注的可靠性和一致性。

关键设计：论文中关键的设计可能包括：1) LLM的选择：选择具有较强语义理解和生成能力的LLM，如GPT系列、LLaMA系列等；2) 编码手册的设计：设计清晰、明确的编码手册，定义各种交互类型和主题的含义；3) 微调/提示策略：设计有效的微调或提示策略，使LLM能够准确理解和应用编码手册的规则；4) 评估指标：选择合适的评估指标，如准确率、召回率、F1值等，评估LLM标注的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EALA在气候谈判数据集上进行了评估，结果表明该方法能够有效预测谈判各方之间的细微互动，并捕捉主题随时间的演变。具体性能数据未知，但论文强调EALA能够显著提升标注效率和一致性，降低人工成本。同时，论文也指出了LLM标注的局限性，为未来研究提供了方向。

🎯 应用场景

EALA框架可广泛应用于政治学、社会学、经济学等领域，用于构建和维护纵向网络数据集，分析政治事件、社会运动、经济关系等。该方法能够降低数据构建成本，提高研究效率，并为政策制定提供更及时、准确的数据支持。未来，EALA还可扩展到其他语言和领域，例如舆情分析、危机管理等。

📄 摘要（原文）

Longitudinal network data are essential for analyzing political, economic, and social systems and processes. In political science, these datasets are often generated through human annotation or supervised machine learning applied to evolving corpora. However, as semantic contexts shift over time, inferring dynamic interaction types on emerging issues among a diverse set of entities poses significant challenges, particularly in maintaining timely and consistent annotations. This paper presents the Expert-Augmented LLM Annotation (EALA) approach, which leverages Large Language Models (LLMs) in combination with historically annotated data and expert-constructed codebooks to extrapolate and extend datasets into future periods. We evaluate the performance and reliability of EALA using a dataset of climate negotiations. Our findings demonstrate that EALA effectively predicts nuanced interactions between negotiation parties and captures the evolution of topics over time. At the same time, we identify several limitations inherent to LLM-based annotation, highlighting areas for further improvement. Given the wide availability of codebooks and annotated datasets, EALA holds substantial promise for advancing research in political science and beyond.