Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models

📄 arXiv: 2407.10645v2 📥 PDF

作者: Louis Abraham, Charles Arnal, Antoine Marie

分类: cs.CL, cs.AI, cs.CY

发布日期: 2024-07-15 (更新: 2025-03-10)

💡 一句话要点

针对社会科学文本标注，提出基于自动Prompt优化的LLM标注方法，显著提升标注精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本标注 Prompt工程 自动Prompt优化 社会科学 自然语言处理 LLM应用

📋 核心要点

  1. 现有方法忽略了Prompt选择对LLM文本标注性能的显著影响，导致标注结果不稳定。
  2. 本研究提出一种自动Prompt优化方法，旨在系统性地生成高质量的Prompt，从而提升LLM的标注性能。
  3. 实验结果表明，优化后的Prompt能够显著提高LLM在社会科学文本标注任务中的准确性。

📝 摘要（中文）

大型语言模型（LLM）近年来已被应用于社会科学领域的文本标注任务，在成本远低于人工标注的情况下，其性能已达到甚至超过人工标注水平。然而，目前尚未有研究探讨Prompt选择对标注准确性的影响。本研究表明，不同Prompt之间的性能差异巨大。我们应用自动Prompt优化方法，系统地生成高质量的Prompt。同时，我们提供了一个基于浏览器的简单实现，供社区使用，网址为https://prompt-ultra.github.io/。

🔬 方法详解

问题定义：论文旨在解决社会科学领域文本标注任务中，由于Prompt选择不当导致的LLM标注性能不稳定的问题。现有方法通常依赖人工设计的Prompt，缺乏系统性的优化，导致标注结果受Prompt质量影响较大。

核心思路：论文的核心思路是通过自动Prompt优化，寻找能够最大化LLM标注性能的Prompt。通过迭代地生成、评估和选择Prompt，最终获得一组高质量的Prompt，从而提高标注的准确性和稳定性。

技术框架：该方法主要包含以下几个阶段：1) Prompt生成：利用某种策略（例如，基于模板或基于LLM的生成）生成候选Prompt集合。2) Prompt评估：使用少量标注数据评估每个Prompt的性能。评估指标可以是准确率、F1值等。3) Prompt选择：根据评估结果，选择性能最佳的Prompt子集。4) 迭代优化：重复上述过程，不断优化Prompt集合。

关键创新：该方法最重要的创新在于将自动Prompt优化技术应用于社会科学文本标注任务。与人工设计的Prompt相比，自动优化能够更全面地探索Prompt空间，发现更有效的Prompt。

关键设计：具体的Prompt生成策略、评估指标和选择算法是关键的设计细节。例如，可以使用基于梯度下降的Prompt优化方法，或者使用遗传算法等进化算法来搜索Prompt空间。评估指标的选择需要根据具体的标注任务进行调整。论文提供的在线工具可能包含这些关键参数的设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究表明，Prompt选择对LLM在社会科学文本标注任务中的性能影响巨大。通过自动Prompt优化，可以显著提高标注准确性。论文提供了一个易于使用的在线工具，方便研究人员和从业者应用该方法。

🎯 应用场景

该研究成果可广泛应用于社会科学领域的文本分析，例如舆情分析、情感分析、主题建模等。通过自动优化Prompt，可以降低人工标注成本，提高标注效率和准确性，从而加速社会科学研究的进程。未来，该方法可以扩展到其他领域的文本标注任务中。

📄 摘要（原文）

Large Language Models have recently been applied to text annotation tasks from social sciences, equalling or surpassing the performance of human workers at a fraction of the cost. However, no inquiry has yet been made on the impact of prompt selection on labelling accuracy. In this study, we show that performance greatly varies between prompts, and we apply the method of automatic prompt optimization to systematically craft high quality prompts. We also provide the community with a simple, browser-based implementation of the method at https://prompt-ultra.github.io/ .