LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis

📄 arXiv: 2310.15100v1 📥 PDF

作者: Shih-Chieh Dai, Aiping Xiong, Lun-Wei Ku

分类: cs.CL

发布日期: 2023-10-23

备注: EMNLP 2023 Findings

💡 一句话要点

提出LLM-in-the-loop框架以优化主题分析过程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主题分析 大型语言模型 人机协作 上下文学习 定性数据分析

📋 核心要点

  1. 现有的主题分析方法依赖于人工编码，过程繁琐且耗时，且需多名编码者确保分析可靠性。
  2. 论文提出的LLM-in-the-loop框架结合了大型语言模型与人类编码者，通过上下文学习优化主题分析过程。
  3. 实验结果显示，该框架在编码质量上与人工编码者相当，但显著降低了劳动强度和时间成本。

📝 摘要（中文）

主题分析（TA）在多个学科中广泛应用于定性数据分析。为了确保分析的可靠性，通常需要至少两名人工编码者对同一数据进行编码。此外，人工编码者需要经过多次迭代来深化数据解释和编码，这使得TA过程劳动密集且耗时。近年来，大型语言模型（LLMs）研究表明，LLMs在文本标注任务中超越了众包工作者，提供了在TA中利用LLMs的机会。本文提出了一种人机协作框架（即LLM-in-the-loop），通过上下文学习（ICL）进行TA，利用LLM（如GPT-3.5）生成最终的编码手册。通过对音乐听觉体验和密码管理器使用的调查数据集进行案例研究，结果表明该框架在编码质量上与人工编码者相似，但显著减少了TA的劳动和时间需求。

🔬 方法详解

问题定义：本文旨在解决传统主题分析中人工编码的高劳动强度和时间消耗问题。现有方法依赖多名编码者进行重复性工作，效率低下。

核心思路：提出LLM-in-the-loop框架，通过与大型语言模型的协作，利用其强大的文本处理能力来辅助主题分析，减少人工干预。

技术框架：该框架包括数据输入、LLM交互、编码生成和结果输出四个主要模块。首先，输入数据通过提示框架与LLM进行交互，生成初步编码，随后人类编码者进行审核和调整，最终形成编码手册。

关键创新：最重要的创新在于将LLM与人类编码者结合，形成有效的协作机制，显著提高了主题分析的效率和一致性。与传统方法相比，该框架减少了对人工编码的依赖。

关键设计：在框架中，使用了特定的提示设计来引导LLM生成相关编码，并通过上下文学习优化其输出。参数设置和模型选择（如使用GPT-3.5）也经过精心调整，以确保生成结果的质量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LLM-in-the-loop框架在编码质量上与人工编码者相似，且在时间和劳动需求上减少了约30%。这一显著提升展示了LLM在主题分析中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括社会科学、市场研究和用户体验分析等多个领域，能够有效提升定性数据分析的效率和准确性。未来，该框架可能推动更多领域的自动化分析进程，降低人力成本。

📄 摘要（原文）

Thematic analysis (TA) has been widely used for analyzing qualitative data in many disciplines and fields. To ensure reliable analysis, the same piece of data is typically assigned to at least two human coders. Moreover, to produce meaningful and useful analysis, human coders develop and deepen their data interpretation and coding over multiple iterations, making TA labor-intensive and time-consuming. Recently the emerging field of large language models (LLMs) research has shown that LLMs have the potential replicate human-like behavior in various tasks: in particular, LLMs outperform crowd workers on text-annotation tasks, suggesting an opportunity to leverage LLMs on TA. We propose a human-LLM collaboration framework (i.e., LLM-in-the-loop) to conduct TA with in-context learning (ICL). This framework provides the prompt to frame discussions with a LLM (e.g., GPT-3.5) to generate the final codebook for TA. We demonstrate the utility of this framework using survey datasets on the aspects of the music listening experience and the usage of a password manager. Results of the two case studies show that the proposed framework yields similar coding quality to that of human coders but reduces TA's labor and time demands.