Using Large Language Models to Support Thematic Analysis in Empirical Legal Studies
作者: Jakub Drápal, Hannes Westermann, Jaromir Savelka
分类: cs.AI, cs.CL, cs.HC
发布日期: 2023-10-28
备注: 10 pages, 5 figures, 3 tables
期刊: The Thirty-sixth Annual Conference on Legal Knowledge and Information Systems (JURIX 2023), Maastricht, The Netherlands
💡 一句话要点
提出一种框架以支持法律实证研究中的主题分析
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主题分析 法律实证研究 大型语言模型 自然语言处理 归纳编码 数据分类 专家反馈
📋 核心要点
- 现有的主题分析方法在处理复杂法律文本时，往往面临效率低下和准确性不足的挑战。
- 本文提出的框架通过结合法律专家与大型语言模型，优化了主题分析的初始编码和主题搜索过程。
- 实验结果显示，GPT-4生成的初始编码质量高，并且在零样本分类中表现出色，能够有效支持法律研究。
📝 摘要（中文）
主题分析及其他归纳编码变体是法律实证研究中广泛使用的定性分析方法。本文提出了一种新颖框架，促进法律专家与大型语言模型（LLM）之间的有效协作，以生成初始编码、搜索主题并根据主题对数据进行分类。我们在一个包含785个盗窃案件事实描述的数据集上应用了该框架，旨在发现典型盗窃的类别。结果表明，LLM（如OpenAI的GPT-4）生成了合理的初始编码，并能够根据专家反馈提高编码质量。此外，模型在零样本分类事实描述方面表现良好，LLM自主发现的主题与法律专家得出的主题相映衬。这些发现为法律研究人员在主题分析及其他归纳编码项目中整合LLM提供了指导。
🔬 方法详解
问题定义：本文旨在解决法律实证研究中主题分析的效率和准确性问题，现有方法在处理复杂法律文本时存在不足。
核心思路：通过构建一个框架，使法律专家与大型语言模型（LLM）协同工作，生成初始编码、搜索主题并进行数据分类，从而提高分析效率和质量。
技术框架：整体流程分为几个阶段：首先，法律专家提供数据和背景信息；然后，LLM生成初始编码；接着，专家对编码进行反馈和调整；最后，LLM进行主题分类和分析。
关键创新：本研究的创新点在于将LLM与法律专家的知识结合，形成一个协作式的分析框架，显著提升了主题分析的效率和准确性。
关键设计：在框架中，LLM的初始编码生成和主题分类采用了先进的自然语言处理技术，专家反馈机制确保了编码的质量和相关性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4生成的初始编码质量高，能够根据专家反馈进行有效改进。在零样本分类任务中，模型表现出色，成功将事实描述与主题进行匹配，证明了其在法律文本分析中的实用性。
🎯 应用场景
该研究的框架可广泛应用于法律实证研究、社会科学研究及其他需要定性分析的领域。通过结合LLM的强大处理能力与专家的专业知识，研究人员能够更高效地进行数据分析，提升研究质量，推动法律研究的深入发展。
📄 摘要（原文）
Thematic analysis and other variants of inductive coding are widely used qualitative analytic methods within empirical legal studies (ELS). We propose a novel framework facilitating effective collaboration of a legal expert with a large language model (LLM) for generating initial codes (phase 2 of thematic analysis), searching for themes (phase 3), and classifying the data in terms of the themes (to kick-start phase 4). We employed the framework for an analysis of a dataset (n=785) of facts descriptions from criminal court opinions regarding thefts. The goal of the analysis was to discover classes of typical thefts. Our results show that the LLM, namely OpenAI's GPT-4, generated reasonable initial codes, and it was capable of improving the quality of the codes based on expert feedback. They also suggest that the model performed well in zero-shot classification of facts descriptions in terms of the themes. Finally, the themes autonomously discovered by the LLM appear to map fairly well to the themes arrived at by legal experts. These findings can be leveraged by legal researchers to guide their decisions in integrating LLMs into their thematic analyses, as well as other inductive coding projects.