Lawma: The Power of Specialization for Legal Annotation

📄 arXiv: 2407.16615v2 📥 PDF

作者: Ricardo Dominguez-Olmedo, Vedant Nanda, Rediet Abebe, Stefan Bechtold, Christoph Engel, Jens Frankenreiter, Krishna Gummadi, Moritz Hardt, Michael Livermore

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-07-23 (更新: 2025-04-23)

备注: ICLR 2025

💡 一句话要点

Lawma：利用专业化提升法律文本标注性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律文本标注 微调 领域专业化 CaselawQA 开源模型

📋 核心要点

  1. 法律文本标注依赖人工成本高昂，现有商业大模型效果不稳定，难以满足法律领域需求。
  2. 提出利用少量标注数据微调小型开源模型，以实现更高的法律文本标注准确率。
  3. 实验表明，微调后的小模型在CaselawQA基准测试中优于大型商业模型，所需标注数据量少。

📝 摘要（中文）

法律文本的标注和分类是实证法律研究的核心组成部分。传统上，这些任务通常委托给训练有素的研究助理。受语言模型进步的推动，实证法律学者越来越多地转向提示商业模型，希望减轻人工标注的巨大成本。尽管使用日益广泛，但我们对于如何最好地利用大型语言模型进行法律标注的理解仍然有限。为了弥合这一差距，我们引入了CaselawQA，一个包含260个法律标注任务的基准，几乎所有任务对于机器学习社区来说都是全新的。我们证明了GPT-4.5和Claude 3.7 Sonnet等商业模型实现了非平凡但高度可变的准确性，通常达不到法律工作所需的性能。然后，我们证明了小型、轻量级微调的模型优于商业模型。通常，几百到一千个标记示例就足以实现更高的准确性。我们的工作为提示商业模型的主流做法提供了一种可行的替代方案。对于具有一些可用标记数据的具体法律标注任务，研究人员可能更适合使用微调的开源模型。

🔬 方法详解

问题定义：论文旨在解决法律文本标注任务中，依赖人工标注成本高昂以及直接使用商业大模型效果不佳的问题。现有方法要么需要大量人工标注，要么依赖通用大模型，在法律领域的专业性和准确性上存在不足。商业大模型在法律领域的表现不稳定，难以满足实际应用的需求。

核心思路：论文的核心思路是利用领域内的少量标注数据，对小型开源模型进行微调，使其在特定法律标注任务上达到更高的准确率。这种方法旨在平衡标注成本和模型性能，避免过度依赖昂贵的商业大模型，同时保证模型在法律领域的专业性。

技术框架：论文主要采用微调（fine-tuning）的技术框架。首先，选择一个预训练的开源语言模型作为基础模型。然后，使用少量法律领域的标注数据，对该模型进行微调，使其适应特定的法律标注任务。最后，在CaselawQA基准测试中评估微调后模型的性能，并与商业大模型进行比较。

关键创新：论文的关键创新在于证明了在法律文本标注任务中，小型、轻量级微调的模型可以优于大型商业模型。这颠覆了以往认为大模型在所有任务上都具有优势的观点，强调了领域专业化对于模型性能的重要性。此外，CaselawQA基准测试的引入为法律文本标注领域的研究提供了新的评估标准。

关键设计：论文的关键设计包括：1) CaselawQA基准测试的构建，涵盖了260个法律标注任务；2) 使用少量标注数据（几百到一千个示例）进行微调；3) 选择合适的开源预训练模型作为基础模型；4) 将微调后的模型与GPT-4.5和Claude 3.7 Sonnet等商业模型进行对比评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用少量标注数据微调的小型模型在CaselawQA基准测试中优于GPT-4.5和Claude 3.7 Sonnet等商业模型。具体而言，仅需几百到一千个标注示例，微调后的模型即可实现更高的准确率。这一结果表明，在法律文本标注任务中，领域专业化比模型规模更重要，为法律领域的研究人员提供了一种更经济有效的解决方案。

🎯 应用场景

该研究成果可应用于法律领域的多个场景，例如法律文书的自动分类、案例的自动标注、法律咨询的辅助支持等。通过降低法律文本标注的成本，可以促进实证法律研究的发展，提高法律服务的效率和质量。未来，该方法可以推广到其他专业领域，例如医学、金融等，实现领域知识的有效迁移。

📄 摘要（原文）

Annotation and classification of legal text are central components of empirical legal research. Traditionally, these tasks are often delegated to trained research assistants. Motivated by the advances in language modeling, empirical legal scholars are increasingly turning to prompting commercial models, hoping that it will alleviate the significant cost of human annotation. Despite growing use, our understanding of how to best utilize large language models for legal annotation remains limited. To bridge this gap, we introduce CaselawQA, a benchmark comprising 260 legal annotation tasks, nearly all new to the machine learning community. We demonstrate that commercial models, such as GPT-4.5 and Claude 3.7 Sonnet, achieve non-trivial yet highly variable accuracy, generally falling short of the performance required for legal work. We then demonstrate that small, lightly fine-tuned models outperform commercial models. A few hundred to a thousand labeled examples are usually enough to achieve higher accuracy. Our work points to a viable alternative to the predominant practice of prompting commercial models. For concrete legal annotation tasks with some available labeled data, researchers are likely better off using a fine-tuned open-source model.