InternLM-Law: An Open Source Chinese Legal Large Language Model

📄 arXiv: 2406.14887v1 📥 PDF

作者: Zhiwei Fei, Songyang Zhang, Xiaoyu Shen, Dawei Zhu, Xiao Wang, Maosong Cao, Fengzhe Zhou, Yining Li, Wenwei Zhang, Dahua Lin, Kai Chen, Jidong Ge

分类: cs.CL

发布日期: 2024-06-21

备注: Our dataset, code and models will be released at https://github.com/InternLM/InternLM-Law

💡 一句话要点

提出 InternLM-Law，一个开源的中文法律大语言模型，用于解决法律领域的复杂查询。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律大语言模型 中文法律 自然语言处理 法律问答 两阶段微调

📋 核心要点

  1. 现有大语言模型在法律领域面临挑战，因为法律查询需要复杂的专业知识。
  2. InternLM-Law 通过构建高质量法律数据集和两阶段微调策略，提升模型在法律领域的表现。
  3. 实验表明，InternLM-Law 在 LawBench 上的平均性能超越了包括 GPT-4 在内的先进模型。

📝 摘要（中文）

本文介绍了 InternLM-Law，一个专门为解决与中国法律相关的各种法律查询而定制的大型语言模型（LLM）。该模型能够处理从回答标准法律问题（例如教科书中的法律练习）到分析复杂的现实法律情况等任务。作者精心构建了一个包含超过100万个查询的中文法律领域数据集，并实施了数据过滤和处理流程，以确保其多样性和质量。训练方法采用了一种新颖的两阶段过程：首先在法律特定内容和通用内容上对LLM进行微调，使模型具备广泛的知识；然后专门对高质量的法律数据进行微调，以增强结构化输出的生成。InternLM-Law 在 LawBench 上实现了最高的平均性能，在 20 个子任务中的 13 个任务上优于最先进的模型，包括 GPT-4。作者公开了 InternLM-Law 及其数据集，以促进未来在法律领域应用 LLM 的研究。

🔬 方法详解

问题定义：现有的大语言模型在处理法律领域的特定问题时表现不佳。这是因为法律领域知识复杂，需要专业的理解和推理能力。现有的通用大语言模型缺乏足够的法律知识储备，并且难以生成结构化的法律文本输出。

核心思路：InternLM-Law 的核心思路是构建一个专门针对中文法律领域的大规模数据集，并采用两阶段微调策略，使模型能够更好地理解和生成法律文本。通过第一阶段的通用知识和法律知识混合训练，模型获得广泛的知识基础；第二阶段专注于高质量法律数据，提升模型生成结构化法律输出的能力。

技术框架：InternLM-Law 的训练框架主要包含数据构建、预训练模型选择、两阶段微调和评估四个阶段。首先，构建包含超过100万条查询的中文法律数据集，并进行数据清洗和过滤。然后，选择一个预训练的大语言模型作为基础模型。接着，进行两阶段微调：第一阶段在法律特定和通用内容上进行微调，第二阶段专注于高质量法律数据。最后，使用 LawBench 等基准测试评估模型的性能。

关键创新：该论文的关键创新在于构建了大规模高质量的中文法律数据集，并提出了两阶段微调策略。该策略首先让模型学习广泛的知识，然后专注于法律领域的知识，从而提高了模型在法律领域的表现。此外，数据过滤和处理流程也保证了数据集的多样性和质量。

关键设计：在数据构建方面，作者设计了精细的数据过滤和处理流程，以确保数据集的质量和多样性。在两阶段微调中，作者可能采用了不同的学习率、损失函数权重等超参数，以优化模型的训练效果。具体的网络结构细节可能与所选择的预训练模型有关，论文中可能没有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InternLM-Law 在 LawBench 基准测试中取得了显著的成果，在 20 个子任务中的 13 个任务上超越了包括 GPT-4 在内的最先进模型，展现了其在中文法律领域的强大能力。该模型在法律问答、案例分析等任务上均表现出色，证明了其在处理复杂法律问题方面的有效性。

🎯 应用场景

InternLM-Law 可应用于智能法律咨询、法律文书生成、法律信息检索等领域。它可以帮助律师、法官和法律研究人员更高效地处理法律事务，并为普通民众提供便捷的法律服务。未来，该模型有望在法律教育、法律援助等方面发挥更大的作用。

📄 摘要（原文）

While large language models (LLMs) have showcased impressive capabilities, they struggle with addressing legal queries due to the intricate complexities and specialized expertise required in the legal field. In this paper, we introduce InternLM-Law, a specialized LLM tailored for addressing diverse legal queries related to Chinese laws, spanning from responding to standard legal questions (e.g., legal exercises in textbooks) to analyzing complex real-world legal situations. We meticulously construct a dataset in the Chinese legal domain, encompassing over 1 million queries, and implement a data filtering and processing pipeline to ensure its diversity and quality. Our training approach involves a novel two-stage process: initially fine-tuning LLMs on both legal-specific and general-purpose content to equip the models with broad knowledge, followed by exclusive fine-tuning on high-quality legal data to enhance structured output generation. InternLM-Law achieves the highest average performance on LawBench, outperforming state-of-the-art models, including GPT-4, on 13 out of 20 subtasks. We make InternLM-Law and our dataset publicly available to facilitate future research in applying LLMs within the legal domain.