LawGPT: A Chinese Legal Knowledge-Enhanced Large Language Model

📄 arXiv: 2406.04614v1 📥 PDF

作者: Zhi Zhou, Jiang-Xin Shi, Peng-Xiao Song, Xiao-Wen Yang, Yi-Xuan Jin, Lan-Zhe Guo, Yu-Feng Li

分类: cs.CL, cs.AI

发布日期: 2024-06-07

备注: Technical Report

🔗 代码/项目: GITHUB

💡 一句话要点

LawGPT：一个中文法律知识增强的大型语言模型，专为中文法律应用设计。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 中文法律 法律知识增强 预训练 监督微调 开源模型 自然语言处理

📋 核心要点

  1. 现有大型语言模型在中文法律任务中表现不足，专有模型存在隐私问题，开源模型缺乏法律知识。
  2. LawGPT通过面向法律的预训练和法律监督微调，将大规模中文法律文档融入模型，提升法律领域知识。
  3. 实验结果表明，LawGPT在中文法律任务中优于开源的LLaMA 7B模型，代码和资源已开源。

📝 摘要（中文）

大型语言模型（LLMs），包括专有模型和开源模型，在解决各种下游任务方面表现出了卓越的能力。然而，在实际的中文法律任务中，这些模型未能满足实际需求。专有模型无法确保敏感法律案件的数据隐私，而开源模型由于缺乏法律知识而表现出不令人满意的性能。为了解决这个问题，我们推出了LawGPT，这是第一个专门为中文法律应用设计的开源模型。LawGPT包含两个关键组成部分：面向法律的预训练和法律监督微调。具体来说，我们采用大规模的中文法律文档进行面向法律的预训练，以融入法律领域知识。为了进一步提高模型在下游法律任务中的性能，我们创建了一个知识驱动的指令数据集，用于法律监督微调。我们的实验结果表明，LawGPT优于开源的LLaMA 7B模型。我们的代码和资源已在https://github.com/pengxiao-song/LaWGPT上公开，并在GitHub上获得了5.7K星。

🔬 方法详解

问题定义：现有的大型语言模型在处理中文法律任务时，面临着两个主要问题。一是专有模型存在数据隐私风险，无法满足法律领域对数据安全性的严格要求。二是开源模型由于缺乏足够的法律领域知识，在法律相关的下游任务中表现不佳，无法满足实际应用的需求。因此，需要一个既开源又具备专业法律知识的大型语言模型。

核心思路：LawGPT的核心思路是通过两个阶段的学习来增强模型在中文法律领域的表现。首先，进行面向法律的预训练，利用大规模的中文法律文档，使模型能够学习和理解法律领域的专业知识和语言模式。其次，进行法律监督微调，利用知识驱动的指令数据集，进一步提升模型在特定法律任务上的性能。

技术框架：LawGPT的技术框架主要包含两个阶段：面向法律的预训练和法律监督微调。在预训练阶段，使用大规模的中文法律文档训练模型，使其具备基本的法律知识。在微调阶段，使用知识驱动的指令数据集，对模型进行微调，使其能够更好地完成特定的法律任务。整个流程旨在将法律知识融入模型，并提升其在实际法律场景中的应用能力。

关键创新：LawGPT的关键创新在于其针对中文法律领域的定制化设计。它不仅是第一个开源的中文法律大型语言模型，而且通过面向法律的预训练和法律监督微调，有效地将法律知识融入模型中。这种针对特定领域的定制化方法，使得LawGPT在中文法律任务中能够取得更好的性能。

关键设计：LawGPT的关键设计包括：1) 使用大规模的中文法律文档进行预训练，确保模型能够学习到足够的法律知识；2) 构建知识驱动的指令数据集，用于法律监督微调，提升模型在特定法律任务上的性能；3) 采用合适的预训练和微调策略，优化模型的学习效果。具体的参数设置、损失函数和网络结构等细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

LawGPT的实验结果表明，该模型在中文法律任务中优于开源的LLaMA 7B模型。具体性能数据和提升幅度未在摘要中给出，但“outperforms”表明LawGPT在相关任务上取得了显著的性能提升。开源和5.7K的GitHub星数也表明了其受欢迎程度和潜在影响力。

🎯 应用场景

LawGPT在多个领域具有潜在的应用价值，包括智能法律咨询、法律文书生成、案件分析和法律教育等。它可以帮助律师、法官和法律研究人员提高工作效率，为公众提供更便捷的法律服务。未来，LawGPT有望成为推动法律行业智能化发展的重要力量。

📄 摘要（原文）

Large language models (LLMs), including both proprietary and open-source models, have showcased remarkable capabilities in addressing a wide range of downstream tasks. Nonetheless, when it comes to practical Chinese legal tasks, these models fail to meet the actual requirements. Proprietary models do not ensure data privacy for sensitive legal cases, while open-source models demonstrate unsatisfactory performance due to their lack of legal knowledge. To address this problem, we introduce LawGPT, the first open-source model specifically designed for Chinese legal applications. LawGPT comprises two key components: legal-oriented pre-training and legal supervised fine-tuning. Specifically, we employ large-scale Chinese legal documents for legal-oriented pre-training to incorporate legal domain knowledge. To further improve the model's performance on downstream legal tasks, we create a knowledge-driven instruction dataset for legal supervised fine-tuning. Our experimental results demonstrate that LawGPT outperforms the open-source LLaMA 7B model. Our code and resources are publicly available at https://github.com/pengxiao-song/LaWGPT and have received 5.7K stars on GitHub.