Luwen Technical Report
作者: Yiquan Wu, Yuhang Liu, Yifei Liu, Ang Li, Siying Zhou, Kun Kuang
分类: cs.CL, cs.AI
发布日期: 2026-04-08
备注: 10 pages, 4 figures
💡 一句话要点
提出Luwen：一个基于Baichuan的中文法律大语言模型，提升法律领域任务性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律大语言模型 中文法律 检索增强生成 持续预训练 监督微调
📋 核心要点
- 法律领域对专业知识和推理能力要求高，通用大语言模型难以直接应用。
- Luwen通过持续预训练、监督微调和检索增强生成，增强模型法律知识和推理能力。
- 实验表明，Luwen在多个法律任务上优于现有模型，验证了方法的有效性。
📝 摘要（中文）
大型语言模型在自然语言处理任务中表现出卓越的能力，但由于法律领域涉及专业术语、复杂的推理要求和快速发展的法律知识，因此它们在该领域的应用仍然具有挑战性。本文介绍了Luwen，一个开源的中文法律语言模型，它基于Baichuan基础模型，并通过三个关键技术构建：大规模法律语料库上的持续预训练、使用精心策划的法律指令数据进行监督微调，以及集成包含全面法律知识库的检索增强生成。我们在五个具有代表性的法律任务（涵盖预测和生成设置）上评估了Luwen，包括法律判决预测、司法考试、法律文本摘要、法律条文问答和司法决策推理。实验结果表明，Luwen优于几个强大的基线模型，证明了我们的方法在将通用语言模型适应于法律领域的有效性。
🔬 方法详解
问题定义：现有的大型语言模型在通用领域表现出色，但在法律领域面临挑战。法律领域存在大量专业术语，需要复杂的推理能力，并且法律知识更新迅速。因此，直接应用通用大语言模型难以取得理想效果，需要针对法律领域进行专门的优化和调整。
核心思路：Luwen的核心思路是通过三个关键技术，使通用语言模型适应法律领域：首先，利用大规模法律语料库进行持续预训练，使模型掌握法律领域的专业知识；其次，使用精心策划的法律指令数据进行监督微调，提升模型在特定法律任务上的性能；最后，集成包含全面法律知识库的检索增强生成，使模型能够利用外部知识进行推理和决策。
技术框架：Luwen的整体框架包含三个主要阶段：1) 持续预训练阶段：使用大规模法律语料库，在Baichuan基础模型上进行持续预训练，使模型学习法律领域的专业知识和语言模式。2) 监督微调阶段：使用精心策划的法律指令数据，对模型进行监督微调，提升模型在特定法律任务上的性能，例如法律判决预测、司法考试等。3) 检索增强生成阶段：集成包含全面法律知识库的检索模块，使模型能够根据输入问题检索相关的法律知识，并利用检索到的知识生成答案或进行推理。
关键创新：Luwen的关键创新在于将持续预训练、监督微调和检索增强生成三种技术相结合，有效地提升了模型在法律领域的性能。与传统的微调方法相比，持续预训练能够使模型更好地掌握法律领域的专业知识；与单纯的生成模型相比，检索增强生成能够使模型利用外部知识进行推理和决策。
关键设计：在持续预训练阶段，使用了大规模的法律文本数据，包括法律法规、判决书、法律论文等。在监督微调阶段，使用了精心策划的法律指令数据，包括各种法律任务的输入输出示例。在检索增强生成阶段，构建了一个包含全面法律知识的知识库，并设计了一个高效的检索算法，用于检索相关的法律知识。
🖼️ 关键图片
📊 实验亮点
Luwen在五个代表性的法律任务上进行了评估，包括法律判决预测、司法考试、法律文本摘要、法律条文问答和司法决策推理。实验结果表明，Luwen在这些任务上均优于多个强大的基线模型，证明了其在法律领域的有效性。具体的性能提升数据在论文中详细展示。
🎯 应用场景
Luwen可应用于多个法律领域，例如智能法律咨询、法律文书生成、辅助司法判决等。它可以帮助律师、法官和法律从业人员更高效地处理法律事务，提高工作效率和准确性。未来，Luwen有望成为法律领域的重要工具，推动法律行业的智能化发展。
📄 摘要（原文）
Large language models have demonstrated remarkable capabilities across a wide range of natural language processing tasks, yet their application in the legal domain remains challenging due to the specialized terminology, complex reasoning requirements, and rapidly evolving legal knowledge involved. In this paper, we present Luwen, an open-source Chinese legal language model built upon the Baichuan foundation model through three key techniques: continual pre-training on a large-scale legal corpus, supervised fine-tuning with carefully curated legal instruction data, and retrieval-augmented generation integrated with a comprehensive legal knowledge base. We evaluate Luwen on five representative legal tasks spanning both prediction and generation settings, including legal judgment prediction, judicial examination, legal text summarization, law article question answering, and judicial decision reasoning. Experimental results show that Luwen outperforms several strong baselines, demonstrating the effectiveness of our approach in adapting general-purpose language models to the legal domain.