NyayaAnumana & INLegalLlama: The Largest Indian Legal Judgment Prediction Dataset and Specialized Language Model for Enhanced Decision Analysis

📄 arXiv: 2412.08385v1 📥 PDF

作者: Shubham Kumar Nigam, Balaramamahanthi Deepak Patnaik, Shivam Mishra, Noel Shallum, Kripabandhu Ghosh, Arnab Bhattacharya

分类: cs.CL, cs.AI, cs.IR, cs.LG

发布日期: 2024-12-11

备注: Accepted on COLING 2025

💡 一句话要点

提出NyayaAnumana印度法律判决预测数据集与INLegalLlama专用语言模型，提升决策分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律判决预测 印度法律 大型语言模型 领域特定模型 数据集构建

📋 核心要点

  1. 印度法律系统积压案件严重，现有法律判决预测（LJP）方法缺乏足够的数据和领域知识。
  2. 论文提出NyayaAnumana数据集和INLegalLlama模型，通过大规模数据和领域知识注入提升预测准确性和可解释性。
  3. 实验表明，INLegalLlama在法律判决预测任务中取得了约90%的F1分数，并提供了可理解的解释。

📝 摘要（中文）

本文介绍了NyayaAnumana，这是为法律判决预测（LJP）编译的最大的印度法律案例库，包含702,945个预处理案例。NyayaAnumana涵盖了最高法院、高等法院、法庭、地方法院和日常命令等各种案例，提供了前所未有的多样性和覆盖范围，超越了现有的PredEx和ILDC等数据集，为法律领域的高级人工智能研究奠定了全面的基础。此外，本文还提出了INLegalLlama，这是一个针对印度法律体系的领域特定生成式大型语言模型（LLM）。该模型通过对基础LLaMa模型进行两阶段训练而开发：首先，使用持续预训练注入印度法律文件；其次，进行特定于任务的监督微调。这种方法使模型能够更深入地理解法律背景。实验表明，结合多样化的法院数据可以显著提高模型准确性，在预测任务中达到约90%的F1分数。INLegalLlama不仅提高了预测准确性，还提供了可理解的解释，满足了人工智能辅助法律决策中对可解释性的需求。

🔬 方法详解

问题定义：论文旨在解决印度法律判决预测（LJP）问题。现有方法面临的痛点是缺乏大规模、多样化的印度法律案例数据集，以及通用LLM在处理法律领域复杂性和专业术语方面的不足。这导致预测准确率低，可解释性差，难以辅助法律决策。

核心思路：论文的核心思路是构建一个大规模的印度法律案例数据集（NyayaAnumana），并在此基础上训练一个领域特定的LLM（INLegalLlama）。通过数据增强和领域知识注入，使模型能够更好地理解印度法律体系的复杂性，从而提高预测准确性和可解释性。

技术框架：INLegalLlama的训练分为两个阶段：1) 持续预训练：在基础LLaMa模型上，使用NyayaAnumana数据集进行持续预训练，使模型适应印度法律文本的语言风格和专业术语。2) 监督微调：使用标注好的法律判决预测任务数据对模型进行微调，优化模型在特定任务上的性能。

关键创新：论文的关键创新在于构建了NyayaAnumana数据集，这是目前最大的印度法律案例数据集，涵盖了多个法院和案件类型，提供了前所未有的多样性和覆盖范围。此外，INLegalLlama通过两阶段训练方法，有效地将领域知识注入到LLM中，提高了模型在法律领域的性能。

关键设计：INLegalLlama使用LLaMa作为基础模型，并采用持续预训练和监督微调相结合的训练策略。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，INLegalLlama在法律判决预测任务中取得了显著的性能提升，F1分数达到约90%。该模型优于现有的通用LLM，并且能够提供可理解的解释，满足了法律领域对可解释性的需求。多样化的法院数据显著提升了模型准确率。

🎯 应用场景

该研究成果可应用于辅助法律决策、案件管理和法律研究等领域。INLegalLlama可以帮助律师和法官快速了解案件背景、预测判决结果，提高工作效率。此外，该模型还可以用于法律教育和培训，帮助学生和从业者更好地理解印度法律体系。

📄 摘要（原文）

The integration of artificial intelligence (AI) in legal judgment prediction (LJP) has the potential to transform the legal landscape, particularly in jurisdictions like India, where a significant backlog of cases burdens the legal system. This paper introduces NyayaAnumana, the largest and most diverse corpus of Indian legal cases compiled for LJP, encompassing a total of 7,02,945 preprocessed cases. NyayaAnumana, which combines the words "Nyay" (judgment) and "Anuman" (prediction or inference) respectively for most major Indian languages, includes a wide range of cases from the Supreme Court, High Courts, Tribunal Courts, District Courts, and Daily Orders and, thus, provides unparalleled diversity and coverage. Our dataset surpasses existing datasets like PredEx and ILDC, offering a comprehensive foundation for advanced AI research in the legal domain. In addition to the dataset, we present INLegalLlama, a domain-specific generative large language model (LLM) tailored to the intricacies of the Indian legal system. It is developed through a two-phase training approach over a base LLaMa model. First, Indian legal documents are injected using continual pretraining. Second, task-specific supervised finetuning is done. This method allows the model to achieve a deeper understanding of legal contexts. Our experiments demonstrate that incorporating diverse court data significantly boosts model accuracy, achieving approximately 90% F1-score in prediction tasks. INLegalLlama not only improves prediction accuracy but also offers comprehensible explanations, addressing the need for explainability in AI-assisted legal decisions.