Structured Definitions and Segmentations for Legal Reasoning in LLMs: A Study on Indian Legal Data

📄 arXiv: 2511.20669v1 📥 PDF

作者: Mann Khatri, Mirza Yusuf, Rajiv Ratn Shah, Ponnurangam Kumaraguru

分类: cs.CL, cs.AI

发布日期: 2025-11-14

备注: Accepted at BDA 2025 as short paper; This paper is long version

💡 一句话要点

通过结构化定义和分割提升LLM在印度法律推理任务中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律推理 大型语言模型 结构化信息 修辞角色 印度法律

📋 核心要点

  1. 现有LLM在法律领域表现不佳，主要原因是缺乏领域预训练和法律文本的复杂性。
  2. 论文通过重组法律文档、定义法律术语和模拟法院推理过程来提升LLM的法律推理能力。
  3. 实验结果表明，结构化信息和法律术语定义能显著提升模型在印度法律判决预测任务中的F1得分。

📝 摘要（中文）

大型语言模型（LLM）在大量网络数据上训练，展现出卓越的通用推理能力。然而，由于缺乏特定领域的预训练，它们在法律等专业领域表现不佳。法律领域的文件通常冗长而复杂，使得模型难以有效地处理全文。本文通过在三个方面进行实验，分析了模型在法律任务中的行为：（i）基于修辞角色重组文档，以评估结构化信息如何影响长文本处理和模型决策；（ii）定义修辞角色，使模型熟悉法律术语；（iii）模拟法院关于修辞角色的逐步推理，以增强模型推理能力。这些实验在三个印度法律判决预测数据集上以零样本方式进行。结果表明，组织数据或解释关键法律术语可以显著提高模型性能，与基线相比，F1得分至少提高约1.5%，最高提高4.36%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在印度法律判决预测任务中表现不佳的问题。现有方法主要痛点在于LLM缺乏法律领域的专业知识，难以处理法律文档中复杂的结构和术语，导致推理能力不足。

核心思路：论文的核心思路是通过结构化法律文档，定义关键法律术语（修辞角色），并模拟法院的推理过程，从而增强LLM对法律文本的理解和推理能力。这种方法旨在弥补LLM在法律领域知识上的不足，使其能够更好地处理法律任务。

技术框架：论文的技术框架主要包括三个阶段：1) 文档重组：根据修辞角色对法律文档进行结构化重组，例如将判决书按照事实、法律依据、判决结果等部分进行划分。2) 术语定义：为模型提供关键法律术语（修辞角色）的定义，使其熟悉法律领域的专业知识。3) 推理模拟：模拟法院的逐步推理过程，引导模型按照法律逻辑进行推理。这三个阶段共同作用，旨在提升LLM在法律任务中的表现。

关键创新：论文的关键创新在于将结构化信息、术语定义和推理模拟相结合，以提升LLM在法律领域的推理能力。与以往主要关注模型预训练或微调的方法不同，本文侧重于通过外部知识和推理过程的引导来增强模型的理解和推理能力。

关键设计：论文采用零样本学习设置，无需对模型进行额外的法律领域预训练或微调。实验中，研究者定义了一系列修辞角色，并设计了相应的提示（prompts）来引导模型进行推理。具体的参数设置和网络结构信息在论文中未明确给出，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，通过重组法律文档和定义法律术语，LLM在印度法律判决预测任务中的F1得分显著提升，最低提升约1.5%，最高提升4.36%。这一结果表明，结构化信息和领域知识对于提升LLM在专业领域的推理能力至关重要。该研究为提升LLM在法律领域的应用提供了有价值的参考。

🎯 应用场景

该研究成果可应用于智能法律咨询、法律文书自动生成、法律判决预测等领域。通过提升LLM在法律领域的推理能力，可以提高法律服务的效率和质量，为法律从业者和普通民众提供更便捷的法律支持。未来，该方法可以推广到其他专业领域，例如医疗、金融等。

📄 摘要（原文）

Large Language Models (LLMs), trained on extensive datasets from the web, exhibit remarkable general reasoning skills. Despite this, they often struggle in specialized areas like law, mainly because they lack domain-specific pretraining. The legal field presents unique challenges, as legal documents are generally long and intricate, making it hard for models to process the full text efficiently. Previous studies have examined in-context approaches to address the knowledge gap, boosting model performance in new domains without full domain alignment. In our paper, we analyze model behavior on legal tasks by conducting experiments in three areas: (i) reorganizing documents based on rhetorical roles to assess how structured information affects long context processing and model decisions, (ii) defining rhetorical roles to familiarize the model with legal terminology, and (iii) emulating the step-by-step reasoning of courts regarding rhetorical roles to enhance model reasoning. These experiments are conducted in a zero-shot setting across three Indian legal judgment prediction datasets. Our results reveal that organizing data or explaining key legal terms significantly boosts model performance, with a minimum increase of ~1.5% and a maximum improvement of 4.36% in F1 score compared to the baseline.