LLMPR: A Novel LLM-Driven Transfer Learning based Petition Ranking Model

📄 arXiv: 2505.21689v1 📥 PDF

作者: Avijit Gayen, Somyajit Chakraborty, Mainak Sen, Soham Paul, Angshuman Jana

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-27

备注: 28 pages, 5 figures, journal paper, submitted to AI and Law

💡 一句话要点

LLMPR：一种基于LLM驱动的迁移学习请愿排序模型，用于优化司法流程。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律请愿排序 大型语言模型 迁移学习 机器学习 司法效率 文本嵌入 自动化

📋 核心要点

  1. 印度司法系统案件积压严重，人工请愿排序效率低且主观性强，导致司法效率低下。
  2. LLMPR框架利用迁移学习和机器学习，结合文本嵌入和数值特征，自动评估请愿书的紧急程度并进行排序。
  3. 实验表明，随机森林和决策树模型在请愿排序任务中表现出色，准确率高达99%，Spearman相关系数为0.99。

📝 摘要（中文）

为了解决印度司法系统中长期存在的未决法律案件积压问题，本文提出了一种名为LLMPR（基于大型语言模型的请愿排序）的自动化框架。该框架利用迁移学习和机器学习，根据法律请愿书的上下文紧急程度对其进行优先级排序。通过使用包含7593份带注释请愿书的ILDC数据集，我们处理非结构化法律文本，并通过DistilBERT、LegalBERT和MiniLM等嵌入技术提取特征。这些文本嵌入与诸如间隔天数、排名分数和字数统计等定量指标相结合，用于训练包括随机森林、决策树、XGBoost、LightGBM和CatBoost在内的多种机器学习模型。实验结果表明，随机森林和决策树模型表现最佳，准确率超过99%，Spearman等级相关系数为0.99。值得注意的是，仅使用数值特征的模型几乎获得了最优的排序结果（R2 = 0.988， {ho} = 0.998），而基于LLM的嵌入仅提供了边际收益。这些发现表明，自动请愿排序可以有效地简化司法工作流程，减少案件积压，并提高法律优先排序的公平性。

🔬 方法详解

问题定义：该论文旨在解决印度司法系统中法律请愿书积压的问题，现有的人工排序方法效率低下且容易受到主观偏见的影响，导致案件处理延迟。因此，需要一种自动化的方法来根据请愿书的紧急程度对其进行优先级排序。

核心思路：论文的核心思路是利用大型语言模型（LLM）的文本理解能力，结合机器学习模型，构建一个自动化的请愿排序系统。通过提取请愿书的文本特征和数值特征，并使用迁移学习技术，训练模型以预测请愿书的优先级。

技术框架：LLMPR框架主要包含以下几个阶段：1. 数据预处理：对ILDC数据集中的非结构化法律文本进行清洗和处理。2. 特征提取：使用DistilBERT、LegalBERT和MiniLM等预训练语言模型提取文本嵌入特征，并结合间隔天数、排名分数和字数统计等数值特征。3. 模型训练：使用随机森林、决策树、XGBoost、LightGBM和CatBoost等机器学习模型，基于提取的特征训练请愿排序模型。4. 模型评估：使用准确率、Spearman等级相关系数等指标评估模型的性能。

关键创新：该论文的关键创新在于将大型语言模型应用于法律请愿排序任务，并结合多种机器学习模型进行实验。虽然实验结果表明数值特征已经能达到很好的效果，但探索了LLM在法律文本理解中的潜力。

关键设计：论文中使用了多种预训练语言模型（DistilBERT、LegalBERT、MiniLM）进行文本嵌入，并尝试了多种机器学习模型（随机森林、决策树、XGBoost、LightGBM、CatBoost）进行排序。最终发现随机森林和决策树模型表现最佳。此外，论文还探索了不同特征组合对模型性能的影响，发现仅使用数值特征也能获得接近最优的排序结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，随机森林和决策树模型在请愿排序任务中表现出色，准确率超过99%，Spearman等级相关系数为0.99。值得注意的是，仅使用数值特征的模型几乎获得了最优的排序结果（R2 = 0.988， {ho} = 0.998），表明数值特征在请愿排序中起着重要作用。虽然LLM嵌入带来的增益有限，但验证了自动化请愿排序的可行性。

🎯 应用场景

LLMPR框架可应用于司法系统，用于自动评估法律请愿书的优先级，从而简化案件处理流程，减少案件积压，并提高司法效率和公平性。该技术还可以扩展到其他需要对大量文档进行优先级排序的领域，例如医疗诊断、金融风险评估等。未来，该研究可以进一步探索更先进的自然语言处理技术，以提高请愿排序的准确性和效率。

📄 摘要（原文）

The persistent accumulation of unresolved legal cases, especially within the Indian judiciary, significantly hampers the timely delivery of justice. Manual methods of prioritizing petitions are often prone to inefficiencies and subjective biases further exacerbating delays. To address this issue, we propose LLMPR (Large Language Model-based Petition Ranking), an automated framework that utilizes transfer learning and machine learning to assign priority rankings to legal petitions based on their contextual urgency. Leveraging the ILDC dataset comprising 7,593 annotated petitions, we process unstructured legal text and extract features through various embedding techniques, including DistilBERT, LegalBERT, and MiniLM. These textual embeddings are combined with quantitative indicators such as gap days, rank scores, and word counts to train multiple machine learning models, including Random Forest, Decision Tree, XGBoost, LightGBM, and CatBoost. Our experiments demonstrate that Random Forest and Decision Tree models yield superior performance, with accuracy exceeding 99% and a Spearman rank correlation of 0.99. Notably, models using only numerical features achieve nearly optimal ranking results (R2 = 0.988, \r{ho} = 0.998), while LLM-based embeddings offer only marginal gains. These findings suggest that automated petition ranking can effectively streamline judicial workflows, reduce case backlog, and improve fairness in legal prioritization.