LRAGE: Legal Retrieval Augmented Generation Evaluation Tool

📄 arXiv: 2504.01840v2 📥 PDF

作者: Minhu Park, Hongseok Oh, Eunkyung Choi, Wonseok Hwang

分类: cs.CL

发布日期: 2025-04-02 (更新: 2025-04-25)

备注: 12 pages

🔗 代码/项目: GITHUB

💡 一句话要点

LRAGE：法律领域检索增强生成系统评测开源工具

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 法律领域 RAG评估 开源工具 大型语言模型 多语言基准 信息检索

📋 核心要点

  1. 现有的RAG系统评估缺乏针对法律领域的全面工具，难以系统性地分析各组件对性能的影响。
  2. LRAGE通过提供GUI和CLI界面，支持用户便捷地调整RAG系统的各个组件，并观察其对整体性能的影响。
  3. 实验结果表明，LRAGE能够有效评估不同组件配置下的RAG系统在多语言法律基准上的性能表现。

📝 摘要（中文）

构建检索增强生成(RAG)系统以增强大型语言模型(LLM)的能力已成为一种常见做法。特别是在法律领域，以往的判决在遵循先例原则下起着重要作用，该原则强调基于(检索到的)先前文件做出决策的重要性。然而，RAG系统的整体性能取决于许多组成部分：(1)检索语料库，(2)检索算法，(3)重排序器，(4)LLM骨干网络，以及(5)评估指标。本文提出了LRAGE，一个开源工具，用于全面评估RAG系统，重点关注法律领域。LRAGE提供GUI和CLI界面，以方便无缝实验，并研究上述五个组成部分的变化如何影响整体准确性。我们使用包括韩语(KBL)、英语(LegalBench)和中文(LawBench)在内的多语言法律基准验证了LRAGE，展示了当改变上述五个组成部分时，整体准确性如何变化。

🔬 方法详解

问题定义：论文旨在解决法律领域RAG系统缺乏全面评估工具的问题。现有方法难以系统性地分析检索语料、检索算法、重排序器、LLM骨干网络和评估指标等组件对RAG系统性能的综合影响，阻碍了法律领域RAG系统的优化和发展。

核心思路：论文的核心思路是构建一个开源的、易于使用的RAG系统评估工具，允许用户灵活配置和调整RAG系统的各个组件，并提供全面的评估指标，从而深入了解各组件对系统性能的影响。通过提供GUI和CLI两种界面，降低了使用门槛，方便研究人员和开发者进行实验和分析。

技术框架：LRAGE工具包含以下主要模块：(1) 数据集管理模块，用于加载和管理多语言法律基准数据集；(2) RAG系统配置模块，允许用户选择和配置不同的检索算法、重排序器和LLM骨干网络；(3) 评估指标计算模块，用于计算RAG系统的准确率、召回率等评估指标；(4) 用户界面模块，提供GUI和CLI两种界面，方便用户进行实验和分析。整体流程为：加载数据集 -> 配置RAG系统 -> 运行RAG系统 -> 计算评估指标 -> 可视化结果。

关键创新：LRAGE的关键创新在于其全面性和易用性。它不仅考虑了RAG系统的各个组件，还提供了GUI和CLI两种界面，降低了使用门槛。此外，LRAGE还支持多语言法律基准数据集，使其能够应用于更广泛的场景。与现有方法相比，LRAGE能够更系统、更便捷地评估RAG系统的性能。

关键设计：LRAGE的关键设计包括：(1) 模块化的架构，方便用户扩展和定制；(2) 可配置的评估指标，允许用户根据具体需求选择不同的评估指标；(3) 多语言支持，使其能够应用于不同语言的法律领域；(4) 用户友好的界面，降低了使用门槛。具体的参数设置和损失函数取决于用户选择的检索算法、重排序器和LLM骨干网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在韩语(KBL)、英语(LegalBench)和中文(LawBench)等多语言法律基准上进行实验，验证了LRAGE的有效性。实验结果表明，通过调整RAG系统的各个组件，可以显著影响其整体准确性。例如，更换不同的检索算法或LLM骨干网络，可以使RAG系统的准确率提升或下降若干个百分点。这些实验结果证明了LRAGE在评估和优化法律领域RAG系统方面的价值。

🎯 应用场景

LRAGE可应用于法律咨询、智能合同审查、法律文书生成等领域。通过该工具，开发者可以快速评估和优化法律领域RAG系统的性能，提高法律服务的效率和质量。未来，LRAGE可以扩展到其他专业领域，如医疗、金融等，为各领域的RAG系统开发提供支持。

📄 摘要（原文）

Recently, building retrieval-augmented generation (RAG) systems to enhance the capability of large language models (LLMs) has become a common practice. Especially in the legal domain, previous judicial decisions play a significant role under the doctrine of stare decisis which emphasizes the importance of making decisions based on (retrieved) prior documents. However, the overall performance of RAG system depends on many components: (1) retrieval corpora, (2) retrieval algorithms, (3) rerankers, (4) LLM backbones, and (5) evaluation metrics. Here we propose LRAGE, an open-source tool for holistic evaluation of RAG systems focusing on the legal domain. LRAGE provides GUI and CLI interfaces to facilitate seamless experiments and investigate how changes in the aforementioned five components affect the overall accuracy. We validated LRAGE using multilingual legal benches including Korean (KBL), English (LegalBench), and Chinese (LawBench) by demonstrating how the overall accuracy changes when varying the five components mentioned above. The source code is available at https://github.com/hoorangyee/LRAGE.