MASLegalBench: Benchmarking Multi-Agent Systems in Deductive Legal Reasoning

📄 arXiv: 2509.24922v2 📥 PDF

作者: Huihao Jing, Wenbin Hu, Hongyu Luo, Jianhui Yang, Wei Fan, Haoran Li, Yangqiu Song

分类: cs.AI, cs.CL

发布日期: 2025-09-29 (更新: 2025-09-30)

💡 一句话要点

提出MASLegalBench：用于评估多智能体系统在演绎法律推理中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 法律推理 基准测试 大型语言模型 GDPR 演绎推理 法律人工智能

📋 核心要点

  1. 现有法律基准缺乏对多智能体系统优势的针对性评估，限制了其在法律领域的应用。
  2. MASLegalBench通过演绎推理方法，构建了基于GDPR的法律场景，用于评估多智能体系统的性能。
  3. 实验结果揭示了现有大型语言模型和多智能体系统架构在法律推理方面的优缺点，为未来改进提供了方向。

📝 摘要（中文）

本文提出MASLegalBench，一个专为多智能体系统（MAS）设计的法律基准，旨在评估其在演绎法律推理中的能力。该基准以GDPR为应用场景，包含广泛的背景知识和复杂的推理过程，能够有效反映现实世界法律情境的复杂性。通过手动设计各种基于角色的MAS，并使用不同的先进大型语言模型（LLM）进行大量实验，结果突出了现有模型和MAS架构的优势、局限性以及潜在的改进方向。该基准填补了法律领域MAS评估方法的空白，促进了MAS在法律任务中的应用。

🔬 方法详解

问题定义：现有的大型语言模型法律基准主要关注单个智能体的能力，忽略了多智能体系统在任务分解、智能体专业化和灵活训练方面的优势。缺乏专门针对多智能体系统的法律推理评估方法，阻碍了其在法律领域的应用和发展。

核心思路：本文的核心思路是构建一个专门为多智能体系统设计的法律推理基准，该基准能够充分利用多智能体系统的优势，例如任务分解和角色扮演，从而更全面地评估其在复杂法律场景中的推理能力。通过模拟真实世界的法律场景，并结合演绎推理的方法，可以更有效地评估多智能体系统的性能。

技术框架：MASLegalBench的整体框架包括以下几个主要组成部分：1) 基于GDPR构建的法律知识库；2) 定义了不同角色和职责的多智能体系统架构；3) 演绎推理引擎，用于执行法律推理；4) 评估指标，用于衡量多智能体系统的性能。该框架允许研究人员设计各种基于角色的多智能体系统，并使用不同的LLM作为智能体，从而进行全面的评估。

关键创新：该论文的关键创新在于提出了一个专门针对多智能体系统的法律推理基准。与现有的法律基准相比，MASLegalBench更加关注多智能体系统的协作和推理能力，能够更全面地评估其在复杂法律场景中的性能。此外，该基准还采用了演绎推理的方法，使得评估结果更加可靠和可解释。

关键设计：在多智能体系统架构方面，论文设计了多种基于角色的智能体，例如律师、法官和原告等，每个智能体都具有不同的职责和知识。在演绎推理方面，论文采用了基于规则的推理引擎，该引擎能够根据法律知识库中的规则进行推理，并生成推理结果。在评估指标方面，论文采用了准确率、召回率和F1值等指标，用于衡量多智能体系统的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同的LLM在MASLegalBench上的表现存在显著差异，某些LLM在特定角色中表现更佳。通过调整MAS架构和智能体角色分配，可以显著提高整体性能。例如，使用特定LLM作为律师角色，可以提高案件分析的准确率，相比于单智能体系统，多智能体系统在复杂法律推理任务中表现出更强的能力。

🎯 应用场景

MASLegalBench可应用于法律咨询、智能合同审查、合规性检查等领域。通过构建基于多智能体系统的法律应用，可以提高法律服务的效率和质量，降低法律风险。未来，该研究可促进法律人工智能的发展，并为法律从业者提供更强大的工具。

📄 摘要（原文）

Multi-agent systems (MAS), leveraging the remarkable capabilities of Large Language Models (LLMs), show great potential in addressing complex tasks. In this context, integrating MAS with legal tasks is a crucial step. While previous studies have developed legal benchmarks for LLM agents, none are specifically designed to consider the unique advantages of MAS, such as task decomposition, agent specialization, and flexible training. In fact, the lack of evaluation methods limits the potential of MAS in the legal domain. To address this gap, we propose MASLegalBench, a legal benchmark tailored for MAS and designed with a deductive reasoning approach. Our benchmark uses GDPR as the application scenario, encompassing extensive background knowledge and covering complex reasoning processes that effectively reflect the intricacies of real-world legal situations. Furthermore, we manually design various role-based MAS and conduct extensive experiments using different state-of-the-art LLMs. Our results highlight the strengths, limitations, and potential areas for improvement of existing models and MAS architectures.