MASLegalBench: Benchmarking Multi-Agent Systems in Deductive Legal Reasoning

📄 arXiv: 2509.24922v2 📥 PDF

作者: Huihao Jing, Wenbin Hu, Hongyu Luo, Jianhui Yang, Wei Fan, Haoran Li, Yangqiu Song

分类: cs.AI, cs.CL

发布日期: 2025-09-29 (更新: 2025-09-30)

💡 一句话要点

提出MASLegalBench：用于评估多智能体系统在演绎法律推理中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 法律推理 基准测试 演绎推理 GDPR 大型语言模型 智能体协作

📋 核心要点

  1. 现有法律基准缺乏对多智能体系统优势的针对性评估，限制了其在法律领域的应用。
  2. MASLegalBench采用演绎推理方法，模拟真实法律场景，评估多智能体系统在任务分解、智能体专业化等方面的能力。
  3. 实验结果揭示了现有大型语言模型和多智能体系统架构的优缺点，为未来研究提供了方向。

📝 摘要（中文）

本文提出MASLegalBench，一个专为多智能体系统（MAS）设计的法律基准，旨在评估其在演绎法律推理中的能力。该基准以GDPR为应用场景，包含广泛的背景知识和复杂的推理过程，能够有效反映现实世界法律情境的复杂性。通过手动设计各种基于角色的MAS，并使用不同的先进大型语言模型（LLM）进行大量实验，结果突出了现有模型和MAS架构的优势、局限性以及潜在的改进方向。该基准填补了法律领域MAS评估方法的空白，促进了MAS在法律任务中的应用。

🔬 方法详解

问题定义：现有法律领域的大语言模型基准测试，缺乏对多智能体系统（MAS）优势的有效评估。这些优势包括任务分解、智能体专业化和灵活的训练方式。因此，如何设计一个能够充分评估MAS在法律推理任务中性能的基准测试，成为了一个亟待解决的问题。

核心思路：本文的核心思路是构建一个基于演绎推理的法律基准测试，即MASLegalBench。该基准测试模拟了真实的法律场景，特别是GDPR相关的案例，并允许研究人员设计各种基于角色的MAS，从而评估不同MAS架构在解决复杂法律问题时的能力。通过分析不同智能体之间的协作和推理过程，可以更全面地了解MAS在法律领域的潜力。

技术框架：MASLegalBench的技术框架主要包含以下几个部分：1) GDPR知识库的构建，用于提供法律背景知识；2) 基于角色的多智能体系统设计，允许研究人员定义不同角色的智能体及其职责；3) 演绎推理引擎，用于模拟法律推理过程；4) 评估指标，用于衡量MAS在解决法律问题时的准确性和效率。整个流程是，首先将法律问题输入到MAS中，各个智能体根据自身角色和知识库进行推理，最终得出结论，并根据评估指标进行评估。

关键创新：该论文的关键创新在于提出了一个专门针对多智能体系统的法律基准测试。与以往的法律基准测试不同，MASLegalBench更加关注智能体之间的协作和推理过程，能够更全面地评估MAS在解决复杂法律问题时的能力。此外，该基准测试还提供了丰富的GDPR知识库和灵活的智能体角色设计，方便研究人员进行各种实验。

关键设计：在MASLegalBench中，关键的设计包括：1) GDPR知识库的构建，需要仔细梳理和整理相关的法律条文和案例；2) 智能体角色的设计，需要根据具体的法律问题，定义不同角色的智能体及其职责；3) 演绎推理引擎的选择，需要选择一个能够有效模拟法律推理过程的引擎；4) 评估指标的设计，需要选择能够全面衡量MAS性能的指标，例如准确率、召回率和推理时间。

📊 实验亮点

实验结果表明，不同的多智能体系统架构在MASLegalBench上表现出不同的优势和劣势。例如，某些架构在处理复杂推理问题时表现更好，而另一些架构在处理大规模知识库时更有效率。通过对比不同架构的性能，可以为未来多智能体系统的设计提供指导。

🎯 应用场景

MASLegalBench的潜在应用领域包括法律咨询、合规审查、合同起草和法律教育等。通过利用多智能体系统的优势，可以提高法律服务的效率和质量，降低法律风险。未来，该基准测试可以促进多智能体系统在法律领域的广泛应用，并推动相关技术的发展。

📄 摘要（原文）

Multi-agent systems (MAS), leveraging the remarkable capabilities of Large Language Models (LLMs), show great potential in addressing complex tasks. In this context, integrating MAS with legal tasks is a crucial step. While previous studies have developed legal benchmarks for LLM agents, none are specifically designed to consider the unique advantages of MAS, such as task decomposition, agent specialization, and flexible training. In fact, the lack of evaluation methods limits the potential of MAS in the legal domain. To address this gap, we propose MASLegalBench, a legal benchmark tailored for MAS and designed with a deductive reasoning approach. Our benchmark uses GDPR as the application scenario, encompassing extensive background knowledge and covering complex reasoning processes that effectively reflect the intricacies of real-world legal situations. Furthermore, we manually design various role-based MAS and conduct extensive experiments using different state-of-the-art LLMs. Our results highlight the strengths, limitations, and potential areas for improvement of existing models and MAS architectures.