LexAgentHallu: A Hierarchical Benchmark for Profiling Hallucinations in Legal Agents
作者: Yujin Zhou, Mingxuan Zheng, Chuxue Cao, Huang Yidan, Jiale Chen, Yike Guo, Sirui Han
分类: cs.AI
发布日期: 2026-09-09
备注: EMNLP 2026 Main
期刊: EMNLP 2026 Main
💡 一句话要点
提出LexAgentHallu以解决法律代理人幻觉评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律代理 幻觉评估 多步骤推理 基准测试 机器学习 语言模型 智能法律服务
📋 核心要点
- 现有法律基准仅评估单轮问答，缺乏对法律代理人多步骤推理过程中的幻觉现象的深入分析。
- 论文提出LexAgentHallu基准，通过四阶段专家参与的流程，系统评估法律代理人幻觉的程度和方式。
- 实验结果显示，LexAgentHallu能够揭示幻觉子类的聚类特征，验证其在法律领域的有效性和诊断能力。
📝 摘要（中文）
随着大型语言模型作为工具增强的法律代理人越来越多地被部署，它们引入了代理幻觉，其中工具调用和推理错误导致虚构的裁决和错误引用的权威。然而，现有的法律基准仅评估单轮问答，且结果级别的指标无法有效诊断代理幻觉。为了解决这些局限性，我们提出了LexAgentHallu，这是一个旨在评估法律代理人在多步骤轨迹中失败程度和方式的法律代理幻觉基准。该基准通过四阶段专家参与的流程构建，包含3414个实例，覆盖17个法律类别和6种任务类型，并在双层幻觉分类法下进行了注释。我们的评估发现了“正确答案-错误理由”效应，并揭示了幻觉子类的聚类特征，验证了LexAgentHallu在法律领域评估代理幻觉的诊断能力。
🔬 方法详解
问题定义：论文要解决的问题是现有法律基准无法有效评估法律代理人在多步骤推理过程中的幻觉现象，缺乏法律特定的诊断能力。
核心思路：论文的核心解决思路是构建LexAgentHallu基准，通过专家参与的流程，系统性地评估法律代理人幻觉的程度和具体表现。
技术框架：LexAgentHallu的构建分为四个阶段，包括需求分析、实例生成、专家注释和评估指标设计，涵盖3414个实例，涉及17个法律类别和6种任务类型。
关键创新：最重要的技术创新点在于双层幻觉分类法，能够细致地对幻觉进行分类，并设计出精细的评估指标，揭示幻觉的发生方式和程度。
关键设计：在设计中，采用了双层分类法，包含7个高层类别和27个细分子类，确保涵盖实质性错误和代理程序失败，同时设计了量化幻觉发生程度的指标。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在对18个专有和开源代理的评估中，LexAgentHallu揭示了“正确答案-错误理由”效应，且幻觉子类表现出聚类特征，形成明显的代理框架和法律任务特征，验证了其在法律领域的有效性。
🎯 应用场景
该研究的潜在应用领域包括法律技术、法律咨询和智能法律服务等。LexAgentHallu可以帮助法律从业者更好地理解和评估法律代理人的表现，提升法律服务的准确性和可靠性，未来可能推动法律领域的智能化进程。
📄 摘要（原文）
As large language models are increasingly deployed as tool-augmented legal agents, they introduce agentic hallucinations where tool-call and reasoning errors cascade into fabricated holdings and miscited authority. However, existing legal benchmarks evaluate only single-turn QA with outcome-level metrics, while agentic hallucination benchmarks lack legal-specific diagnostic capability. Neither answers to what extent and how a legal agent hallucinates along its trajectory. To address these limitations, we introduce LexAgentHallu, a legal agentic hallucination benchmark designed to evaluate to what extent and how legal agents fail along multi-step trajectories. Built through a four-stage expert-in-the-loop pipeline, LexAgentHallu contains 3414 instances across 17 legal categories and 6 task types. Each instance is annotated under a dual-layer hallucination taxonomy of 7 high-level categories and 27 fine-grained subclasses, covering both substantive errors and agent-procedural failures. We further design fine-grained metrics that quantify to what extent and localize how each failure occurs along an agent's execution path. Our evaluation across 18 proprietary and open-source agents uncovers a Right-Answer-Wrong-Reason effect and reveals that hallucination subclasses cluster rather than scatter, forming distinct agentic framework, legal task, and category profiles. These findings, invisible to outcome-level evaluation, validate the diagnostic power of LexAgentHallu for evaluating agentic hallucination in law.