LexPilot: Benchmarking the Proactive Interaction Ability of Legal LLMs with Laypeople in Chinese Civil Case Consultation
作者: Wenbin Zhang, ShangZhan Li, Bingxiang He, Ye He, Yuxin Zhou, Muzhen Cai, Qi Shi, Wanxiang Che
分类: cs.AI
发布日期: 2026-10-16
💡 一句话要点
提出LexPilot以解决法律LLM在民事咨询中的主动交互能力不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律语言模型 主动交互 民事咨询 判决预测 用户中心设计 基准测试 真实案例
📋 核心要点
- 现有法律LLMs在处理模糊咨询时，常常无法提供有效的法律建议，导致用户体验不佳。
- 论文提出LexPilot基准，旨在通过真实案例评估法律LLMs在主动交互中的表现，提升其对用户需求的响应能力。
- 实验结果表明，现有LLMs在模糊咨询中的判决预测能力显著低于完全指定咨询，显示出主动交互的必要性。
📝 摘要（中文）
大型语言模型（LLMs）在法律领域为专业人士提供了重要支持。然而，实证研究表明，面对非专家的模糊咨询时，现有LLMs常常给出不负责任的回应，缺乏足够的案例细节以作出明确结论。为了更好地帮助普通用户，法律LLMs必须识别争议焦点并主动引导用户提供关键信息。为此，我们提出了LexPilot，一个基准测试，旨在将主动法律交互与基于真实中国民事判决的判决预测联系起来。LexPilot基于432个真实判决构建，涵盖36种常见诉因，包含专家审核的完整与不完整咨询历史对及其对应的法院判决。实验结果显示，现有LLMs在模糊咨询中的主动法律交互能力不足，判决预测的表现显著低于完全指定的咨询设置（平均下降23.84%）。
🔬 方法详解
问题定义：论文要解决的问题是现有法律LLMs在面对模糊咨询时的主动交互能力不足，导致其判决预测能力低下。现有方法主要关注响应质量，而忽视了主动引导用户提供关键信息的能力。
核心思路：论文的核心解决思路是构建LexPilot基准，通过真实的法律案例来评估和提升法律LLMs的主动交互能力，以便更好地服务于普通用户。
技术框架：LexPilot的整体架构包括数据收集、专家审核、主动交互评估和判决预测四个主要模块。数据收集阶段从真实判决中提取咨询历史，专家审核确保数据质量，主动交互评估则测试LLMs在模糊咨询中的表现。
关键创新：最重要的技术创新点在于将主动交互能力与判决预测直接关联，提供了一个新的评估标准，填补了现有研究的空白。与传统方法不同，LexPilot强调了用户中心的设计理念。
关键设计：在LexPilot中，采用了专家审核的咨询历史对，确保数据的真实性和有效性。同时，设计了特定的评估指标来量化LLMs在主动交互中的表现，确保实验结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有LLMs在模糊咨询中的判决预测能力平均下降23.84%，显著低于完全指定咨询的表现。这一发现强调了主动交互能力在法律咨询中的重要性，并指出了当前技术的不足之处。
🎯 应用场景
该研究的潜在应用领域包括法律咨询、在线法律服务平台和法律教育等。通过提升法律LLMs的主动交互能力，可以显著改善普通用户的法律咨询体验，降低法律服务的门槛，促进法律服务的普及与公平性。未来，随着技术的进步，LexPilot或将成为评估法律AI系统的重要标准。
📄 摘要（原文）
Large Language Models (LLMs) have greatly assisted legal professionals. However, our empirical studies reveal that, when faced with underspecified consultations from non-experts, current LLMs often produce irresponsible responses with limited utility despite lacking sufficient case details for definitive conclusions. To better assist laypeople, legal LLMs must identify focal points of dispute and proactively elicit crucial context from users. Unfortunately, existing data resources often focus on interaction and response quality, offering limited insight into how proactive interaction affects LLMs' downstream claim-level judgment prediction in actual civil cases. To address this gap, we introduce \textbf{LexPilot}, a benchmark linking proactive legal interaction to claim-level verdict prediction using authentic Chinese civil judgments. Constructed from 432 real-world judgments across 36 common causes of action, LexPilot comprises expert-reviewed pairs of complete and underspecified consultation histories with corresponding court verdicts. Experiments reveal that current LLMs struggle with proactive legal interactions in underspecified consultations, with downstream judgment prediction substantially underperforming that in the fully specified consultation setup (-23.84% on average). Further analysis identifies critical bottlenecks hindering these capabilities. Our work highlights the urgent need for more user-centered legal AI to better serve the public.