Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority

📄 arXiv: 2610.29961v1 📥 PDF

作者: M. Mikail Demir

分类: cs.AI, cs.CL, cs.CY

发布日期: 2026-10-21

备注: 16 pages, 4 figures, 4 tables. Under review. Code, data, and model outputs: https://github.com/mmikaildemir/commit-or-abstain

💡 一句话要点

提出基于系统一决策模型的法律AI以解决法律权威验证问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律AI 系统一决策模型 大型语言模型 校准概率 错误引用 CaseHOLD 决策模型

📋 核心要点

  1. 现有的法律AI模型在处理大量法律声明时面临效率和准确性不足的挑战，尤其是在缺乏正确法律权威时。
  2. 论文提出了一种基于系统一决策模型的法律AI，该模型通过返回选项的校准概率来提高法律权威验证的准确性。
  3. 实验结果表明，决策模型在缺失正确选项时的选择率较低，并且在成本效益上显著优于生成型大型语言模型。

📝 摘要（中文）

鉴于需要检查的法律声明数量庞大，可验证的法律AI需要可扩展且具有成本效益的模型，以满足法律的实际需求。系统一决策模型基于大型语言模型构建，但不生成文本，而是为每个选项返回经过校准的概率。这适用于法律权威的验证，其中问题是封闭的：给定的裁决，或没有裁决。我们测试了这些模型在缺失正确权威时是否会选择不作决定。我们在5,314个项目中将正确裁决替换为1,670个项目，扩展了CaseHOLD，并比较了四个决策模型与六个生成型大型语言模型。当没有正确选项时，生成型大型语言模型仍在38-86%的项目中选择一个，而最谨慎的决策模型则在30%的情况下选择。标准CaseHOLD上，决策模型以1/55的成本匹配最佳生成型大型语言模型（88.1%对88.2%）。

🔬 方法详解

问题定义：论文要解决的问题是如何在缺失正确法律权威的情况下，确保法律AI的决策准确性和可靠性。现有的生成型大型语言模型在此情况下仍会选择错误的选项，导致法律引用错误。

核心思路：论文的核心解决思路是引入系统一决策模型，该模型通过返回每个选项的校准概率来进行决策，而不是生成文本。这种设计使得模型在缺失正确选项时能够选择不作决定，从而减少错误引用。

技术框架：整体架构包括数据预处理、模型训练和决策阶段。首先，扩展CaseHOLD数据集以包含缺失权威的情况，然后训练决策模型以输出每个选项的概率，最后进行决策时根据概率进行选择或不作决定。

关键创新：最重要的技术创新点在于引入了不作决定的选项，使得模型在缺失正确答案时能够避免错误选择。这与现有的生成型模型形成鲜明对比，后者在任何情况下都倾向于给出一个答案。

关键设计：在模型设计中，采用了特定的损失函数来优化校准概率，并通过对比实验选择了最优的参数设置，以确保在不同情况下的决策准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，当没有正确选项时，生成型大型语言模型在38-86%的情况下仍选择一个答案，而最谨慎的决策模型仅在30%的情况下选择。标准CaseHOLD上，决策模型的准确率为88.1%，与最佳生成型大型语言模型的88.2%相当，但成本仅为其1/55。

🎯 应用场景

该研究的潜在应用领域包括法律咨询、法律文书自动化和法律研究等。通过提高法律AI在缺失权威情况下的决策能力，可以显著减少法律引用错误，从而提升法律服务的质量和效率。未来，该模型有望在法律行业中广泛应用，推动法律AI的进一步发展。

📄 摘要（原文）

Given the enormous number of claims to be checked, verifiable legal AI requires scalable, cost-effective models that answer the practical needs of law. System One decision models are built on large language models but, instead of generating text, return a calibrated probability for each option. This suits the verification of legal authority, where the question is closed: a given holding, or none of them. We test whether such models abstain when the correct authority is missing. We extend CaseHOLD with an abstention condition in which the correct holding is replaced in 1,670 of 5,314 items, and compare four decision models with six generative LLMs. When no option is correct, generative LLMs still pick one in 38-86% of items; the most cautious decision model does so in 30%. On standard CaseHOLD, a decision model matches the best generative LLM (88.1% vs. 88.2%) at 1/55 of the cost. Accepting that LLM's answer only when a decision model agrees halves its wrong citations, and distilling a decision model's probabilities into Qwen3-8B, without labels, yields a well-calibrated local model. Legal AI should be judged by its wrong citations, not by accuracy alone.