Persuadability and LLMs as Legal Decision Tools

📄 arXiv: 2604.26233v1 📥 PDF

作者: Oisin Suttle, David Lillis

分类: cs.AI, cs.CY

发布日期: 2026-04-29

备注: Accepted to 21st International Conference on Artificial Intelligence and Law (ICAIL 2026)

💡 一句话要点

评估LLM在法律决策中的可说服性，揭示模型易受辩护质量影响的风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 法律决策 可说服性 人工智能伦理 自然语言处理

📋 核心要点

  1. 现有法律决策辅助系统依赖LLM，但其对辩护质量的敏感性未知，可能导致不公正的判决。
  2. 本研究通过实验评估LLM对不同质量辩护论点的反应，分析其可说服性及潜在影响因素。
  3. 实验结果表明，LLM易受辩护质量影响，这对其在法律领域的应用提出了挑战，需要进一步研究。

📝 摘要（中文）

随着大型语言模型（LLMs）被提议作为法律决策助手，甚至在各种司法和行政环境中作为初步决策者，探索它们如何回答法律问题变得至关重要，特别是导致它们以某种方式决定难题的因素。法律决策的一个特定特征是需要回应争论各方提出的论点。法律决策者必须能够参与并回应各方提出的论点，包括可能被说服。相反，他们不应过度地容易被说服，不应受到特别有说服力的辩护律师的影响，从而根据辩护律师的技能而不是案件的案情来判决案件。我们探讨了前沿的开放和封闭权重LLM如何回应法律论点，报告了原创实验结果，检验了提出这些论点的辩护律师的质量如何影响模型同意特定法律观点的可能性，并探讨了驱动这些结果的因素。我们的结果对在法律和行政环境中采用LLM的可行性具有影响。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在法律决策辅助应用中，是否会受到辩护律师质量的影响，从而导致不公正的判决。现有方法缺乏对LLM可说服性的系统评估，无法保证其决策的客观性和公正性。

核心思路：论文的核心思路是通过设计实验，模拟法律辩论场景，评估LLM在面对不同质量的辩护论点时，其决策结果是否会发生变化。如果LLM更容易被高质量的辩护说服，则表明其决策过程存在偏差，不适合直接应用于法律领域。

技术框架：该研究主要采用实验方法。首先，构建包含法律问题的测试集。然后，针对每个问题，设计不同质量的辩护论点（例如，由法律专家撰写的高质量论点和由非专业人士撰写的低质量论点）。最后，将这些论点输入到不同的LLM中，观察LLM的决策结果，并分析辩护质量对决策结果的影响。

关键创新：该研究的创新之处在于，首次系统地评估了LLM在法律决策辅助应用中的可说服性。通过实验揭示了LLM易受辩护质量影响的风险，为LLM在法律领域的应用提供了重要的参考依据。

关键设计：实验设计中，需要控制辩护论点的质量，例如通过聘请法律专家和非专业人士撰写论点，并对论点进行质量评估。同时，需要选择具有代表性的LLM进行测试，例如不同规模、不同架构的LLM。此外，还需要设计合理的评估指标，例如准确率、一致性等，以量化LLM的决策结果。

📊 实验亮点

实验结果表明，LLM在法律问题上容易受到辩护律师质量的影响。具体而言，当面对高质量的辩护论点时，LLM更有可能改变其最初的判断。这一发现表明，直接将LLM应用于法律决策存在潜在风险，需要采取措施降低其可说服性，例如引入更严格的证据评估机制。

🎯 应用场景

该研究成果可应用于评估和改进法律决策辅助系统，提高其公正性和可靠性。同时，可为法律从业者提供参考，帮助他们更好地利用LLM辅助工作，避免受到模型偏差的影响。未来，可进一步探索如何降低LLM的可说服性，使其在法律领域发挥更大的作用。

📄 摘要（原文）

As Large Language Models (LLMs) are proposed as legal decision assistants, and even first-instance decision-makers, across a range of judicial and administrative contexts, it becomes essential to explore how they answer legal questions, and in particular the factors that lead them to decide difficult questions in one way or another. A specific feature of legal decisions is the need to respond to arguments advanced by contending parties. A legal decision-maker must be able to engage with, and respond to, including through being potentially persuaded by, arguments advanced by the parties. Conversely, they should not be unduly persuadable, influenced by a particularly compelling advocate to decide cases based on the skills of the advocates, rather than the merits of the case. We explore how frontier open- and closed-weights LLMs respond to legal arguments, reporting original experimental results examining how the quality of the advocate making those arguments affects the likelihood that a model will agree with a particular legal point of view, and exploring the factors driving these results. Our results have implications for the feasibility of adopting LLMs across legal and administrative settings.