Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System
作者: Rubén Manrique, Michelle Castellanos, Jorge Morales, Juan David Gutiérrez, Antonio Barreto Rozo, Joaquín Vélez Navarro
分类: cs.AI, cs.CY
发布日期: 2026-10-02
备注: 38 pages, 23 figures, 8 tables
💡 一句话要点
提出针对哥伦比亚法律系统的LLM可靠性基准
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 法律系统 可靠性评估 专家验证 哥伦比亚法律 多阶段审查 自由文本答案 法律教育
📋 核心要点
- 现有大型语言模型在非美国法律系统中的可靠性缺乏系统性评估，导致法律实践中的潜在风险。
- 本文提出了一种专家验证的基准，涵盖多个法律领域，通过人机协作的方式构建，旨在评估LLM的可靠性。
- 实验结果显示，封闭问题的准确率从0.905到0.577不等，而自由文本答案的正确性始终低于0.45，表明LLM在法律领域的应用需谨慎。
📝 摘要（中文）
大型语言模型（LLMs）在法律实践、教育和研究中越来越多地被使用，但其在美国以外国家法律系统中的可靠性尚未得到充分验证。本文引入了一种经过专家验证的基准，用于评估LLM在哥伦比亚法律系统中的可靠性。该基准包括1042个项目，涵盖十个法律领域和三种问题格式（封闭选择题、半开放式和开放式IRAC），通过人机协作的多阶段专家审查流程构建。对15个现代专有和开放权重模型进行评估，发现封闭问题的准确率差异较大，而自由文本法律答案的事实正确性从未超过0.45。研究表明，当前LLM在哥伦比亚法律任务中需要专家监督，并且将答案基于权威来源是提高可靠性的有希望的途径。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在哥伦比亚法律系统中的可靠性评估问题。现有方法缺乏对非美国法律系统的系统性验证，导致法律实践中可能出现错误信息。
核心思路：论文通过构建一个专家验证的基准，涵盖多个法律领域和不同问题格式，来评估LLM的可靠性。这种设计旨在提供一个全面的评估框架，以便更好地理解LLM在法律领域的表现。
技术框架：整体架构包括基准构建、专家审查和模型评估三个主要模块。首先，通过人机协作的方式构建问题集，然后进行多阶段的专家审查，最后对不同模型进行评估。
关键创新：最重要的技术创新在于引入了一个经过专家验证的基准，能够系统性地评估LLM在特定法律领域的表现。这与现有方法的主要区别在于其针对性和系统性。
关键设计：基准包含1042个项目，涵盖十个法律领域，采用封闭选择题、半开放式和开放式IRAC三种问题格式。评估过程中使用了适当的格式化指标，并通过独立的评分标准和盲评专家评分进行验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，封闭问题的准确率在不同模型间差异显著，最高可达0.905，而自由文本答案的正确性始终低于0.45，表明LLM在法律领域的表现存在较大局限性。此外，封闭问题的准确性与自由文本的正确性之间存在强相关性（rho = 0.94），提示多选题筛选可以预测模型排名，但可能高估了绝对可靠性。
🎯 应用场景
该研究的潜在应用领域包括法律教育、法律咨询和法律研究等。通过提供可靠的LLM评估基准，能够帮助法律从业者和研究者更好地理解和应用这些模型，从而提高法律服务的质量和效率。未来，该基准的构建方法也可以推广到其他国家的法律系统中，促进全球法律技术的发展。
📄 摘要（原文）
Large language models (LLMs) are increasingly used to support legal practice, education, and research, yet their reliability in national legal systems outside the United States remains largely undocumented. We introduce an expert-validated benchmark for evaluating LLM reliability on the Colombian legal system. The benchmark comprises 1,042 items spanning ten areas of law and three question formats (closed multiple-choice, semi-open, and open-ended IRAC), built through a human-in-the-loop pipeline with multi-stage expert review. We evaluate 15 contemporary proprietary and open-weight models with format-appropriate metrics. Accuracy on closed questions ranges widely, from 0.905 (Gemini 3.1 Pro) to 0.577, but on free-text legal answers factual correctness never exceeds 0.45 (on a 0-1 scale) for any model. We find a dissociation between answer relevancy and correctness (Spearman rho = -0.46): models reliably sound responsive while frequently being wrong, a pattern of particular concern for non-expert users. Closed-question accuracy and free-text correctness are strongly rank-correlated (rho = 0.94), so cheap multiple-choice screening predicts model ranking but overstates absolute reliability. An independent rubric-based LLM judge and blind human expert scoring both reproduce the free-text ranking (rho >= 0.88). The judge further reveals that only about half of the norms models cite are correct; the rest are wrong or non-existent. Reliability varies systematically by legal area and follows an inverted-U across question complexity. Our results indicate that current LLMs require expert supervision for Colombian legal tasks, and that grounding answers in authoritative sources is a promising path to higher reliability. We release the benchmark construction pipeline to support reproducible evaluation.