Do LLMs Fabricate Legal Citations? A Bilingual Benchmark on Saudi Data Protection Law and the GDPR
作者: Noura Suliman Alrajeh
分类: cs.CL, cs.CY
发布日期: 2026-07-13
备注: 5 pages, 3 tables. Benchmark data and model outputs to be released. Also archived at Zenodo: 10.5281/zenodo.21320218
💡 一句话要点
提出双语基准以评估大型语言模型在法律引用中的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律引用 大型语言模型 数据保护法 合规性咨询 双语基准 模型评估 伪造引用
📋 核心要点
- 现有方法在法律合规性咨询中存在伪造引用的问题，可能导致法律建议的错误。
- 论文通过构建双语基准，设计了120个问题来评估LLMs在法律引用中的准确性。
- 实验结果显示，GDPR的引用准确率高达94-100%，而沙特PDPL的伪造率高达77%，揭示了法律管辖权的影响。
📝 摘要（中文）
随着组织和监管机构越来越多地咨询大型语言模型（LLMs）以解答合规性问题，错误的法条引用可能会悄然影响法律建议、合规文档和政策决策。本文引入了一个双语基准，包含120个问题，探讨自由访问的LLMs在引用欧盟通用数据保护条例（GDPR）和沙特个人数据保护法（PDPL）时是否会伪造条款引用。基准将直接引用检索问题与虚假前提验证探测和故意无法回答的“陷阱”问题相结合。评估三种自由访问的模型，发现GDPR的引用准确率接近上限，而沙特PDPL的伪造率则较高，表明模型的自信度并未提供保护，强调了逐字验证的重要性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在法律引用中伪造条款的问题，现有方法未能有效识别和验证法律条款的准确性，导致合规性咨询中的潜在风险。
核心思路：通过构建一个双语基准，结合直接引用检索与虚假前提验证，论文旨在系统性地评估LLMs在法律引用中的表现，尤其是在不同法律管辖区的表现差异。
技术框架：整体架构包括问题设计、模型评估和结果分析三个主要模块。问题设计阶段涵盖直接引用、虚假前提和陷阱问题，模型评估则使用自动评分系统与人工验证的金标准进行对比。
关键创新：论文的主要创新在于提出了双语基准，系统性地评估了LLMs在不同法律管辖区的引用准确性，揭示了法律条款与实施法规之间的混淆问题。
关键设计：在实验中，使用了三种自由访问的模型，并通过自动评分系统对模型的输出进行评估，确保了结果的客观性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，针对GDPR的引用准确率高达94-100%，而沙特PDPL的伪造率高达77%。尤其是67%的伪造引用源于法律与实施法规的混淆，91%的伪造引用自信度≥0.8，强调了逐字验证的重要性。
🎯 应用场景
该研究的潜在应用领域包括法律合规性咨询、政策制定和法律教育等。通过提高大型语言模型在法律引用中的准确性，可以为法律专业人士提供更可靠的工具，降低法律风险，提升合规性决策的质量。
📄 摘要（原文）
Organizations and regulators increasingly consult large language models (LLMs) for regulatory-compliance questions, yet a wrong statutory citation can silently propagate into legal advice, compliance documentation, and policy decisions. We introduce a bilingual benchmark of 120 questions probing whether freely accessible LLMs fabricate article citations for two data-protection instruments: the EU General Data Protection Regulation (GDPR) and the Saudi Personal Data Protection Law (PDPL). The benchmark pairs direct citation retrieval questions with false premise verification probes and deliberately unanswerable "trap" questions -- including questions about a repealed article and about deadlines that exist only in implementing regulations, not in the law itself. Every question is posed in both Arabic and English, and all scoring is fully automatic against a manually verified gold reference. Evaluating three freely accessible models (Gemini 2.5 Flash, GPT-OSS-120B, Nemotron-3-Super-120B), we find a dramatic jurisdiction gap: near-ceiling citation accuracy on the GDPR (94-100% on direct retrieval) against majority fabrication on the Saudi PDPL (60-77%), invariant to query language; the highest fabrication rates (67%) arise from statute-vs-regulations confusion, and 91% of fabricated citations are asserted with confidence >= 0.8. Fabrication tracks the jurisdiction of the law, not the language of the query, and model confidence provides no protection -- indicating that verbatim-verification safeguards, rather than model self confidence, must gate any institutional reliance on LLMs for compliance screening.