From Benchmarking to Reasoning: A Dual-Aspect, Large-Scale Evaluation of LLMs on Vietnamese Legal Text

📄 arXiv: 2604.16270v1 📥 PDF

作者: Van-Truong Le

分类: cs.CL, cs.AI

发布日期: 2026-04-17

备注: 7 pages, 2 figures. Accepted at the FISU Joint Conference on Artificial Intelligence (FJCAI 2026), Vietnam

💡 一句话要点

提出双重评估框架，大规模评测LLM在越南法律文本上的推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 法律文本 越南语 评估框架 错误分析

📋 核心要点

  1. 现有方法难以全面评估LLM在复杂越南法律文本上的推理能力，缺乏细粒度的错误分析。
  2. 论文提出双重评估框架，结合定量基准测试和定性错误分析，深入理解LLM的法律推理能力。
  3. 实验表明，不同LLM在准确性、可读性和一致性之间存在权衡，并识别出常见的推理错误类型。

📝 摘要（中文）

越南法律文本的复杂性阻碍了公众获取公正。大型语言模型为简化法律文本提供了一种有前景的解决方案，但评估其真实能力需要一种超越表面指标的多方面方法。本文提出了一种全面的双重评估框架来满足这一需求。首先，我们为四个最先进的大型语言模型（GPT-4o、Claude 3 Opus、Gemini 1.5 Pro 和 Grok-1）在三个关键维度上建立性能基准：准确性、可读性和一致性。其次，为了理解这些性能分数背后的“原因”，我们使用一种新颖的、经过专家验证的错误类型学，对 60 篇复杂的越南法律文章的精选数据集进行了大规模的错误分析。结果揭示了一个关键的权衡：Grok-1 等模型在可读性和一致性方面表现出色，但在细粒度的法律准确性方面有所妥协，而 Claude 3 Opus 等模型实现了高准确性分数，但掩盖了大量细微但关键的推理错误。错误分析表明， extit{错误示例}和 extit{误解}是最常见的失败，证实了当前 LLM 的主要挑战不是摘要，而是受控的、准确的法律推理。通过整合定量基准和定性深入研究，我们的工作为法律应用中的 LLM 提供了全面且可操作的评估。

🔬 方法详解

问题定义：论文旨在解决如何全面评估大型语言模型（LLM）在处理复杂越南法律文本时的能力问题。现有方法通常只关注表面指标，如准确率，而忽略了模型在法律推理过程中可能出现的细微但关键的错误。因此，需要一种更深入、更细致的评估方法，以揭示LLM在法律领域的真实能力。

核心思路：论文的核心思路是采用一种双重评估框架，该框架结合了定量基准测试和定性错误分析。定量基准测试用于评估LLM在准确性、可读性和一致性等方面的性能，而定性错误分析则用于深入研究LLM在法律推理过程中出现的错误类型和原因。通过这种双重评估方法，可以更全面地了解LLM在法律领域的优势和不足。

技术框架：该框架包含两个主要阶段：1) 定量基准测试：选择四个最先进的LLM（GPT-4o、Claude 3 Opus、Gemini 1.5 Pro 和 Grok-1），并在一个包含60篇复杂越南法律文章的数据集上进行测试。评估指标包括准确性、可读性和一致性。2) 定性错误分析：使用一种新颖的、经过专家验证的错误类型学，对LLM的输出进行错误分析。错误类型包括“错误示例”和“误解”等。

关键创新：该论文的关键创新在于提出了一个双重评估框架，该框架结合了定量基准测试和定性错误分析。这种方法可以更全面地评估LLM在法律领域的真实能力，并揭示LLM在法律推理过程中可能出现的细微但关键的错误。此外，该论文还提出了一种新颖的、经过专家验证的错误类型学，用于对LLM的输出进行错误分析。

关键设计：错误类型学的设计是关键。它需要足够细致，能够捕捉到LLM在法律推理过程中可能出现的各种错误类型，同时又需要足够通用，可以应用于不同的LLM和不同的法律文本。此外，数据集的选择也很重要。数据集需要包含足够数量的复杂越南法律文章，以确保评估结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，不同LLM在准确性、可读性和一致性之间存在权衡。例如，Grok-1在可读性和一致性方面表现出色，但在准确性方面有所妥协；Claude 3 Opus实现了高准确性分数，但掩盖了大量细微但关键的推理错误。错误分析表明，“错误示例”和“误解”是最常见的失败。

🎯 应用场景

该研究成果可应用于法律文本简化、法律咨询、智能法律助手等领域，有助于提高公众获取法律信息的便利性，提升法律服务的效率和质量。未来，该评估框架可推广至其他语言和法律体系，为LLM在法律领域的应用提供更全面的评估和指导。

📄 摘要（原文）

The complexity of Vietnam's legal texts presents a significant barrier to public access to justice. While Large Language Models offer a promising solution for legal text simplification, evaluating their true capabilities requires a multifaceted approach that goes beyond surface-level metrics. This paper introduces a comprehensive dual-aspect evaluation framework to address this need. First, we establish a performance benchmark for four state-of-the-art large language models (GPT-4o, Claude 3 Opus, Gemini 1.5 Pro, and Grok-1) across three key dimensions: Accuracy, Readability, and Consistency. Second, to understand the "why" behind these performance scores, we conduct a large-scale error analysis on a curated dataset of 60 complex Vietnamese legal articles, using a novel, expert-validated error typology. Our results reveal a crucial trade-off: models like Grok-1 excel in Readability and Consistency but compromise on fine-grained legal Accuracy, while models like Claude 3 Opus achieve high Accuracy scores that mask a significant number of subtle but critical reasoning errors. The error analysis pinpoints \textit{Incorrect Example} and \textit{Misinterpretation} as the most prevalent failures, confirming that the primary challenge for current LLMs is not summarization but controlled, accurate legal reasoning. By integrating a quantitative benchmark with a qualitative deep dive, our work provides a holistic and actionable assessment of LLMs for legal applications.