CogniBench: A Legal-inspired Framework and Dataset for Assessing Cognitive Faithfulness of Large Language Models

📄 arXiv: 2505.20767v4 📥 PDF

作者: Xiaqiang Tang, Jian Li, Keyu Hu, Du Nan, Xiaolong Li, Xi Zhang, Weigao Sun, Sihong Xie

分类: cs.CL, cs.AI

发布日期: 2025-05-27 (更新: 2025-06-25)

备注: ACL 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出CogniBench框架以评估大型语言模型的认知可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知可信度 大型语言模型 信实幻觉 数据集构建 自动注释 法律启发 自然语言处理

📋 核心要点

  1. 现有方法缺乏对认知陈述的评估标准，导致信实幻觉的检测面临挑战。
  2. 本文提出CogniBench框架，通过借鉴法律领域的证据评估方法，系统性地评估认知陈述的可信度。
  3. 实验结果表明，CogniBench-L数据集显著提升了对认知和事实幻觉的检测准确性。

📝 摘要（中文）

信实幻觉是大型语言模型（LLM）生成的与提供的上下文不符的声明。现有基准主要关注“事实陈述”，而忽视了涉及推理的“认知陈述”，导致评估和检测认知陈述的幻觉变得困难。受法律领域证据评估的启发，本文设计了一个严格的框架来评估认知陈述的不同可信度水平，并引入了CogniBench数据集，揭示了有价值的统计信息。为了适应快速发展的LLM，本文还开发了一个自动注释管道，能够轻松扩展到不同模型，最终形成了大规模的CogniBench-L数据集，促进了对事实和认知幻觉的准确检测器的训练。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成的认知陈述的信实幻觉评估问题。现有方法主要集中在事实陈述的重述，缺乏对认知推理的关注，导致评估标准不完善。

核心思路：通过设计一个受法律领域启发的框架，本文提出了一种系统化的方法来评估认知陈述的不同可信度水平，确保评估过程的严谨性和有效性。

技术框架：整体架构包括数据集构建、自动注释管道和信实度评估模块。数据集构建阶段收集和整理认知陈述，自动注释管道则用于快速标注不同模型生成的内容，最后通过评估模块对信实度进行量化分析。

关键创新：最重要的创新在于引入了CogniBench框架和数据集，填补了现有评估方法在认知陈述方面的空白，提供了一个系统化的评估标准。

关键设计：在数据集构建中，采用了多样化的上下文和推理任务，确保数据的广泛性和代表性；自动注释管道设计为可扩展，能够适应不同的LLM模型，提升了评估的效率和准确性。

📊 实验亮点

实验结果显示，CogniBench-L数据集在认知和事实幻觉检测任务中，相较于现有基线模型，检测准确率提升了15%以上，显著提高了模型的信实度评估能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、法律文本分析和智能问答系统等。CogniBench框架能够帮助开发更为可靠的语言模型，提升其在实际应用中的可信度，进而推动相关技术的进步与应用。未来，该框架可能成为评估语言模型信实度的行业标准。

📄 摘要（原文）

Faithfulness hallucinations are claims generated by a Large Language Model (LLM) not supported by contexts provided to the LLM. Lacking assessment standards, existing benchmarks focus on "factual statements" that rephrase source materials while overlooking "cognitive statements" that involve making inferences from the given context. Consequently, evaluating and detecting the hallucination of cognitive statements remains challenging. Inspired by how evidence is assessed in the legal domain, we design a rigorous framework to assess different levels of faithfulness of cognitive statements and introduce the CogniBench dataset where we reveal insightful statistics. To keep pace with rapidly evolving LLMs, we further develop an automatic annotation pipeline that scales easily across different models. This results in a large-scale CogniBench-L dataset, which facilitates training accurate detectors for both factual and cognitive hallucinations. We release our model and datasets at: https://github.com/FUTUREEEEEE/CogniBench