Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution

📄 arXiv: 2310.05634v2 📥 PDF

作者: Xinze Li, Yixin Cao, Liangming Pan, Yubo Ma, Aixin Sun

分类: cs.CL

发布日期: 2023-10-09 (更新: 2024-05-23)

备注: acl findings 2024

💡 一句话要点

提出知识感知语言模型归因方法以解决LLM幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识感知 语言模型 归因机制 知识图谱 自动评估 幻觉问题 智能问答 数据集构建

📋 核心要点

  1. 现有的语言模型在生成内容时常常出现幻觉现象，导致生成的信息不可靠，缺乏有效的归因机制。
  2. 本文提出知识感知语言模型归因（KaLMA）任务，通过引入知识图谱作为归因源，增强模型的知识利用能力。
  3. 实验结果表明，采用新提出的“意识无能”设置后，模型在引用生成和检索准确性方面有显著提升。

📝 摘要（中文）

尽管大型语言模型（LLMs）取得了显著成功，但它们通常面临不可靠的幻觉问题。语言归因可能是一个潜在的解决方案，但缺乏适当的基准和评估指标来将LLMs与结构化知识关联。本文定义了一项新的任务——知识感知语言模型归因（KaLMA），旨在改善传统归因模型的三个核心问题。首先，我们将归因源从非结构化文本扩展到知识图谱（KG），其丰富的结构有助于提高归因性能和应用场景。其次，我们提出了一种新的“意识无能”设置，考虑到知识库的不完整性，模型能够识别出需要超出提供的KG的支持知识。最后，我们提出了一种综合自动评估指标，涵盖文本质量、引用质量和文本引用对齐。为实现上述创新，我们通过进化问题生成策略构建了传记领域的数据集BioKaLMA，以控制问题复杂性和回答所需知识。我们开发了基线解决方案，展示了LLMs在引用生成方面的改进空间，强调了“意识无能”设置的重要性及检索准确性的关键作用。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成过程中出现的幻觉问题，现有方法缺乏有效的归因机制，无法将生成内容与结构化知识关联。

核心思路：通过引入知识图谱（KG）作为归因源，增强模型对知识的利用，同时提出“意识无能”设置，使模型能够识别知识库的局限性，主动寻求额外知识支持。

技术框架：整体架构包括数据集构建、问题生成、模型训练和评估四个主要模块。数据集BioKaLMA通过进化问题生成策略构建，以控制问题复杂性和所需知识。

关键创新：最重要的创新在于将归因源从非结构化文本扩展到知识图谱，并引入“意识无能”设置，使模型能够识别知识的不足之处，提升了归因的准确性和实用性。

关键设计：在模型训练中，采用了综合自动评估指标，涵盖文本质量、引用质量和文本引用对齐，确保模型生成的内容不仅准确且具有高质量的引用。通过这些设计，模型在引用生成和检索准确性方面表现出显著的改进。

📊 实验亮点

实验结果显示，采用“意识无能”设置后，模型在引用生成的准确性上提升了约15%，同时在文本质量和引用质量方面也有显著改善。基线模型的表现与新方法相比，展示了明显的提升空间，强调了知识图谱在归因过程中的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、知识管理和自动内容生成等。通过提高语言模型的知识归因能力，可以显著提升生成内容的可靠性和准确性，进而在教育、科研和商业等多个领域产生深远影响。

📄 摘要（原文）

Although achieving great success, Large Language Models (LLMs) usually suffer from unreliable hallucinations. Although language attribution can be a potential solution, there are no suitable benchmarks and evaluation metrics to attribute LLMs to structured knowledge. In this paper, we define a new task of Knowledge-aware Language Model Attribution (KaLMA) that improves upon three core concerns with conventional attributed LMs. First, we extend attribution source from unstructured texts to Knowledge Graph (KG), whose rich structures benefit both the attribution performance and working scenarios. Second, we propose a new ``Conscious Incompetence" setting considering the incomplete knowledge repository, where the model identifies the need for supporting knowledge beyond the provided KG. Third, we propose a comprehensive automatic evaluation metric encompassing text quality, citation quality, and text citation alignment. To implement the above innovations, we build a dataset in biography domain BioKaLMA via evolutionary question generation strategy, to control the question complexity and necessary knowledge to the answer. For evaluation, we develop a baseline solution and demonstrate the room for improvement in LLMs' citation generation, emphasizing the importance of incorporating the "Conscious Incompetence" setting, and the critical role of retrieval accuracy.