Transparentize the Internal and External Knowledge Utilization in LLMs with Trustworthy Citation

📄 arXiv: 2504.14856v1 📥 PDF

作者: Jiajun Shen, Tong Zhou, Yubo Chen, Delai Qiu, Shengping Liu, Kang Liu, Jun Zhao

分类: cs.CL

发布日期: 2025-04-21

备注: 19 pages, 14 figures

💡 一句话要点

提出Context-Prior增强的引用生成任务，提升LLM内部和外部知识利用的可信度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 引用生成 知识融合 可信度 检索增强生成

📋 核心要点

  1. 现有LLM在生成引用时，对内部知识的利用方式不透明，导致答案可信度受质疑，这是核心问题。
  2. 论文提出Context-Prior增强的引用生成任务，并设计RAEL范式和INTRALIGN方法，融合内外部知识生成可信引用。
  3. 实验结果表明，提出的方法在跨场景性能上优于现有基线，验证了其有效性，并分析了检索质量等因素的影响。

📝 摘要（中文）

大型语言模型（LLM）的幻觉问题可以通过检索增强生成和引用生成来缓解，但模型如何利用内部知识仍然不透明，其生成答案的可信度也令人质疑。本文提出了Context-Prior增强的引用生成任务，要求模型在生成引用的同时考虑外部和内部知识，并提供可信的参考文献。我们设计了RAEL范式来解决此任务，并提出了INTRALIGN，一种包含自定义数据生成和对齐算法的集成方法。实验结果表明，我们的方法在跨场景性能方面优于其他基线。扩展实验进一步揭示了检索质量、问题类型和模型知识对引用生成可信度的显著影响。

🔬 方法详解

问题定义：现有大型语言模型在生成文本时，存在幻觉问题，即生成不真实或无根据的内容。虽然检索增强生成（RAG）和引用生成可以在一定程度上缓解这个问题，但模型如何利用其内部知识仍然是一个黑盒。这使得用户难以判断生成内容的真实性和可信度，尤其是在需要可靠信息来源的场景下。因此，如何让LLM在生成内容的同时，透明地展示其使用的知识来源（包括内部和外部知识），并保证引用的可信度，是一个亟待解决的问题。

核心思路：论文的核心思路是提出一个Context-Prior增强的引用生成任务，该任务要求模型在生成答案的同时，生成相应的引用，并且这些引用不仅要指向外部检索到的知识，还要能够反映模型内部知识的使用情况。通过这种方式，可以提高生成内容的可信度，并让用户更好地理解模型是如何得出结论的。

技术框架：论文提出了RAEL范式，用于解决Context-Prior增强的引用生成任务。RAEL范式包含以下几个主要步骤：首先，对输入问题进行分析，确定需要使用的外部知识和内部知识。然后，利用检索增强生成（RAG）技术，从外部知识库中检索相关的文档。同时，利用模型自身的内部知识，生成相应的引用。最后，将外部知识和内部知识融合在一起，生成最终的答案和引用。此外，论文还设计了INTRALIGN方法，该方法包含自定义数据生成和对齐算法，用于更好地训练模型，使其能够有效地利用内外部知识。

关键创新：论文的关键创新在于提出了Context-Prior增强的引用生成任务，并设计了相应的RAEL范式和INTRALIGN方法。与现有的引用生成方法相比，该方法不仅考虑了外部知识，还考虑了模型自身的内部知识，从而提高了生成引用的可信度和透明度。此外，INTRALIGN方法通过自定义数据生成和对齐算法，有效地解决了内外部知识融合的问题。

关键设计：INTRALIGN方法包含两个关键设计：一是自定义数据生成，用于生成包含内外部知识的训练数据。具体来说，该方法首先利用LLM生成一些问题和答案，然后利用检索增强生成（RAG）技术，从外部知识库中检索相关的文档，并将这些文档作为外部知识。同时，利用LLM自身的内部知识，生成相应的引用，并将这些引用作为内部知识。最后，将问题、答案、外部知识和内部知识组合在一起，生成训练数据。二是知识对齐算法，用于将内外部知识对齐到同一个语义空间。具体来说，该方法利用对比学习的方法，将外部知识和内部知识的向量表示对齐到同一个语义空间，从而使得模型能够更好地利用内外部知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的INTRALIGN方法在跨场景性能方面优于其他基线方法，证明了其有效性。具体来说，在Context-Prior增强的引用生成任务上，INTRALIGN方法在答案的有用性、引用的忠实性和整体可信度方面都取得了显著提升。扩展实验还揭示了检索质量、问题类型和模型知识对引用生成可信度的影响，为未来的研究提供了有价值的 insights。

🎯 应用场景

该研究成果可应用于需要高可信度信息生成的领域，例如医疗诊断、法律咨询、金融分析等。通过提供可信的引用，可以帮助用户验证信息的真实性，并更好地理解模型的推理过程。此外，该技术还可以用于提高LLM在开放域问答、知识图谱构建等任务中的性能，并促进人机协作。

📄 摘要（原文）

While hallucinations of large language models could been alleviated through retrieval-augmented generation and citation generation, how the model utilizes internal knowledge is still opaque, and the trustworthiness of its generated answers remains questionable. In this work, we introduce Context-Prior Augmented Citation Generation task, requiring models to generate citations considering both external and internal knowledge while providing trustworthy references, with 5 evaluation metrics focusing on 3 aspects: answer helpfulness, citation faithfulness, and trustworthiness. We introduce RAEL, the paradigm for our task, and also design INTRALIGN, an integrated method containing customary data generation and an alignment algorithm. Our experimental results show that our method achieves a better cross-scenario performance with regard to other baselines. Our extended experiments further reveal that retrieval quality, question types, and model knowledge have considerable influence on the trustworthiness in citation generation.