Reducing LLM Hallucinations using Epistemic Neural Networks

📄 arXiv: 2312.15576v1 📥 PDF

作者: Shreyas Verma, Kien Tran, Yusuf Ali, Guangyu Min

分类: cs.CL

发布日期: 2023-12-25

备注: 12 pages,9 figures, 4 tables

💡 一句话要点

利用认知神经⽹络减少LLM幻觉

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉减少 认知神经⽹络 不确定性估计 对比解码

📋 核心要点

  1. 大型语言模型（LLM）的幻觉问题严重影响其可靠性，现有方法难以有效降低。
  2. 该论文提出使用认知神经⽹络（ENN）附加到冻结的LLM上，改善模型联合分布和不确定性估计，从而减少幻觉。
  3. 通过在Llama-2 7B模型上训练ENN，并结合对比解码特征增强技术，验证了该方法在TruthfulQA数据集上减少幻觉的有效性。

📝 摘要（中文）

减少和检测大型语言模型中的幻觉是一个开放的研究问题。本项目旨在利用不确定性估计领域的最新进展来减少冻结的大型语言模型中的幻觉。认知神经⽹络（ENNs）最近被提出，以改善大型预训练模型的输出联合分布。ENNs是附加到大型冻结模型上的小型网络，用于改善模型的联合分布和不确定性估计。在这项工作中，我们在Llama-2 7B模型之上训练了一个认知神经⽹络，并结合了对比解码特征增强技术。我们是第一个为下一个token预测任务训练ENN，并探索该方法在减少TruthfulQA数据集上的幻觉方面的有效性。本质上，我们提供了一种利用预训练模型的潜在嵌入来减少幻觉的方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中普遍存在的幻觉问题。现有方法在减少LLM幻觉方面效果有限，无法充分利用预训练模型的潜在信息，并且缺乏有效的不确定性估计机制。

核心思路：论文的核心思路是利用认知神经⽹络（Epistemic Neural Networks, ENNs）来改善LLM的输出联合分布和不确定性估计，从而减少幻觉。ENN作为小型附加网络，能够学习并修正LLM的预测，提高其可靠性。

技术框架：整体框架包括以下几个主要步骤：1) 选择一个预训练的LLM（如Llama-2 7B），并将其参数冻结。2) 构建一个ENN，该网络以LLM的中间层输出（例如，token embeddings）作为输入。3) 使用特定的数据集（如TruthfulQA）训练ENN，目标是最小化幻觉并提高预测的准确性。4) 在推理阶段，LLM的输出会经过ENN的修正，最终得到更可靠的预测结果。同时，论文还结合了对比解码特征增强技术，进一步提升性能。

关键创新：该论文的关键创新在于首次将ENN应用于下一个token预测任务，并探索其在减少LLM幻觉方面的潜力。与传统方法相比，该方法能够更有效地利用预训练模型的潜在信息，并提供更准确的不确定性估计。此外，结合对比解码特征增强技术，进一步提升了ENN的性能。

关键设计：ENN的网络结构未知，但可以推测其输入是LLM的token embeddings，输出是对LLM预测结果的修正。损失函数的设计至关重要，可能包括交叉熵损失（用于提高预测准确性）和不确定性损失（用于降低幻觉）。对比解码特征增强技术的具体实现方式未知，但推测是通过引入负样本，使模型能够更好地区分真实答案和幻觉答案。

📊 实验亮点

该论文首次将认知神经⽹络（ENN）应用于减少LLM幻觉的任务，并在TruthfulQA数据集上进行了实验验证。虽然具体的性能数据未知，但论文声称该方法能够有效减少LLM的幻觉，并优于基线方法。结合对比解码特征增强技术，进一步提升了ENN的性能。

🎯 应用场景

该研究成果可应用于各种需要高可靠性的大型语言模型应用场景，如智能客服、医疗诊断、金融分析等。通过减少LLM的幻觉，可以提高这些应用的准确性和可信度，降低潜在风险。未来，该方法有望推广到更多LLM和数据集上，并与其他幻觉减少技术相结合，进一步提升LLM的性能。

📄 摘要（原文）

Reducing and detecting hallucinations in large language models is an open research problem. In this project, we attempt to leverage recent advances in the field of uncertainty estimation to reduce hallucinations in frozen large language models. Epistemic neural networks have recently been proposed to improve output joint distributions for large pre-trained models. ENNs are small networks attached to large, frozen models to improve the model's joint distributions and uncertainty estimates. In this work, we train an epistemic neural network on top of the Llama-2 7B model combined with a contrastive decoding feature enhancement technique. We are the first to train an ENN for the next token prediction task and explore the efficacy of this method in reducing hallucinations on the TruthfulQA dataset. In essence, we provide a method that leverages a pre-trained model's latent embeddings to reduce hallucinations.