Honest AI: Fine-Tuning "Small" Language Models to Say "I Don't Know", and Reducing Hallucination in RAG

📄 arXiv: 2410.09699v1 📥 PDF

作者: Xinxi Chen, Li Wang, Wei Wu, Qi Tang, Yiyao Liu

分类: cs.CL, cs.AI

发布日期: 2024-10-13

期刊: 2024 KDD Cup Workshop for Retrieval Augmented Generation at the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining

💡 一句话要点

Honest AI：通过微调“小型”语言模型使其回答“我不知道”来减少RAG中的幻觉

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 幻觉 检索增强生成 微调 知识边界

📋 核心要点

  1. 大型语言模型在信息准确性方面存在幻觉问题，限制了其在企业级应用中的应用。
  2. Honest AI 提出微调小型语言模型，使其在缺乏信息时回答“我不知道”，从而减少幻觉。
  3. 实验表明，结合 RAG 和微调的混合方法在 CRAG 基准测试中表现最佳，且资源消耗更低。

📝 摘要（中文）

幻觉是大型语言模型（LLM）应用的关键障碍，尤其是在对信息准确性敏感的企业应用中。为了解决这个问题，已经探索了两种通用方法：检索增强生成（RAG），为LLM提供更新的信息作为上下文；以及使用新信息和期望的输出风格对LLM进行微调。本文提出了Honest AI：一种新颖的策略，用于微调“小型”语言模型，使其回答“我不知道”以减少幻觉，以及几种替代的RAG方法。该解决方案在错误前提问题任务2中排名第一。替代方法包括使用RAG与搜索引擎和知识图谱结果，使用新信息微调基础LLM以及两种方法的组合。虽然所有方法都提高了LLM的性能，但仅RAG并不能显着提高性能，需要进行微调才能获得更好的结果。最后，混合方法在CRAG基准测试中获得了最高分。此外，我们的方法强调使用参数少于100亿的相对较小的模型，从而提高资源效率。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在知识密集型任务中出现的幻觉问题，即生成不真实或与已知事实相悖的内容。现有方法，如单纯依赖检索增强生成（RAG），在某些情况下无法有效抑制幻觉，而直接使用大型模型成本高昂。

核心思路：核心思路是通过微调“小型”语言模型，使其具备识别自身知识边界的能力，并在不确定时主动回答“我不知道”。这种方法旨在提高模型输出的可靠性，同时降低计算成本。

技术框架：整体框架包括以下几个关键步骤：首先，构建包含“我不知道”类型答案的数据集。然后，使用该数据集对预训练的“小型”语言模型进行微调，使其学会识别何时应该回答“我不知道”。同时，探索结合RAG的方法，将外部知识融入到生成过程中。最后，通过实验评估不同方法的性能，并比较它们的优缺点。

关键创新：关键创新在于显式地训练模型识别其知识边界，并主动避免生成不确定的内容。与传统的RAG方法相比，Honest AI 不仅依赖外部知识，还赋予模型自我评估的能力。与直接使用大型模型相比，Honest AI 更加注重资源效率。

关键设计：论文中可能涉及的关键设计包括：1) 构建包含“我不知道”答案的数据集的策略，例如，通过对抗性生成或人工标注。2) 微调模型的损失函数，可能包括对生成错误答案的惩罚项，以及对正确回答“我不知道”的奖励项。3) RAG模块的具体实现，例如，使用特定的搜索引擎或知识图谱，以及如何将检索到的信息融入到生成过程中。4) 模型大小的选择，以及如何在性能和资源消耗之间进行权衡。这些细节在原文中需要进一步确认。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Honest AI 在错误前提问题任务2中排名第一，表明其在减少幻觉方面具有显著优势。实验结果还表明，仅使用 RAG 方法效果有限，需要结合微调才能获得更好的性能。混合方法在 CRAG 基准测试中取得了最高分，验证了其有效性。此外，该方法强调使用小型模型，在保证性能的同时降低了计算成本。

🎯 应用场景

该研究成果可应用于对信息准确性要求高的领域，如金融、医疗、法律等。通过减少LLM的幻觉，可以提高其在这些领域的应用价值，例如，用于自动生成报告、回答客户咨询、辅助决策等。此外，该方法强调使用小型模型，有助于降低部署成本，使其更易于在资源受限的环境中使用。

📄 摘要（原文）

Hallucination is a key roadblock for applications of Large Language Models (LLMs), particularly for enterprise applications that are sensitive to information accuracy. To address this issue, two general approaches have been explored: Retrieval-Augmented Generation (RAG) to supply LLMs with updated information as context, and fine-tuning the LLMs with new information and desired output styles. In this paper, we propose Honest AI: a novel strategy to fine-tune "small" language models to say "I don't know" to reduce hallucination, along with several alternative RAG approaches. The solution ranked 1st in Task 2 for the false premise question. The alternative approaches include using RAG with search engine and knowledge graph results, fine-tuning base LLMs with new information and combinations of both approaches. Although all approaches improve the performance of the LLMs, RAG alone does not significantly improve the performance and fine-tuning is needed for better results. Finally, the hybrid approach achieved the highest score in the CRAG benchmark. In addition, our approach emphasizes the use of relatively small models with fewer than 10 billion parameters, promoting resource efficiency.