Exploring the Knowledge Mismatch Hypothesis: Hallucination Propensity in Small Models Fine-tuned on Data from Larger Models

📄 arXiv: 2411.00878v1 📥 PDF

作者: Phil Wee, Riyadh Baghdadi

分类: cs.CL, cs.AI

发布日期: 2024-10-31

备注: 6 pages, 3 figures

💡 一句话要点

研究表明：小模型微调大模型生成数据易产生知识不匹配，导致幻觉问题加剧

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 幻觉问题 知识不匹配 模型微调 蒸馏学习

📋 核心要点

  1. 现有方法使用大模型生成数据微调小模型，但小模型更容易产生幻觉，输出错误信息。
  2. 论文提出知识不匹配假设，即大模型数据与小模型自身知识存在差异，导致幻觉。
  3. 实验表明，用大模型数据微调的小模型在测试集上错误率更高，验证了知识不匹配假设。

📝 摘要（中文）

本文探讨了通过使用大型模型生成的数据对小型模型进行微调时，小型模型产生幻觉的倾向。尽管这些小型模型能够生成在质量上与大型模型相似的输出，但它们更容易产生幻觉。一个关键假设是，使用大型模型生成的数据微调小型模型会导致知识不匹配，从而增加幻觉的产生。具体来说，模型微调时输入的数据知识与模型自身已有的知识之间存在差异。这种知识不匹配会增加模型产生幻觉的可能性。实验结果表明，在未见过的测试集上，使用大型模型生成的数据微调的小型模型，相比于使用自身生成的数据微调的模型，会产生更多的错误答案，从而验证了该假设。

🔬 方法详解

问题定义：论文旨在解决小模型在利用大模型生成的数据进行微调时，更容易产生幻觉的问题。现有方法虽然能够让小模型在表面上模仿大模型的输出质量，但忽略了小模型自身知识与大模型生成数据之间的差异，导致小模型更容易生成不准确或虚假的信息。这种幻觉问题限制了小模型在实际应用中的可靠性。

核心思路：论文的核心思路是提出“知识不匹配”假设，即用于微调小模型的数据（由大模型生成）所包含的知识，与小模型自身已经具备的知识之间存在差异。这种差异会导致小模型在生成内容时产生冲突和混淆，从而增加幻觉的概率。论文认为，解决幻觉问题的关键在于减少或消除这种知识不匹配。

技术框架：论文采用实验验证的方法。首先，使用一个较大的语言模型生成训练数据。然后，使用该数据以及小模型自身生成的数据，分别对一个小型的语言模型进行微调。最后，在一个未见过的测试集上评估两个微调后的小模型的性能，比较它们产生幻觉的程度。通过比较两个模型的错误率，验证知识不匹配假设。

关键创新：论文最重要的创新点在于提出了“知识不匹配”这一概念，并将其与小模型微调过程中产生的幻觉现象联系起来。这种联系为理解和解决小模型幻觉问题提供了一个新的视角。与以往关注模型规模或训练数据质量的研究不同，本文强调了知识一致性的重要性。

关键设计：论文的关键设计在于对比实验。通过控制训练数据的来源（大模型 vs. 小模型），并保持其他条件不变，论文能够有效地评估知识不匹配对幻觉的影响。具体的参数设置和模型结构信息在论文中可能没有详细说明，属于实验细节，但核心在于对比实验的设计。

📊 实验亮点

实验结果表明，使用大模型生成的数据微调的小模型，在未见过的测试集上产生了更多的错误答案，证实了知识不匹配假设。具体性能数据（例如错误率的提升幅度）需要在论文中查找，但核心结论是：使用自身数据微调的小模型比使用大模型数据微调的小模型表现更好，验证了知识不匹配是导致幻觉的重要因素。

🎯 应用场景

该研究成果可应用于提升小型语言模型的可靠性和准确性，尤其是在资源受限的场景下。通过减少幻觉，可以提高小模型在对话系统、文本摘要、机器翻译等任务中的实用性。未来的研究可以探索如何更好地对齐不同模型之间的知识，从而更有效地利用大模型的数据来提升小模型的性能。

📄 摘要（原文）

Recently, there has been an explosion of large language models created through fine-tuning with data from larger models. These small models able to produce outputs that appear qualitatively similar to significantly larger models. However, one of the key limitations that have been observed with these models is their propensity to hallucinate significantly more often than larger models. In particular, they have been observed to generate coherent outputs that involve factually incorrect information and spread misinformation, toxicity, and stereotypes. There are many potential causes of hallucination, of which, one hypothesis is that fine-tuning a model on data produced by a larger model leads to a knowledge mismatch which contributes to hallucination. In particular, it is hypothesized that there is a mismatch between the knowledge that is fed to the model to fine-tune it and the knowledge that is already present in the graph. Fine-tuning the model on data that has such mismatch could contribute to an increased propensity to hallucinate. We show that on an unseen test set, a smaller model fine-tuned on data generated from a larger model produced more wrong answers when compared to models fine-tuned on data created by the small model, which confirms the hypothesis.