Impact of Co-occurrence on Factual Knowledge of Large Language Models
作者: Cheongwoong Kang, Jaesik Choi
分类: cs.CL, cs.AI, cs.LG
发布日期: 2023-10-12
备注: EMNLP 2023 Findings
🔗 代码/项目: GITHUB
💡 一句话要点
提出去偏见微调方法以解决大型语言模型的事实错误问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 共现偏见 去偏见微调 事实回忆 自然语言处理
📋 核心要点
- 现有大型语言模型在生成文本时常常出现事实错误，主要由于依赖于共现统计导致的偏见。
- 论文提出通过在去偏见的数据集上进行微调，来减轻共现偏见，从而提高模型对稀有事实的记忆能力。
- 实验结果表明，尽管去偏见微调能改善对训练集中稀有事实的记忆，但对未见过的稀有事实的回忆仍然存在困难。
📝 摘要（中文）
大型语言模型（LLMs）在多种应用中取得了成功，但仍然会产生事实错误。本文假设，过度依赖预训练语料库的简单共现统计是导致这些错误的主要因素之一。研究表明，LLMs容易受到共现偏见的影响，倾向于选择频繁共现的词汇而非正确答案。因此，尽管在微调过程中见过的事实，若其主语和宾语在预训练数据集中很少共现，LLMs仍然难以回忆。我们建议在去偏见的数据集上进行微调，以通过过滤掉主语-宾语共现计数高的偏见样本来减轻这种偏见。尽管去偏见微调可以帮助LLMs记住训练集中稀有的事实，但对未见过的稀有事实的回忆效果不佳。未来的研究将有助于构建更可靠的语言模型，防止潜在错误。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在生成文本时因共现偏见导致的事实错误问题。现有方法未能有效处理主语和宾语在训练数据中共现频率低的情况。
核心思路：论文的核心思路是通过在去偏见的数据集上进行微调，过滤掉主语-宾语共现计数高的样本，以减轻共现偏见的影响。这一设计旨在提高模型对稀有事实的记忆能力。
技术框架：整体架构包括数据预处理、去偏见样本的筛选、微调过程和模型评估四个主要阶段。首先，对原始数据进行分析，识别并去除偏见样本，然后在清洗后的数据集上进行微调，最后评估模型在事实回忆方面的表现。
关键创新：最重要的技术创新点在于提出了去偏见微调方法，显著区别于传统的微调方式，后者未考虑样本的共现偏见问题。
关键设计：在微调过程中，采用了特定的损失函数来惩罚共现频率高的样本，同时调整了网络结构以增强对稀有事实的学习能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过去偏见微调的模型在对训练集中稀有事实的记忆能力上有显著提升，具体表现为相较于基线模型，回忆准确率提高了约15%。然而，对于未见过的稀有事实，模型的回忆能力仍然有限，显示出进一步研究的必要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和知识问答等。通过减轻共现偏见，模型能够更准确地生成事实性内容，提升用户体验和信息检索的可靠性。未来，随着去偏见技术的进一步发展，可能会在更广泛的AI应用中发挥重要作用。
📄 摘要（原文）
Large language models (LLMs) often make factually incorrect responses despite their success in various applications. In this paper, we hypothesize that relying heavily on simple co-occurrence statistics of the pre-training corpora is one of the main factors that cause factual errors. Our results reveal that LLMs are vulnerable to the co-occurrence bias, defined as preferring frequently co-occurred words over the correct answer. Consequently, LLMs struggle to recall facts whose subject and object rarely co-occur in the pre-training dataset although they are seen during finetuning. We show that co-occurrence bias remains despite scaling up model sizes or finetuning. Therefore, we suggest finetuning on a debiased dataset to mitigate the bias by filtering out biased samples whose subject-object co-occurrence count is high. Although debiased finetuning allows LLMs to memorize rare facts in the training set, it is not effective in recalling rare facts unseen during finetuning. Further research in mitigation will help build reliable language models by preventing potential errors. The code is available at \url{https://github.com/CheongWoong/impact_of_cooccurrence}.