Delving into the Reversal Curse: How Far Can Large Language Models Generalize?

📄 arXiv: 2410.18808v2 📥 PDF

作者: Zhengkai Lin, Zhihang Fu, Kai Liu, Liang Xie, Binbin Lin, Wenxiao Wang, Deng Cai, Yue Wu, Jieping Ye

分类: cs.CL

发布日期: 2024-10-24 (更新: 2024-11-22)

备注: Accepted at NeurIPS 2024. Our code and data are available at https://github.com/alibaba/thinking_bias.git

🔗 代码/项目: GITHUB

💡 一句话要点

揭示大语言模型中的反转诅咒现象，探究其泛化能力边界

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 反转诅咒 泛化能力 知识推理 事实回忆偏差

📋 核心要点

  1. 大型语言模型在“A是B”的事实学习后，难以泛化到“B是A”，即反转诅咒现象，暴露了其泛化能力的局限性。
  2. 论文深入研究了LLMs的泛化能力和问题解决机制，发现其泛化能力与训练数据的结构密切相关，并存在固有的事实回忆偏差。
  3. 研究表明，仅通过训练难以有效缓解这种偏差对LLMs下游任务性能的负面影响，为改进学习方法提供了新视角。

📝 摘要（中文）

大型语言模型（LLMs）在展现前所未有的能力的同时，在面对看似简单的任务时也表现出某些固有的局限性。一个典型的例子是最近讨论的“反转诅咒”，即模型在接受“A是B”的事实训练后，难以将这种知识推广到推断“B是A”。本文研究了反转诅咒在各种任务中的表现，并深入研究了LLMs的泛化能力和问题解决机制。研究得出了一系列重要见解：（1）当A和B都在上下文中呈现时（如在多项选择题中），LLMs能够推广到“B是A”。（2）这种泛化能力与训练文档中“A是B”的事实结构高度相关。例如，这种泛化仅适用于“[姓名]是[描述]”结构的传记，而不适用于“[描述]是[姓名]”。（3）我们提出并验证了一个假设，即LLMs在知识应用过程中存在固有的事实回忆偏差，这解释并强调了文档结构对于成功学习的重要性。（4）仅通过训练很难减轻这种偏差对LLMs下游性能的负面影响。这些发现为通过LLMs的内在机制解释其泛化提供了新的视角，并为开发更有效的学习方法提供了见解。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在面对“反转诅咒”时表现出的泛化能力不足的问题。现有方法未能充分理解和解决LLMs在知识应用中存在的固有偏差，导致其在简单的事实反转任务中表现不佳。

核心思路：论文的核心思路是深入分析LLMs在学习和应用知识时的内在机制，特别是关注训练数据的结构对模型泛化能力的影响。通过揭示LLMs在事实回忆中存在的偏差，解释反转诅咒现象的产生原因。

技术框架：论文通过实验分析了LLMs在不同任务和数据结构下的表现，验证了模型在知识应用中存在事实回忆偏差的假设。具体包括：1)设计实验评估LLMs在不同上下文和数据结构下的泛化能力；2)分析训练数据结构对模型学习的影响；3)提出并验证LLMs存在事实回忆偏差的假设。

关键创新：论文最重要的技术创新在于揭示了LLMs在知识应用过程中存在固有的事实回忆偏差，并强调了训练数据结构对模型泛化能力的关键影响。这与以往的研究不同，以往的研究更多关注模型规模和训练数据量，而忽略了模型内在机制和数据结构的重要性。

关键设计：论文的关键设计包括：1)设计多项选择题等任务，评估LLMs在不同上下文下的泛化能力；2)构建不同结构的训练数据集，例如“[姓名]是[描述]”和“[描述]是[姓名]”，分析数据结构对模型学习的影响；3)通过实验验证LLMs在回忆事实时存在偏差，例如更倾向于回忆训练数据中出现的顺序。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLMs的泛化能力与训练数据的结构高度相关，例如，对于“[姓名]是[描述]”结构的传记，LLMs能够较好地泛化，但对于“[描述]是[姓名]”则不然。此外，研究验证了LLMs在事实回忆中存在偏差，且这种偏差难以通过训练完全消除。

🎯 应用场景

该研究成果可应用于提升大型语言模型的知识推理能力和泛化性能，尤其是在需要进行事实反转或关系推理的场景中。例如，可以用于改进问答系统、知识图谱构建和自然语言理解等任务，提高模型在复杂知识环境下的适应性和可靠性。

📄 摘要（原文）

While large language models (LLMs) showcase unprecedented capabilities, they also exhibit certain inherent limitations when facing seemingly trivial tasks. A prime example is the recently debated "reversal curse", which surfaces when models, having been trained on the fact "A is B", struggle to generalize this knowledge to infer that "B is A". In this paper, we examine the manifestation of the reversal curse across various tasks and delve into both the generalization abilities and the problem-solving mechanisms of LLMs. This investigation leads to a series of significant insights: (1) LLMs are able to generalize to "B is A" when both A and B are presented in the context as in the case of a multiple-choice question. (2) This generalization ability is highly correlated to the structure of the fact "A is B" in the training documents. For example, this generalization only applies to biographies structured in "[Name] is [Description]" but not to "[Description] is [Name]". (3) We propose and verify the hypothesis that LLMs possess an inherent bias in fact recalling during knowledge application, which explains and underscores the importance of the document structure to successful learning. (4) The negative impact of this bias on the downstream performance of LLMs can hardly be mitigated through training alone. These findings offer a novel perspective on interpreting LLMs' generalization through their intrinsic mechanisms and provide insights for developing more effective learning methods. Our code and data are available at https://github.com/alibaba/thinking_bias.git.