Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models

📄 arXiv: 2312.03633v3 📥 PDF

作者: Da Wu, Jingye Yang, Kai Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-12-06 (更新: 2024-07-01)

备注: Final revision. To appear in Patterns

💡 一句话要点

研究揭示BERT免疫反转诅咒，但复杂逻辑推理能力仍有局限

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 反转诅咒 逻辑推理 BERT GPT 集合运算 知识图谱 演绎推理

📋 核心要点

  1. 大型语言模型在“A是B”关系学习后无法推断“B是A”，即遭遇“反转诅咒”，限制了其在知识图谱构建等任务中的应用。
  2. 研究对比了BERT和GPT模型，发现BERT对反转诅咒免疫，并进一步探索了它们在更复杂的集合运算逻辑推理中的表现。
  3. 实验表明，BERT和GPT在处理两个集合的交并运算时表现良好，但在三个集合的复杂组合运算中均遇到困难。

📝 摘要（中文）

“反转诅咒”是指像ChatGPT这样基于自回归解码器的大型语言模型（LLM），在“A是B”的数据上训练后，无法学习“B是A”，假设B和A是不同的，并且可以相互唯一识别，这表明其在逻辑推理上存在基本缺陷。考虑到GPT模型在构建知识图谱等通用任务中应遵循对称性原则，这引起了人们对其应用的担忧。本研究考察了双向LLM——BERT，发现其不受反转诅咒的影响。受利用LLM构建生物医学知识图谱的推动，我们进一步评估了更复杂但至关重要的演绎推理能力。首先训练编码器和解码器语言模型掌握两个集合的交集和并集运算，然后评估它们在三个新创建的集合上推断不同组合的并集和交集运算的能力。结果表明，虽然经过训练的编码器和解码器语言模型在涉及两个集合（并集/交集）的任务中表现出色，但在处理包含三个集合的运算（并集和交集的各种组合）时遇到了困难。我们的研究突出了编码器和解码器模型在简单和复杂逻辑推理方面的不同特征。在实践中，BERT和GPT的选择应根据任务的具体要求和性质来指导，利用它们在双向上下文理解和序列预测方面的各自优势。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在演绎逻辑推理方面的能力，特别是反转诅咒现象以及更复杂的集合运算推理。现有自回归解码器LLM（如GPT系列）在学习“A是B”后无法自动推断“B是A”，这限制了其在需要对称性推理的知识图谱构建等任务中的应用。此外，现有方法在处理更复杂的逻辑推理（如涉及多个集合的交并运算）时也存在不足。

核心思路：论文的核心思路是通过对比不同架构的LLM（BERT和GPT）在不同难度级别的逻辑推理任务上的表现，揭示它们在逻辑推理能力上的差异。通过考察BERT是否受到反转诅咒的影响，以及BERT和GPT在集合运算推理中的表现，来评估它们在逻辑推理方面的优势和局限性。

技术框架：论文的技术框架主要包括以下几个部分：1) 考察BERT是否受到反转诅咒的影响；2) 训练编码器（BERT）和解码器（GPT）语言模型，使其掌握两个集合的交集和并集运算；3) 评估训练后的模型在三个新创建的集合上进行不同组合的并集和交集运算的推理能力。

关键创新：论文的关键创新在于：1) 首次系统性地对比了BERT和GPT在反转诅咒和复杂集合运算推理方面的表现，揭示了不同架构LLM在逻辑推理能力上的差异；2) 通过设计集合运算推理任务，量化评估了LLM在复杂逻辑推理方面的能力。

关键设计：在集合运算推理任务中，论文设计了涉及两个集合和三个集合的交并运算。对于每个任务，都生成了相应的训练数据，并使用标准的语言模型训练方法对BERT和GPT进行训练。评估指标包括模型在测试集上的准确率，用于衡量模型在集合运算推理方面的能力。

📊 实验亮点

实验结果表明，BERT不受反转诅咒的影响，这使其在需要对称性推理的任务中具有优势。然而，BERT和GPT在处理三个集合的复杂交并运算时均表现不佳，表明现有LLM在复杂逻辑推理方面仍存在局限性。在两个集合的交并运算任务中，BERT和GPT均能达到较高的准确率。

🎯 应用场景

该研究成果可应用于知识图谱构建、智能问答系统、逻辑推理引擎等领域。通过选择合适的LLM架构，可以提升相关应用在逻辑推理方面的性能。例如，在需要对称性推理的知识图谱构建任务中，可以选择BERT等不受反转诅咒影响的模型。该研究也为未来LLM的逻辑推理能力提升提供了指导。

📄 摘要（原文）

The term "Reversal Curse" refers to the scenario where auto-regressive decoder large language models (LLMs), such as ChatGPT, trained on "A is B" fail to learn "B is A," assuming that B and A are distinct and can be uniquely identified from each other, demonstrating a basic failure of logical deduction. This raises a red flag in the use of GPT models for certain general tasks such as constructing knowledge graphs, considering their adherence to this symmetric principle. In our study, we examined a bidirectional LLM, BERT, and found that it is immune to the reversal curse. Driven by ongoing efforts to construct biomedical knowledge graphs with LLMs, we also embarked on evaluating more complex but essential deductive reasoning capabilities. This process included first training encoder and decoder language models to master the intersection and union operations on two sets and then moving on to assess their capability to infer different combinations of union and intersection operations on three newly created sets. The findings showed that while both encoder and decoder language models, trained for tasks involving two sets (union/intersection), were proficient in such scenarios, they encountered difficulties when dealing with operations that included three sets (various combinations of union and intersection). Our research highlights the distinct characteristics of encoder and decoder models in simple and complex logical reasoning. In practice, the choice between BERT and GPT should be guided by the specific requirements and nature of the task at hand, leveraging their respective strengths in bidirectional context comprehension and sequence prediction.