Out-of-Context Reasoning in Large Language Models
作者: Jonathan Shaki, Emanuele La Malfa, Michael Wooldridge, Sarit Kraus
分类: cs.LG, cs.CL
发布日期: 2025-03-13 (更新: 2025-09-17)
💡 一句话要点
研究LLM在训练时学习的公理关系推理能力，并提出轻量级表示学习方法。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 关系推理 上下文外学习 表示学习 公理关系
📋 核心要点
- 现有LLM在关系推理方面依赖上下文信息，缺乏对训练时学习到的公理关系的有效利用。
- 提出上下文外表示学习，仅训练新的token嵌入，使LLM具备在无上下文提示下进行关系推理的能力。
- 实验表明，LLM在自反性、对称性和传递性测试中表现优于随机水平，但仍未达到完全一致的推理。
📝 摘要（中文）
本文研究大型语言模型(LLM)如何通过简单的二元关系（如等于（=）、小于（<）和包含（⊂））对记忆的知识进行推理。与上下文推理不同，公理（例如，a < b, b < c）仅在训练期间出现，而不在任务提示中提供（例如，评估a < c）。这些任务需要一步或多步推理，以及来自一个或多个来源的数据聚合，性能随任务复杂性而变化。我们引入了一种轻量级技术，即上下文外表示学习，该技术仅在公理上训练新的token嵌入，并在未见过的任务上评估它们。在自反性、对称性和传递性测试中，LLM的性能大多在统计上显著优于偶然情况，在测试多个措辞变体时可以提取正确答案，但仍然无法在每个查询上实现一致的推理。分析表明，学习到的嵌入以结构化的方式组织，表明了真正的关系理解。令人惊讶的是，它还表明核心推理发生在训练期间，而不是推理期间。
🔬 方法详解
问题定义：现有大型语言模型在进行关系推理时，通常依赖于在prompt中提供的上下文信息。然而，模型在训练过程中已经学习了大量的公理关系，如何有效利用这些隐式知识进行推理是一个挑战。现有的方法无法充分利用这些预训练知识，导致在没有上下文提示的情况下，模型难以进行准确的关系推理。
核心思路：本文的核心思路是让LLM能够利用其在训练过程中学习到的公理关系进行推理，即使在没有明确的上下文提示的情况下。通过学习新的token嵌入，使模型能够更好地理解和表示这些关系，从而提高其在上下文外进行推理的能力。
技术框架：本文提出的上下文外表示学习方法主要包含以下几个阶段：1) 定义需要推理的二元关系，例如等于、小于和包含等。2) 构建包含这些关系的公理数据集，用于训练LLM。3) 使用轻量级的训练方法，仅更新与公理相关的token嵌入，保持模型其他部分的参数不变。4) 在未见过的任务上评估模型的推理能力，例如判断a < c是否成立，其中a < b和b < c仅在训练时出现。
关键创新：本文最重要的技术创新在于提出了上下文外表示学习的概念，即在没有明确上下文提示的情况下，利用LLM在训练过程中学习到的知识进行推理。与传统的上下文学习方法不同，本文的方法更加注重利用模型自身的知识储备，减少对外部信息的依赖。
关键设计：在训练过程中，本文采用了一种轻量级的训练方法，仅更新与公理相关的token嵌入。这种方法可以有效地减少训练成本，并避免对模型其他部分的参数产生过大的影响。此外，本文还设计了一系列评估指标，用于衡量模型在自反性、对称性和传递性等方面的推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过上下文外表示学习后，LLM在自反性、对称性和传递性测试中的表现显著优于随机水平。虽然模型在每个查询上的一致性推理方面仍有不足，但在测试多个措辞变体时，可以提取到正确的答案。分析还表明，学习到的嵌入以结构化的方式组织，表明模型具备一定的关系理解能力。一个令人惊讶的发现是，核心推理发生在训练期间，而不是推理期间。
🎯 应用场景
该研究成果可应用于知识图谱推理、常识推理、智能问答等领域。通过提升LLM在上下文外进行关系推理的能力，可以使其在缺乏明确提示的情况下，更好地理解和利用知识，从而提高其在各种实际应用中的性能。未来可进一步探索如何将该方法应用于更复杂的推理任务和更广泛的知识领域。
📄 摘要（原文）
We study how large language models (LLMs) reason about memorized knowledge through simple binary relations such as equality ($=$), inequality ($<$), and inclusion ($\subset$). Unlike in-context reasoning, the axioms (e.g., $a < b, b < c$) are only seen during training and not provided in the task prompt (e.g., evaluating $a < c$). The tasks require one or more reasoning steps, and data aggregation from one or more sources, showing performance change with task complexity. We introduce a lightweight technique, out-of-context representation learning, which trains only new token embeddings on axioms and evaluates them on unseen tasks. Across reflexivity, symmetry, and transitivity tests, LLMs mostly perform statistically significant better than chance, making the correct answer extractable when testing multiple phrasing variations, but still fall short of consistent reasoning on every single query. Analysis shows that the learned embeddings are organized in structured ways, suggesting real relational understanding. Surprisingly, it also indicates that the core reasoning happens during the training, not inference.