MemoReason: Evaluating the Effect of Parametric Memory on Contextual Reasoning in LLMs
作者: Zineddine Tighidet, Andrea Mogini, Jiali Mei, Patrick Gallinari, Benjamin Piwowarski
分类: cs.CL
发布日期: 2026-09-28
备注: Preprint
💡 一句话要点
提出MemoReason以评估参数记忆对LLM上下文推理的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 上下文推理 参数记忆 记忆偏差 推理基准 虚构实体 自然语言处理
📋 核心要点
- 现有大型语言模型在推理任务中表现良好，但其推理能力是否依赖于记忆的事实尚不明确。
- 本文提出MemoReason基准，通过将真实实体替换为虚构实体，系统评估参数记忆对推理的影响。
- 实验结果显示，模型在虚构设置中的性能下降显著，表明存在记忆偏差，但直接的参数捷径并非主要失败模式。
📝 摘要（中文）
大型语言模型（LLMs）在推理基准测试中表现良好，但尚不清楚这是否反映了真正的上下文推理能力，还是依赖于参数中记忆的事实。本文通过引入MemoReason基准，区分了广泛的记忆偏差和强参数捷径假设，系统地替换真实实体为虚构实体，以评估参数记忆对推理的影响。实验结果显示，在虚构设置中，模型性能下降高达15.7%，表明存在明显的记忆偏差，但模型在虚构设置中很少给出对应的事实答案，表明直接的参数捷径并不是主要的失败模式。这些发现表明，参数记忆通过比简单事实回忆更复杂的机制影响推理。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在推理任务中是否真正具备上下文推理能力，还是仅仅依赖于记忆的事实。现有方法未能有效区分这两种可能性。
核心思路：通过引入MemoReason基准，论文设计了一种方法，将真实实体替换为虚构实体，以控制上下文的熟悉度，从而评估参数记忆对推理的影响。
技术框架：整体架构包括两个主要部分：一是构建包含真实和虚构实体的推理任务，二是对比模型在这两种设置下的表现，以测量记忆偏差的影响。
关键创新：MemoReason基准的提出是本文的核心创新，它提供了一种系统化的方法来评估模型的推理能力与记忆偏差之间的关系，与现有方法相比，能够更清晰地揭示模型的推理机制。
关键设计：在实验中，模型的输入任务结构保持不变，仅通过替换实体来改变上下文的熟悉度。实验结果表明，模型在虚构设置中的性能下降高达15.7%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在虚构设置中，模型的性能下降高达15.7%，表明存在显著的记忆偏差。同时，针对在虚构设置中失败的问题分析显示，模型很少给出对应的事实答案，表明直接的参数捷径并非主要失败模式。
🎯 应用场景
该研究为理解大型语言模型的推理能力提供了新的视角，具有广泛的应用潜力，尤其是在自然语言处理、智能问答系统和教育技术等领域。通过深入分析模型的记忆机制，可以为未来的模型设计和优化提供指导。
📄 摘要（原文）
Large Language Models (LLMs) perform well on reasoning benchmarks, but it remains unclear whether this reflects genuine contextual reasoning or reliance on facts memorized in their parameters. We investigate this by distinguishing two possibilities: a broad \textit{memorization bias}, where familiar content improves reasoning performance, and the \textit{Strong Parametric Shortcut Hypothesis}, where models skip reasoning entirely and recall stored answers. To test these effects, we introduce \textbf{MemoReason}, a human-curated benchmark that pairs factual reasoning tasks with structurally identical \fictitiousterm{} versions where real entities like people, companies, or dates are systematically replaced by \fictitiousterm{} ones of the same type. This \scorerevision{preserves task structure and specified reasoning operations} while varying the familiarity of the context, allowing controlled measurement of how the parametric memory affects reasoning. \revision{Our evaluation of recent LLMs reveals consistent and statistically significant performance drops of up to 15.7\% in the fictitious setting, demonstrating a clear memorization bias.} However, a targeted analysis of \revision{questions failed in the fictitious setting} shows that models rarely respond with the corresponding factual answer, indicating that direct parametric shortcuts are not the dominant failure mode. These findings suggest that parametric memory influences reasoning through mechanisms more complex than simple factual recall. \textbf{MemoReason} provides a controlled framework for studying these mechanisms and for extending paired factual-fictitious{} evaluation to broader reasoning settings.