Factual recall in linear associative memories: sharp asymptotics and mechanistic insights

📄 arXiv: 2605.10795v1 📥 PDF

作者: Alessio Giorlandino, Sebastian Goldt, Antoine Maillard

分类: stat.ML, cond-mat.dis-nn, cond-mat.stat-mech, cs.LG

发布日期: 2026-05-11

💡 一句话要点

利用统计物理学揭示线性联想记忆的事实存储极限与机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统计物理 联想记忆 神经网络容量 事实召回 线性模型 渐近分析 机器学习理论

📋 核心要点

  1. 现有研究难以刻画线性联想记忆中因严格分离约束导致的强相关性，使得确定神经网络存储事实关联的理论极限成为挑战。
  2. 论文通过引入解耦模型，将复杂的关联约束转化为独立竞争输出问题，并利用统计物理学方法精确推导了存储容量的渐近界。
  3. 研究表明最优解通过将正确得分精确控制在竞争阈值之上实现存储，其容量极限为 p_c log p_c / d^2 = 1/2，为理解复杂架构提供了基准。

📝 摘要（中文）

大型语言模型在事实召回方面表现出色，但神经网络存储输入-输出关联的基本极限尚不明确。本文在极简设置下研究了这一问题：即通过单层线性联想记忆将p个输入嵌入映射到对应的目标向量，并要求每个映射输入与所有其他目标良好分离。与监督分类不同，这种严格的分离对每个关联施加了p个约束，且约束间存在强相关性，导致存储容量难以直接刻画。我们引入了一个解耦模型，证明其在存储容量、权重谱和存储机制上与原模型等价。利用统计物理学工具，我们证明该模型可存储高达 p_c log p_c / d^2 = 1/2 的关联，并将该结论推广至两层线性架构。研究揭示了最优解优于赫布学习的机制：它并非通过广泛波动来增强对齐，而是将正确得分提升至竞争输出所设定的极值阈值之上。

🔬 方法详解

问题定义：论文旨在解决线性联想记忆在存储p个输入-输出对时的容量极限问题。与传统分类任务不同，事实召回要求每个输入映射后的目标必须与所有其他目标严格分离，这导致了复杂的约束耦合，使得传统的容量分析方法失效。

核心思路：通过引入一个“解耦模型”，将每个输入对应的竞争输出视为独立变量。作者通过数值和分析证明，该解耦模型在存储容量、权重矩阵谱分布及存储机制上与原始耦合模型完全等价，从而简化了数学处理难度。

技术框架：研究基于统计物理学中的副本方法（replica method）和空腔方法（cavity method）。首先构建单层线性映射模型，随后将其推广至两层线性架构，通过分析权重矩阵的奇异值分布和能量函数，推导出系统在不同负载下的相变行为。

关键创新：最重要的创新在于揭示了最优存储机制并非简单的赫布学习（Hebbian learning）。最优解表现为一种“阈值策略”，即通过调整权重使得正确输出的得分仅略高于由所有竞争输出构成的极值分布阈值，从而最大化存储效率。

关键设计：模型设定输入维度为d，关联数为p。通过引入高斯随机输入假设，利用统计物理的渐近分析，精确计算出存储容量的临界值 p_c，并给出了权重矩阵在最优解下的解析形式，为理解神经网络记忆的微观机制提供了理论支撑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验与理论分析表明，该模型在存储容量上达到了 p_c log p_c / d^2 = 1/2 的渐近极限。研究通过对比证明，最优解在处理高维数据时显著优于传统的赫布学习规则，并成功将该结论推广至两层线性网络，为复杂深度学习架构的记忆容量研究设定了精确的统计物理基准。

🎯 应用场景

该研究为理解大语言模型（LLM）的事实存储机制提供了理论基石。其结论可用于评估不同神经网络架构的记忆效率，指导模型参数规模设计，并为优化知识图谱嵌入、长短期记忆网络及轻量级推理模型提供理论指导，有助于提升模型在事实问答任务中的准确性与鲁棒性。

📄 摘要（原文）

Large language models demonstrate remarkable ability in factual recall, yet the fundamental limits of storing and retrieving input--output associations with neural networks remain unclear. We study these limits in a minimal setting: a linear associative memory that maps $p$ input embeddings in $\mathbb{R}^d$ to their corresponding~$d$-dimensional targets via a single layer, requiring each mapped input to be well separated from all other targets. Unlike in supervised classification, this strict separation induces~$p$ constraints per association and produces strong correlations between constraints that make a direct characterisation of the storage capacity difficult. Here, we provide a precise characterisation of this capacity in the following way. We first introduce a decoupled model in which each input has its own independent set of competing outputs, and provide numerical and analytical evidence that this decoupled model is equivalent to the original model in terms of storage capacity, spectra of the learnt weights, and storage mechanism. Using tools from statistical physics, we show that the decoupled model can store up to $p_c \log p_c / d^2 = 1 / 2$ associations, and generalise the computation of $p_c$ to linear two-layer architectures. Our analysis also gives mechanistic insight into how the optimal solution improves over a naïve Hebbian learning rule: rather than boosting input-output alignments with broad fluctuations, the optimal solution raises the correct scores just above the extreme-value threshold set by the competing outputs. These findings give a sharp statistical-physics characterisation of factual storage in linear networks and provide a baseline for understanding the memory capacity of more realistic neural architectures.