Language Models Share a Readout Bottleneck in Working Memory
作者: Dongyu Gong
分类: cs.LG, cs.AI, cs.CL, q-bio.NC
发布日期: 2026-10-15
💡 一句话要点
探讨大语言模型在工作记忆中的读取瓶颈
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 工作记忆 干扰理论 注意力机制 N-back任务 性能分析 模型敏感性
📋 核心要点
- 现有大型语言模型在工作记忆任务中表现出性能下降的特征，但其机制尚不明确。
- 论文通过分析15个不同参数规模的预训练LLMs，探讨了干扰与精度理论对模型表现的影响。
- 实验结果表明，抑制干扰项的字母身份能显著提高模型的敏感性，验证了干扰理论的有效性。
📝 摘要（中文）
本研究表明，大型语言模型（LLMs）在N-back任务中表现出与人类工作记忆相似的特征：随着记忆负载N的增加，性能下降，错误主要集中在邻近但错误的刺激上。我们探讨这种行为特征是否反映了共享机制，并通过对15个预训练的LLMs进行分析，验证了干扰理论的有效性。实验结果显示，抑制非目标项的字母身份显著提高了模型的敏感性，而增强注意力的效果微乎其微。这表明LLMs的工作记忆限制在于干扰下的读取能力，而非定位能力。
🔬 方法详解
问题定义：本研究旨在探讨大型语言模型在工作记忆任务中的性能下降机制，现有方法未能明确区分干扰与精度对模型表现的影响。
核心思路：通过对15个预训练的LLMs进行分析，论文提出了干扰理论作为主要解释，强调在干扰情况下读取能力的限制。
技术框架：研究包括对不同参数规模的LLMs进行实验，使用线性探测器解码匹配字母的出现位置，并比较不同模型在任务中的表现。
关键创新：论文的主要创新在于通过实验验证了干扰理论的有效性，指出抑制非目标项的字母身份能显著提高模型的敏感性，挑战了传统的精度理论。
关键设计：实验中采用了线性探测器来解码匹配字母的出现位置，并在不同模型和负载条件下测试了模型的表现，特别关注了注意力头的分布和干扰的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，抑制非目标项的字母身份在几乎所有模型负载条件下都显著提高了敏感性（d'），而增强注意力的效果微乎其微。这一发现与人类工作记忆的干扰理论一致，强调了干扰在模型性能中的重要性。
🎯 应用场景
该研究为理解大型语言模型在工作记忆任务中的表现提供了新的视角，具有重要的理论价值。未来可以在认知科学、人工智能和人机交互等领域应用这些发现，以优化模型设计和提升人机协作效率。
📄 摘要（原文）
Large language models (LLMs) reproduce a human working-memory signature on the N-back task: performance declines as memory load N increases, and errors concentrate on lures, items that repeat the current stimulus at a neighboring but incorrect serial position. We ask whether this shared behavioral signature reflects a shared mechanism. The literature offers two candidate accounts. On a precision account, softmax attention cannot concentrate its weight on the item N positions back, so adjacent items are retrieved instead. On an interference account, attention selects the correct item, but the content of competing items corrupts the decision. We dissociate these accounts in 15 pretrained LLMs from three families (70 million to 14 billion parameters) and in minimal transformers trained from scratch. In all three families, the attention heads that carry the task attend to the target on most missed matches. Linear probes decode near-perfectly whether a matching letter occurred at the target or at a lure position, even on trials where the model false-alarms to the lure, although its own decisions barely distinguish the two. Sharpening attention yields negligible gains, whereas suppressing the letter identity of non-target items improves sensitivity (d') in nearly all model-by-load conditions. In larger models the task is spread over more heads, and removing interference helps more. In minimal transformers, precision limits a single attention layer, but a second layer removes this constraint. The working-memory limit of LLMs therefore lies in reading items out under interference rather than in locating them, consistent with interference accounts of human working memory.