Improve Language Model and Brain Alignment via Associative Memory
作者: Congchi Yin, Yongpeng Zhang, Xuyun Wen, Piji Li
分类: cs.CL
发布日期: 2025-05-20
备注: Accepted by Findings of ACL 2025
💡 一句话要点
通过结合联想记忆提升语言模型与人脑的对齐
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 联想记忆 语言模型 人脑对齐 神经语言学 认知计算
📋 核心要点
- 现有语言模型在处理语音信息时，与人脑的认知过程存在差异，对齐程度有待提高。
- 论文提出将联想记忆整合到语言模型中，模拟人类认知过程，从而改善模型与人脑的对齐。
- 实验结果表明，该方法在与联想记忆相关的大脑区域，显著提升了语言模型与人脑的对齐程度。
📝 摘要（中文）
联想记忆在人类认知系统中整合相关信息以进行理解。本文旨在通过整合联想记忆，提升语言模型在处理语音信息时与人脑的对齐程度。在通过将语言模型激活映射到大脑活动来验证语言模型与大脑之间的对齐后，将使用模拟联想记忆扩展的原始文本刺激作为计算语言模型的输入。研究发现，在与联想记忆处理密切相关的大脑区域，语言模型与大脑之间的对齐得到了改善。我们还通过构建包含1000个故事样本的 extit{Association}数据集，证明了经过特定监督微调的大型语言模型能够更好地与大脑反应对齐，该数据集以鼓励联想记忆的指令作为输入，以相关内容作为输出。
🔬 方法详解
问题定义：现有语言模型在理解语音信息时，与人脑的认知过程存在差异，尤其是在联想记忆方面。这种差异导致语言模型无法准确模拟人脑的活动，限制了其在神经科学和人机交互等领域的应用。现有方法缺乏对联想记忆的有效建模，导致模型与人脑的对齐程度较低。
核心思路：论文的核心思路是将联想记忆整合到语言模型中，模拟人类在理解语音信息时进行联想的过程。通过引入联想记忆，语言模型可以更好地捕捉文本中的潜在关联，从而更准确地预测人脑的活动。具体来说，论文首先通过模拟联想记忆来扩展原始文本，然后将扩展后的文本输入到语言模型中，以提高模型与人脑的对齐程度。
技术框架：整体框架包括以下几个主要步骤：1) 使用原始文本刺激和模拟的联想记忆生成扩展文本；2) 将扩展文本输入到语言模型中，获取语言模型的激活；3) 将语言模型的激活映射到大脑活动，评估语言模型与大脑之间的对齐程度；4) 构建Association数据集，并使用该数据集对大型语言模型进行监督微调，进一步提升模型与大脑的对齐程度。
关键创新：论文的关键创新在于将联想记忆的概念引入到语言模型中，并提出了一种模拟联想记忆的方法。与现有方法相比，该方法能够更有效地捕捉文本中的潜在关联，从而提高语言模型与人脑的对齐程度。此外，论文还构建了一个新的Association数据集，用于训练能够更好地模拟人类联想记忆的大型语言模型。
关键设计：在模拟联想记忆方面，论文采用了一种基于语义相似度的策略，即根据原始文本中的关键词，从外部知识库中检索相关的概念，并将这些概念添加到原始文本中。在构建Association数据集方面，论文设计了一套指令，鼓励标注者在生成关联内容时进行联想。在模型训练方面，论文采用了监督微调的方法，使用Association数据集对大型语言模型进行训练，以提高模型与大脑的对齐程度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过整合联想记忆，语言模型与人脑的对齐程度得到了显著提升，尤其是在与联想记忆处理密切相关的大脑区域。此外，经过Association数据集微调的大型语言模型能够更好地与大脑反应对齐，验证了该方法的有效性。
🎯 应用场景
该研究成果可应用于神经语言学、人机交互和认知计算等领域。通过提高语言模型与人脑的对齐程度，可以更好地理解人类的语言认知过程，开发更自然、更智能的人机交互系统，并为认知疾病的诊断和治疗提供新的思路。
📄 摘要（原文）
Associative memory engages in the integration of relevant information for comprehension in the human cognition system. In this work, we seek to improve alignment between language models and human brain while processing speech information by integrating associative memory. After verifying the alignment between language model and brain by mapping language model activations to brain activity, the original text stimuli expanded with simulated associative memory are regarded as input to computational language models. We find the alignment between language model and brain is improved in brain regions closely related to associative memory processing. We also demonstrate large language models after specific supervised fine-tuning better align with brain response, by building the \textit{Association} dataset containing 1000 samples of stories, with instructions encouraging associative memory as input and associated content as output.