Complementary Roles of Activation and Parametric Memory in Few-Shot Learning
作者: Miaohe Niu, Runsong Zhao, Xinyu Liu, Bo Jin, Yucheng Qiao, Chunliang Zhang, Jingbo Zhu, Tong Xiao
分类: cs.CL
发布日期: 2026-09-23
💡 一句话要点
探讨激活记忆与参数记忆在少样本学习中的互补作用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 少样本学习 激活记忆 参数记忆 条件算术 神经元激活 模型协同
📋 核心要点
- 现有方法未能清晰阐明激活记忆与参数记忆在少样本学习中的相互作用，导致任务学习效果不佳。
- 论文通过系统实验探讨两种记忆类型的作用，发现激活记忆在事实回忆中更为有效，而参数记忆在任务学习中表现不一。
- 实验结果显示，复合任务条件算术需要激活记忆与参数记忆的协同，强调两者结合的重要性。
📝 摘要（中文）
在测试阶段，大型语言模型（LLMs）能够通过激活记忆（KV缓存）和参数记忆（更新参数）编码历史信息。尽管激活记忆通常被认为在事实回忆中有效，而参数记忆则用于学习新任务，但两者的相互作用尚不明确。本文通过控制实验系统地研究了记忆在少样本学习中的作用，发现激活记忆在回忆事实方面表现优越，而参数记忆在任务学习中并不总是优于激活记忆。此外，实验表明复合任务条件算术需要两种记忆类型的协同作用。通过神经元级分析，发现模型在通过激活记忆与参数记忆访问相同历史信息时激活了不同的神经元集合，结合两种记忆类型时，模型从两个集合中招募神经元，这对解决条件算术至关重要。这些发现表明，单一记忆机制不足以完成该复合任务，强调了它们协作的重要性。
🔬 方法详解
问题定义：本文旨在解决激活记忆与参数记忆在少样本学习中的相互作用不明确的问题。现有方法未能充分利用这两种记忆机制，导致学习效果不理想。
核心思路：通过控制实验系统地分析激活记忆与参数记忆在任务学习中的作用，探索两者的协同效应，以提升少样本学习的性能。
技术框架：研究采用实验设计，比较激活记忆与参数记忆在不同任务中的表现，特别关注复合任务条件算术的解决过程。主要模块包括记忆机制的激活、神经元的选择和任务执行。
关键创新：论文的创新点在于揭示了激活记忆与参数记忆在处理相同历史信息时激活不同神经元集合的现象，强调了两者结合在解决复杂任务中的必要性。
关键设计：实验中对模型的神经元激活进行了细致分析，关注不同记忆机制下的神经元选择，确保模型能够有效整合两种记忆类型以完成条件算术任务。具体参数设置和损失函数设计未详细披露，需进一步研究。
🖼️ 关键图片
📊 实验亮点
实验结果显示，激活记忆在事实回忆中表现优越，而参数记忆在任务学习中并不总是优于激活记忆。复合任务条件算术的解决需要两种记忆的协同，强调了记忆机制结合的重要性，推动了少样本学习的研究进展。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和机器人学习等。通过优化记忆机制的协同作用，可以提升模型在少样本学习中的表现，推动智能系统在复杂任务中的应用，具有重要的实际价值和未来影响。
📄 摘要（原文）
At test time, large language models (LLMs) can encode historical information in activation memory (i.e., KV caches) and parametric memory (i.e., updated parameters). While activation memory is generally considered effective for factual recall and parametric memory for learning new tasks, their interplay remains unclear. In this work, we systematically investigate the role of memory in few-shot learning through controlled experiments. We find that activation memory is superior for recalling facts, whereas parametric memory does not consistently outperform activation memory in task learning. Moreover, our experiments show that the composite task, Conditional Arithmetic, requires the synergy of both memory types. Through neuron-level analysis, we find that the model activates distinct sets of neurons when accessing the same historical information through activation versus parametric memory. When both memory types are combined, the model recruits neurons from both sets, which is crucial for solving Conditional Arithmetic. These findings suggest that neither memory mechanism alone is sufficient for this composite task, highlighting the importance of their collaboration.