CLAG: Adaptive Memory Organization via Agent-Driven Clustering for Small Language Model Agents

📄 arXiv: 2603.15421v1 📥 PDF

作者: Taeyun Roh, Wonjune Jang, Junha Jung, Jaewoo Kang

分类: cs.CL, cs.AI

发布日期: 2026-03-16

💡 一句话要点

CLAG：基于Agent驱动聚类的自适应记忆组织，提升小语言模型Agent性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小语言模型 Agent 记忆系统 聚类 知识管理 自适应记忆组织 信息检索

📋 核心要点

  1. 现有记忆系统将所有经验存储在单一检索池中，导致知识稀释和干扰，尤其对小语言模型（SLM）影响显著。
  2. CLAG通过SLM Agent驱动的聚类，将记忆组织成语义连贯的集群，并生成集群配置文件，实现局部演化和高效检索。
  3. 实验结果表明，CLAG在多个QA数据集上显著提高了SLM Agent的答案质量和鲁棒性，同时保持了轻量级和高效性。

📝 摘要（中文）

大型语言模型Agent严重依赖外部记忆来支持知识复用和复杂的推理任务。然而，大多数记忆系统将经验存储在单一的全局检索池中，这可能会逐渐稀释或破坏存储的知识。对于小语言模型（SLM）来说，这个问题尤其突出，因为它们极易受到无关上下文的影响。我们提出了CLAG，一个基于聚类的Agent记忆框架，其中SLM Agent通过聚类主动组织记忆。CLAG采用SLM驱动的路由器将传入的记忆分配到语义连贯的集群，并自主生成集群特定的配置文件，包括主题摘要和描述性标签，从而将每个集群建立为一个独立的单元。通过在这些结构化邻域内执行局部演化，CLAG有效地减少了跨主题干扰并增强了内部记忆密度。在检索过程中，该框架采用两阶段过程，首先通过集群配置文件过滤相关集群，从而排除干扰项并减少搜索空间。在多个QA数据集上使用三个SLM骨干网络的实验表明，CLAG始终如一地提高了答案质量和鲁棒性，并且保持了轻量级和高效性。

🔬 方法详解

问题定义：现有语言模型Agent的记忆系统通常采用单一全局检索池，这导致存储的知识容易被稀释或被无关信息干扰，尤其对于参数量较小的小语言模型（SLM）来说，这个问题更加严重，因为SLM更容易受到上下文噪声的影响。因此，如何有效地组织和管理Agent的记忆，减少干扰，提高知识密度，是本文要解决的核心问题。

核心思路：本文的核心思路是利用SLM Agent自身的能力，通过聚类的方式将记忆组织成多个语义相关的集群。每个集群代表一个特定的主题或领域，并由SLM Agent生成相应的配置文件（包括主题摘要和标签）。这样，在检索时，可以先根据配置文件过滤掉不相关的集群，从而缩小搜索范围，提高检索效率和准确性。这种局部化的记忆管理方式可以有效减少跨主题的干扰，提高记忆密度。

技术框架：CLAG框架主要包含以下几个模块：1) 记忆路由模块：使用SLM Agent作为路由器，将新产生的记忆分配到最相关的集群中。2) 集群管理模块：负责维护每个集群的记忆，并定期更新集群的配置文件（主题摘要和标签）。3) 记忆检索模块：采用两阶段检索策略，首先根据集群配置文件过滤掉不相关的集群，然后在相关集群中进行检索。

关键创新：CLAG的关键创新在于利用SLM Agent自身的能力来组织和管理记忆。与传统的记忆系统不同，CLAG不是简单地将所有记忆存储在一个全局池中，而是通过聚类的方式将记忆组织成多个语义相关的集群。这种Agent驱动的自适应记忆组织方式可以有效减少跨主题的干扰，提高记忆密度，并提高检索效率和准确性。

关键设计：在记忆路由模块中，使用SLM Agent计算新记忆与各个集群配置文件之间的相似度，并将记忆分配到相似度最高的集群中。集群配置文件由SLM Agent根据集群内的记忆自动生成，包括主题摘要和描述性标签。在检索模块中，采用余弦相似度来衡量查询与集群配置文件之间的相关性，并设置一个阈值来过滤掉不相关的集群。具体的参数设置和损失函数细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CLAG在多个QA数据集上显著提高了SLM Agent的答案质量和鲁棒性。例如，在使用EleutherAI/pythia-70m作为backbone时，CLAG在某些数据集上相比基线方法提升了超过10%。此外，CLAG还保持了轻量级和高效性，使其能够适用于资源受限的场景。

🎯 应用场景

CLAG框架可以应用于各种需要长期记忆和复杂推理的Agent系统中，例如智能助手、对话系统、机器人等。通过有效地组织和管理Agent的记忆，CLAG可以提高Agent的知识复用能力和推理能力，使其能够更好地完成各种任务。未来的研究方向包括探索更有效的聚类算法、更智能的集群配置文件生成方法，以及将CLAG应用于更复杂的Agent系统中。

📄 摘要（原文）

Large language model agents heavily rely on external memory to support knowledge reuse and complex reasoning tasks. Yet most memory systems store experiences in a single global retrieval pool which can gradually dilute or corrupt stored knowledge. This problem is especially pronounced for small language models (SLMs), which are highly vulnerable to irrelevant context. We introduce CLAG, a CLustering-based AGentic memory framework where an SLM agent actively organizes memory by clustering. CLAG employs an SLM-driven router to assign incoming memories to semantically coherent clusters and autonomously generates cluster-specific profiles, including topic summaries and descriptive tags, to establish each cluster as a self-contained functional unit. By performing localized evolution within these structured neighborhoods, CLAG effectively reduces cross-topic interference and enhances internal memory density. During retrieval, the framework utilizes a two-stage process that first filters relevant clusters via their profiles, thereby excluding distractors and reducing the search space. Experiments on multiple QA datasets with three SLM backbones show that CLAG consistently improves answer quality and robustness over prior memory systems for agents, remaining lightweight and efficient.