Dual-Cluster Memory Agent: Resolving Multi-Paradigm Ambiguity in Optimization Problem Solving

📄 arXiv: 2604.20183v1 📥 PDF

作者: Xinyu Zhang, Yuchen Wan, Boxuan Zhang, Zesheng Yang, Lingling Zhang, Bifan Wei, Jun Liu

分类: cs.CL

发布日期: 2026-04-22

💡 一句话要点

提出双簇记忆代理（DCM-Agent），解决优化问题中多范式歧义性难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 优化问题 结构性歧义 双簇记忆 知识继承

📋 核心要点

  1. 大型语言模型在优化问题中存在结构性歧义，导致难以生成有效的解决方案。
  2. DCM-Agent通过构建双簇记忆，提炼历史解决方案中的方法、检查清单和陷阱，从而提供指导知识。
  3. 实验表明，DCM-Agent在多个优化基准测试中实现了显著的性能提升，并展现出知识继承的特性。

📝 摘要（中文）

大型语言模型（LLMs）在优化问题中常常面临结构性歧义的挑战，即单个问题可能存在多个相关但冲突的建模范式，从而阻碍了有效解决方案的生成。为了解决这个问题，我们提出了一种名为双簇记忆代理（DCM-Agent）的方法，通过利用历史解决方案来提升性能，且无需额外的训练。该方法的核心在于双簇记忆构建，它将历史解决方案分配到建模和编码簇中，然后将每个簇的内容提炼为三种结构化类型：方法、检查清单和陷阱。这个过程可以推导出可泛化的指导知识。此外，该代理引入了记忆增强推理，以动态地导航解决方案路径，检测和修复错误，并利用结构化知识自适应地切换推理路径。在七个优化基准测试上的实验表明，DCM-Agent实现了平均11%-21%的性能提升。值得注意的是，我们的分析揭示了一种“知识继承”现象：由较大模型构建的记忆可以指导较小模型获得更优越的性能，突出了该框架的可扩展性和效率。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在优化问题中遇到的结构性歧义问题。具体来说，同一个优化问题可能存在多种建模方式，这些方式之间存在关联但又相互冲突，导致LLM难以选择合适的建模范式并生成有效的解决方案。现有方法通常缺乏对历史解决方案的有效利用，无法充分学习不同建模范式的优缺点，从而限制了性能的提升。

核心思路：论文的核心思路是构建一个双簇记忆代理（DCM-Agent），该代理能够有效地存储和利用历史解决方案中的知识。通过将历史解决方案分配到建模和编码两个簇中，DCM-Agent能够区分不同建模范式，并学习每种范式的优缺点。然后，DCM-Agent将每个簇的内容提炼为三种结构化类型：方法、检查清单和陷阱，从而将知识进行泛化，以便更好地指导未来的解决方案生成。

技术框架：DCM-Agent的整体框架包括以下几个主要模块：1) 双簇记忆构建：将历史解决方案分配到建模和编码簇中。2) 知识提炼：将每个簇的内容提炼为方法、检查清单和陷阱三种结构化类型。3) 记忆增强推理：利用结构化知识动态地导航解决方案路径，检测和修复错误，并自适应地切换推理路径。

关键创新：论文最重要的技术创新点在于双簇记忆的构建和知识提炼。通过将历史解决方案分配到不同的簇中，DCM-Agent能够区分不同的建模范式，并学习每种范式的优缺点。然后，通过将每个簇的内容提炼为结构化知识，DCM-Agent能够将知识进行泛化，以便更好地指导未来的解决方案生成。此外，记忆增强推理也能够有效地利用结构化知识，从而提高解决方案的质量。

关键设计：论文的关键设计包括：1) 如何将历史解决方案分配到建模和编码簇中（例如，基于语义相似度）。2) 如何将每个簇的内容提炼为方法、检查清单和陷阱（例如，使用LLM进行总结和归纳）。3) 如何利用结构化知识进行记忆增强推理（例如，使用知识图谱或注意力机制）。具体的参数设置、损失函数和网络结构等技术细节在论文中可能没有详细描述，需要进一步查阅论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DCM-Agent在七个优化基准测试中实现了平均11%-21%的性能提升。更重要的是，研究揭示了“知识继承”现象，即由较大模型构建的记忆可以指导较小模型获得更优越的性能，这表明DCM-Agent具有良好的可扩展性和效率。

🎯 应用场景

该研究成果可应用于各种优化问题求解领域，例如运筹优化、组合优化、机器学习模型优化等。通过利用历史解决方案中的知识，DCM-Agent能够提高求解效率和质量，降低对人工经验的依赖。未来，该方法有望推广到更广泛的AI应用场景，例如智能决策、自动规划等。

📄 摘要（原文）

Large Language Models (LLMs) often struggle with structural ambiguity in optimization problems, where a single problem admits multiple related but conflicting modeling paradigms, hindering effective solution generation. To address this, we propose Dual-Cluster Memory Agent (DCM-Agent) to enhance performance by leveraging historical solutions in a training-free manner. Central to this is Dual-Cluster Memory Construction. This agent assigns historical solutions to modeling and coding clusters, then distills each cluster's content into three structured types: Approach, Checklist, and Pitfall. This process derives generalizable guidance knowledge. Furthermore, this agent introduces Memory-augmented Inference to dynamically navigate solution paths, detect and repair errors, and adaptively switch reasoning paths with structured knowledge. The experiments across seven optimization benchmarks demonstrate that DCM-Agent achieves an average performance improvement of 11%- 21%. Notably, our analysis reveals a ``knowledge inheritance'' phenomenon: memory constructed by larger models can guide smaller models toward superior performance, highlighting the framework's scalability and efficiency.