EpiCon: Collective Agent Learning through Co-Evolving Multimodal Memory
作者: Ziyun Zeng, Hang Hua, Shaden Alshammari, Rogerio Feris, William T. Freeman, Jiebo Luo
分类: cs.CV
发布日期: 2026-09-29
备注: Preprint
💡 一句话要点
提出EpiCon框架以解决多智能体经验共享问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体学习 经验共享 多模态记忆 智能体协作 机器学习
📋 核心要点
- 现有方法在不同智能体之间共享经验时面临困难，无法有效利用彼此的学习成果。
- EpiCon通过共享的多模态记忆框架，允许智能体在不更新模型参数的情况下进行集体学习。
- 实验结果表明，EpiCon在多个基准测试中提升了1.7到4.9分，并显著减少了内存操作时间。
📝 摘要（中文）
智能体可以从过去的执行中学习，但不同智能体之间共享和构建彼此经验的能力仍然面临挑战。本文提出EpiCon，一个共享的多模态记忆框架，旨在实现智能体的集体学习，而无需更新主模型参数。EpiCon通过两个独立训练的2B模型——记忆控制器和树自组织器，将问题级记忆演化与持久经验库相连接。控制器在多次尝试中共同优化文本指导和视觉证据，并选择性地包含视觉记忆。自组织器则以层次方式整合经验教训，并为新问题检索经验和规则。我们在四个多模态任务领域的十一项基准上评估了EpiCon，结果显示其在多个配置下显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决智能体之间经验共享的困难，现有方法无法有效整合不同智能体的学习成果，限制了集体学习的潜力。
核心思路：EpiCon框架通过建立一个共享的多模态记忆库，使得不同智能体能够在不更新主模型参数的情况下，利用和积累彼此的经验，从而提升学习效率。
技术框架：EpiCon的整体架构包括两个主要模块：记忆控制器和树自组织器。记忆控制器负责优化文本和视觉信息的整合，而树自组织器则负责经验的层次整合和检索。
关键创新：EpiCon的创新在于其共享的多模态记忆机制，允许智能体在不干扰主模型的情况下进行经验的积累和共享，这与传统方法的依赖于模型参数更新的方式截然不同。
关键设计：在设计中，记忆控制器和树自组织器均为独立训练的2B模型，确保了系统的灵活性和高效性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EpiCon在四个主机配置下的宏观平均得分提升了1.7到4.9分，相较于无记忆模型显著提高了性能。此外，内存操作时间减少了67%到74%，展示了其在效率上的优势。
🎯 应用场景
EpiCon框架在多智能体系统、机器人协作、智能交通等领域具有广泛的应用潜力。通过有效的经验共享，智能体能够更快速地适应新环境和任务，提高整体系统的智能化水平。未来，该框架可能推动更复杂的多智能体学习系统的发展。
📄 摘要（原文）
Agents can learn from past executions, but enabling different agents to reuse and build on one another's experience remains challenging. We introduce EpiCon, a shared multimodal memory framework for agent collective learning without updating host model parameters. EpiCon links question-level memory evolution to a persistent experience bank through two independently trained 2B models: a memory controller and a tree self-organizer. The controller jointly refines textual guidance and visual evidence across attempts and selectively includes visual memory. The self-organizer consolidates lessons hierarchically and retrieves experience and rules for new problems. We evaluate EpiCon on eleven benchmarks spanning four multimodal task domains, using two harnesses and multiple backbones. A frozen bank improves other systems even with a single solving attempt. A second harness raises the original system's macro-average score by 2.6 points across eleven benchmarks. Across four host configurations, EpiCon improves macro-average scores by 1.7 to 4.9 points over No Memory and reduces memory-operation time by 67\% to 74\% relative to backbone-sized memory models.