Multimodal Filesystem Memory For Long-Horizon Embodied Agents
作者: Chloe Su, Jiahan Li, Zhenting Qi, Chaoran Cheng, Haoyu Chen, Sejoon Jun, Weirui Ye, Yilun Du
分类: cs.CL
发布日期: 2026-10-15
💡 一句话要点
提出多模态文件系统记忆以解决长时间交互中的经验重用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间交互 多模态记忆 智能体学习 经验重用 任务执行
📋 核心要点
- 现有方法在长时间交互中难以有效重用经验，导致智能体的表现受限。
- 本文提出的MFM架构通过多模态记忆系统，结合情节、空间、语义和程序记忆，提升了经验的存储与检索能力。
- 在Minecraft和CUABench-KiCad任务中，MFM显著提高了智能体的任务完成率和平均奖励，展示了其有效性。
📝 摘要（中文）
在长时间交互中，智能体需要有效的记忆系统以便重用经验。保留整个交互历史会导致相关经验难以查找，而将其压缩为摘要可能会丢失必要的视觉和空间细节。本文提出了多模态文件系统记忆（MFM）架构，包含多种类型的智能体记忆：情节记忆存储观察、动作和结果，空间记忆将经验与位置关联，语义和程序记忆构建一般知识和可重用的行动方法，工作记忆则保持当前计划。MFM利用可搜索的文本记录连接不同的表示形式，智能体能够通过上下文线索找到以前的经验，并检查原始观察以恢复文本描述中缺失的细节。实验表明，在长时间的Minecraft和计算机使用任务中，MFM显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决智能体在长时间交互中如何有效重用经验的问题。现有方法往往无法平衡经验的完整性与检索的效率，导致智能体在复杂任务中表现不佳。
核心思路：MFM架构通过整合多种记忆类型，允许智能体在长时间交互中保留和检索丰富的经验信息。通过将经验与上下文线索关联，智能体能够更灵活地访问所需信息。
技术框架：MFM包含四个主要模块：情节记忆（存储观察、动作和结果）、空间记忆（将经验与位置关联）、语义和程序记忆（构建知识和行动方法）、工作记忆（保持当前计划）。这些模块通过可搜索的文本记录相互连接。
关键创新：MFM的创新在于其多模态记忆的整合能力，使得智能体能够在复杂任务中有效地检索和利用经验。这种设计与传统的单一记忆结构形成鲜明对比，显著提升了智能体的表现。
关键设计：MFM的设计包括对记忆模块的优化，使其能够快速检索和更新信息。此外，采用了特定的损失函数来平衡不同记忆模块之间的信息流动，确保智能体在任务执行中保持高效的记忆管理。
🖼️ 关键图片
📊 实验亮点
在实验中，MFM在Minecraft的'Mine Diamond from Scratch'任务中达到了16个里程碑，而最佳基线仅为12.7。在CUABench-KiCad任务中，MFM的平均奖励为0.440，显著高于最佳基线的0.400和无持久记忆的0.267，展示了其卓越的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、游戏智能体、虚拟助手等。通过提升智能体的记忆能力，MFM可以在复杂环境中实现更高效的决策和任务执行，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Agents operating over long horizons need an effective memory that allows them to reuse their experience throughout long interactions. If the entire history of an interaction is retained, it becomes difficult to find the relevant experience, while compressing it into summaries may result in the loss of visual and spatial details that are required later on. We present \textbf{MFM}, a multimodal filesystem memory architecture that keeps complementary types of agent memory. \textbf{Episodic memory} stores the observations, actions, and outcomes, and \textbf{spatial memory} associates experiences with locations. \textbf{Semantic and procedural memory} build up general knowledge and reusable methods of acting, and \textbf{working memory} holds the current plans. MFM makes use of searchable textual records to connect these different representations to the underlying multimodal episodes. The agents are able to find previous experiences by means of contextual cues and to examine the original observations in order to recover details that are missing from their textual descriptions. Through consolidation, the agents convert experience into higher-level knowledge and procedures while still keeping references to the original episodes. In the case of long-horizon Minecraft and computer-use tasks, MFM leads to improved performance with three base models. With GPT-6-Astra, MFM completes \emph{Mine Diamond from Scratch} and reaches 16 out of 24 milestones on the \emph{Ender Dragon} task, as against 12.7 for the best baseline. On CUABench-KiCad it attains a mean reward of 0.440, as compared to 0.400 for the best baseline and 0.267 in the case of no persistent memory.