Gamma: Grounded Multi-Agent Memory with Mechanical Audit for Memory-Intensive Manipulation

📄 arXiv: 2610.12793v1 📥 PDF

作者: Yudong Liu, Yueqian Lin, Zijia Tang, Yuxi Zheng, Yuan Li, Shuai Zhang, Yi Li, Taotao Jing, Shuangjun Liu, Dashan Gao, Ning Bi, Jingwei Sun, Yiran Chen, Hai Helen Li

分类: cs.RO

发布日期: 2026-10-08

💡 一句话要点

提出GAMMA以解决记忆密集型操作中的记忆映射问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 记忆密集型操作 双代理系统 空间定位 文本记忆库 机械审计 视觉推理 符号子目标 多模态学习

📋 核心要点

  1. 现有的VLA策略在处理长时间依赖的记忆任务时表现不佳，主要由于记忆映射的困难和数据的马尔可夫特性。
  2. GAMMA通过构建双代理记忆系统，结合空间定位和文本记忆库，解决了记忆与符号子目标之间的映射问题。
  3. 在十六项记忆操作任务中，GAMMA显著提高了性能，接近最优解，并在多个任务中达到了最优水平。

📝 摘要（中文）

现有的预训练视觉-语言-行动（VLA）策略在处理依赖于长时间前观察事件的记忆任务时表现不佳，主要由于其训练数据过于马尔可夫化，且将情节记忆直接映射到行动块上存在困难。本文提出GAMMA（Grounded Multi-Agent Memory with Mechanical Audit），构建了一个协作的双代理记忆系统，通过空间定位的检测工具和文本记忆库，显著提升了在十六项记忆操作任务中的表现，接近甚至达到多个任务的最优水平。

🔬 方法详解

问题定义：本文旨在解决现有VLA策略在记忆密集型操作中无法有效映射长时间依赖的记忆到具体行动的问题。现有方法依赖单一的视觉语言模型（VLM），在处理噪声像素和长时间上下文时表现不佳，导致记忆的失真和错误推理。

核心思路：GAMMA的核心思路是构建一个协作的双代理记忆系统，通过引入空间定位工具和文本记忆库，来有效地将记忆映射到具体的符号子目标上。这样的设计使得系统能够在复杂的视觉环境中更准确地提取和利用关键信息。

技术框架：GAMMA的整体架构包括四个主要模块：空间定位检测工具（SAM-3）、VLM写入器、追加式文本记忆库和VLM推理器。检测工具负责空间定位，写入器将每个重新规划窗口提炼为一行文本，记忆库用于存储这些文本，而推理器则根据记忆库生成下一个子目标。

关键创新：GAMMA的主要创新在于引入了机械审计机制，通过提议-验证的方式来审查每个代理的声明，确保每个决策都基于可靠的视觉证据。这种方法显著提高了记忆的准确性和系统的整体性能。

关键设计：在设计中，GAMMA采用了追加式文本记忆库，确保记忆的不可篡改性。同时，损失函数的设计考虑了记忆的准确性和推理的可靠性，以优化模型的训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在十六项记忆操作任务中，GAMMA显著提高了性能，接近甚至达到多个任务的最优水平。与基线相比，GAMMA在多个任务上实现了显著的性能提升，展示了其在记忆密集型操作中的有效性。

🎯 应用场景

GAMMA的研究成果在多个领域具有广泛的应用潜力，尤其是在机器人操作、自动化控制和智能助手等需要处理复杂记忆任务的场景中。通过提高记忆的准确性和推理能力，GAMMA可以为这些应用提供更高效和可靠的解决方案，推动智能系统的发展。

📄 摘要（原文）

Pretrained vision-language-action (VLA) policies fail on memory tasks, behaviour that depends on events observed long before the current frame, because their training data is overwhelmingly Markov and mapping episodic memory directly to action chunks is hard. Yet the same policy, finetuned once to follow a privileged oracle's grounded-subgoal text, nearly solves these tasks: the difficulty lies entirely in mapping memory to a grounded symbolic subgoal. Existing work entrusts this stage to a single VLM that selects keyframes and reasons over raw frames, and falls far short of the oracle: key identities and dynamics are buried in noisy pixels, the reasoning spans hundreds of frames in an unbounded context, and hallucination corrupts the memory itself. We instead present GAMMA (Grounded multi-Agent Memory with Mechanical Audit), which builds the stage as a collaborating two-agent memory system: a detector tool (SAM-3) for spatial grounding, a VLM writer that distils each replan window into one grounded text line, an append-only text memory bank, and a VLM reasoner that reads the bank and emits the next grounded subgoal at the oracle's cadence, wrapped in a propose-verify harness that admits, defers, corrects, or rejects every agent claim against mechanical visual evidence, at training-corpus construction and at deployment alike. On a sixteen-task memory-manipulation suite GAMMA recovers a large fraction of the oracle ceiling with the policy held fixed, reaching the ceiling on several tasks, and transfers with unchanged contracts to a second benchmark.