Where Memory Belongs: Ledger, an Object Ledger for Memory-Augmented VLAs
作者: Tanguy Dieudonné, Jack B. Jedlicki, Heng Yang
分类: cs.RO
发布日期: 2026-09-28
💡 一句话要点
提出Ledger以解决长时记忆不足的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 记忆增强 视觉-语言-动作 机器人操作 时空记忆 智能规划
📋 核心要点
- 现有的VLA模型在长时记忆的处理上存在不足，无法有效覆盖所有时空维度。
- Ledger通过将短期感知记忆与长期对象记忆分离，优化了策略的记忆结构。
- 在RoboMME上，Ledger的表现优于其他方法，尤其在对象引用和对象持久性方面取得了显著提升。
📝 摘要（中文）
记忆对于长时间、部分观察的机器人操作至关重要。现有的视觉-语言-动作（VLA）模型将记忆嵌入策略中，但在基准测试中显示没有单一的策略机制能够覆盖所有时空维度，远远落后于oracle方法。本文提出Ledger，通过将短期感知记忆与外部时空对象记忆分离，优化了记忆的使用。Ledger在RoboMME上达到了64.3%的四套平均分，显著优于现有最强方法的45.9%。
🔬 方法详解
问题定义：本文旨在解决机器人在长时操作中对记忆的需求，现有方法在处理短期和长期记忆时存在不足，无法有效覆盖所有时空维度。
核心思路：Ledger的核心思想是将短期感知记忆（如重复、时序、回溯）嵌入策略中，而将长期对象记忆（如持久空间状态、包含关系、事件历史）作为外部可读记录，从而优化记忆的使用。
技术框架：Ledger的整体架构包括一个内嵌的帧采样记忆和一个外部的时空对象记忆，后者由SAM3跟踪器和VLM字幕生成器构建，并由LLM规划器在步骤边界进行读取。
关键创新：Ledger的创新在于将短期和长期记忆分离，允许在运行时根据指令和记录选择记忆源，消除了对任务级路由器的需求，这与现有方法的设计有本质区别。
关键设计：在技术细节上，Ledger使用了单一的精调策略$π_{0.5}$，并通过结合内外部记忆模块来提升性能，具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文。
🖼️ 关键图片
📊 实验亮点
Ledger在RoboMME上的表现达到了64.3%的四套平均分，领先于最强的对比方法45.9%。在对象引用和对象持久性方面，Ledger分别达到了60.7%和86.7%的准确率，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化操作和人机交互等。通过优化记忆结构，Ledger能够提升机器人在复杂环境中的操作能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Memory is essential for long-horizon, partially observed robotic manipulation: a robot must remember which object was placed in a drawer, whose cup it moved, or how many action cycles have elapsed. Recent vision-language-action (VLA) models embed memory directly inside the policy, but benchmarks show no single in-policy mechanism covers all spatio-temporal dimensions, trailing oracle methods by a wide margin. We argue that memory type dictates where memory should reside: short-term perceptual memory (repetition, timing, retracing) belongs inside the policy, while long-term object memory (persistent spatial state, containment, event history) belongs outside as an explicit, readable record. We present Ledger, a harness that realizes this split over a single fine-tuned $π_{0.5}$ policy by pairing an in-policy frame-sampling memory with an external spatio-temporal object memory, the ledger, built from a SAM3 tracker and a VLM captioner of the demonstration and read by an LLM planner that decides at step boundaries. On RoboMME, Ledger reaches the highest four-suite average among the evaluated methods, 64.3% (vs. 45.9% for the strongest prior method under identical evaluation), leading object reference (60.7% vs. 40.3%) and object permanence (86.7% vs. 56.2%) using a single set of weights. Choosing the memory source at runtime, from the instruction and the record, removes the need for a task-level router.