Beyond Success Rate: Interventional Evaluation of Memory in Vision-Language-Action Systems
作者: Keyuan Luo, Yi Xie, Wanyun Ling, Yuanzhe Li, Ziyue Li, Zhuoqi Zeng
分类: cs.RO, cs.LG
发布日期: 2026-10-16
备注: 41 pages, including references and appendices
💡 一句话要点
提出干预性记忆评估协议以解决视觉-语言-行动系统中的记忆效用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 记忆评估 机器人决策 干预实验 任务成功率 历史信息 智能系统
📋 核心要点
- 现有方法仅依赖成功率消融实验，无法准确评估记忆在视觉-语言-行动系统中的实际作用。
- 论文提出干预性记忆评估协议（IMEP），通过系统性实验探讨记忆的效用及其对任务结果的影响。
- 实验表明，完整的记忆配置将任务成功率从39.1%提升至74.3%，显示历史信息对决策的重要支持作用。
📝 摘要（中文）
当我们说机器人使用记忆时，这种记忆是否真正发挥作用？仅依靠成功率的消融实验无法确立任务相关事实的使用，因为它们同时改变信息和计算，而汇总率可能掩盖相互抵消的增益和损失。本文提出了一种干预性记忆评估协议（IMEP），用于视觉-语言-行动（VLA）系统，旨在回答四个关键问题：记忆是否提供净收益？在什么条件下记忆有帮助？对记忆的改变是否会影响任务结果？这些影响是否特定于任务相关事实？通过比较目标事实替代与保留事实的替代、最小数值扰动和精确复制，评估决策正确性与运动执行成功率的分离。实验结果表明，正确的历史信息能够支持机器人决策，但要确认记忆系统实现这一收益，需要超越汇总成功率的事实特定证据。
🔬 方法详解
问题定义：本文旨在解决如何有效评估视觉-语言-行动系统中记忆的实际作用，现有方法在仅依赖成功率的情况下无法揭示记忆的真实贡献和影响。
核心思路：提出干预性记忆评估协议（IMEP），通过对比不同类型的记忆替代，系统性评估记忆对任务结果的影响，旨在揭示记忆的净收益及其条件。
技术框架：IMEP包括多个实验模块，首先在检索接口比较目标事实替代与保留事实替代，然后评估决策正确性与运动执行成功率，最后通过ChainBench实验探讨记忆在决策中的作用。
关键创新：最重要的创新在于通过干预实验设计，明确区分记忆对任务结果的影响，提供了超越成功率的评估方法，揭示了记忆的条件性效用。
关键设计：在实验中，采用了不同的记忆替代策略，包括目标事实替代、保留事实替代和最小数值扰动，评估过程中分离决策正确性与运动执行成功率，确保结果的准确性。实验还引入了ChainBench，以考察历史信息对决策的支持作用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，完整的记忆配置将任务成功率从39.1%提升至74.3%，与共享记录执行下的理想决策条件相匹配。这一显著提升表明，正确的历史信息能够有效支持机器人决策，强调了记忆系统在任务执行中的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人决策支持系统、智能助手和自动化控制等。通过深入理解记忆在决策中的作用，可以优化系统设计，提高机器人在复杂环境中的自主决策能力，未来可能推动智能机器人在更多实际场景中的应用。
📄 摘要（原文）
When we say that a robot uses memory, does that memory actually play a role? Success-rate ablations alone cannot establish the use of task-relevant facts: they change information and computation together, while aggregate rates can hide offsetting gains and losses. We propose an Interventional Memory Evaluation Protocol (IMEP) for vision-language-action (VLA) systems to address four questions: (1) Does memory provide a net benefit? (2) Under what conditions does memory help? (3) Do changes to memory alter task outcomes? (4) Are these effects specific to task-relevant facts? At the retrieval interface, we compare target-fact substitutions with fact-preserving replacements, minimal numerical perturbations, and exact replicas, while assessing decision correctness separately from motor execution success. We evaluate within-episode, cross-episode, and agentic memory. In cross-episode learned-bank experiments, a one-unit-in-the-last-place (ULP) intervention, including its installation procedure, changes 11.9% of seed-paired outcomes, while changing key facts produces no clear additional effect over fact-preserving replacements. To examine when memory helps, we introduce ChainBench, where correct decisions require historical information unavailable in current observations. The full memory configuration raises task success from 39.1% to 74.3%, matching the oracle-decision condition under shared recorded executions. These results show that correct history can support robot decisions, but establishing whether a memory system realizes this benefit requires fact-specific evidence beyond aggregate success rates.