When Plans Change, Remember: Replanning-Guided Visual Memory for Vision-Language-Action Models
作者: Victoria Smelova, Daniil Kazachkov, Georgiy Kazantsev, Iuliia Tsvetkova, Egor Cherepanov, Nikita Kachaev, Artem Latyshev, Aleksandr I. Panov, Alexey K. Kovalev
分类: cs.RO, cs.LG
发布日期: 2026-10-15
备注: 20 pages, 8 figures, 6 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出RePlanMem-VLA以解决视觉语言行动模型中的记忆冗余问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言行动 记忆机制 计划修订 机器人技术 多模态学习 任务相关性 冗余抑制
📋 核心要点
- 现有的视觉语言行动模型在长时间任务中面临视觉信息缺失的问题，导致策略执行不稳定。
- RePlanMem-VLA通过将计划修订转化为记忆写入信号，选择性地保留任务相关的视觉信息，降低冗余。
- 实验结果显示，RePlanMem-VLA在记忆保留方面表现优异，100%保留任务相关观察，且检测器的ROC-AUC高达0.997。
📝 摘要（中文）
长时间、多阶段的视觉语言行动（VLA）策略通常需要当前观察中不存在的视觉信息。保留完整的观察历史计算成本高且冗余，因此需要选择性视觉记忆。我们提出了RePlanMem-VLA（基于重规划的VLA关键帧记忆），将策略自身的计划修订转化为在线记忆写入信号。在逐步执行过程中，连续的动作块预测一些相同的未来动作。RePlanMem-VLA将这些时间对齐预测之间的异常大分歧视为任务相关事件的证据。我们首先比较了35种分歧度量，并在预训练的OpenVLA-OFT和$π_{0.5}$策略上验证所选信号。结果表明，检测器的ROC-AUC达到0.981-0.997。我们利用这些信号触发对有界视觉记忆的更新，机器人掩蔽写入过滤器抑制冗余帧。在评估的记忆保留实验中，RePlanMem-VLA在100%的实验中保留了任务相关观察。实际机器人重放数据进一步表明事件选择和冗余抑制超越了仿真。这些结果确立了计划修订作为控制VLA记忆的内部信号。
🔬 方法详解
问题定义：本论文旨在解决长时间、多阶段的视觉语言行动模型中，因视觉信息缺失导致的策略执行不稳定问题。现有方法通常需要保留完整的观察历史，计算成本高且冗余。
核心思路：RePlanMem-VLA的核心思路是将策略的计划修订转化为在线记忆写入信号，通过识别时间对齐预测之间的异常分歧来选择性保留任务相关的视觉信息。
技术框架：该方法的整体架构包括：1) 计划修订检测模块，识别预测之间的分歧；2) 记忆更新模块，根据检测信号更新有界视觉记忆；3) 机器人掩蔽写入过滤器，抑制冗余帧的写入。
关键创新：RePlanMem-VLA的创新在于将计划修订视为内部信号，从而有效控制VLA模型的记忆内容。这一方法与传统的全历史保留策略本质上不同，显著降低了计算冗余。
关键设计：在技术细节上，论文比较了35种分歧度量，并选择了最佳信号用于记忆更新。使用的损失函数和网络结构经过精心设计，以确保在不同任务中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RePlanMem-VLA在记忆保留方面表现出色，100%保留任务相关观察，且检测器的ROC-AUC高达0.981-0.997，显著优于传统方法，展示了其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动化任务执行和人机交互等。通过提高视觉信息的保留效率，RePlanMem-VLA能够在复杂环境中增强机器人决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long-horizon, multi-stage Vision-Language-Action (VLA) policies often require visual information that is no longer present in the current observation. Retaining the complete observation history is computationally expensive and highly redundant, motivating selective visual memory. We introduce RePlanMem-VLA (Replanning-Guided Keyframe Memory for VLA), which turns a policy's own plan revisions into an online memory-write signal. Under receding-horizon execution, consecutive action chunks predict some of the same future actions. RePlanMem-VLA treats unusually large disagreement between these temporally aligned predictions as evidence of a task-relevant event. We first compare 35 disagreement measures across single-task autoregressive decoder-only and Flow-Matching Transformers trained from scratch, then validate the selected signals on pretrained OpenVLA-OFT and $π_{0.5}$ policies over MIKASA-Robo-VLA tasks. The resulting detectors achieve ROC-AUC of 0.981-0.997. We then use the selected signals in RePlanMem-VLA to trigger updates to a bounded visual memory, with a robot-masked write filter suppressing redundant frames. In the evaluated memory-retention experiments, RePlanMem-VLA preserves task-relevant observations until the later decision point in 100% of episodes. Real-robot replay data further show that event selection and redundancy suppression extend beyond simulation. These results establish plan revision as a policy-internal signal for controlling what a VLA remembers. Website: https://vika787.github.io/RePlanMem/.