Dual-Stream Memory for Vision-Language-Action Policies
作者: Yang Wang, Ping Liu, Ruiyu Wang, Xuhua Chen, Lingfeng Zhang, Tao Zhang
分类: cs.RO, cs.CV
发布日期: 2026-10-09
备注: 8 pages, 6 figures, 3 tables. Evaluated on 16 RoboMME tasks and 4 real-world robotic manipulation tasks
💡 一句话要点
提出双流记忆机制以解决视觉-语言-动作策略中的状态跟踪问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双流记忆 视觉-语言-动作 策略学习 机器人操作 动态环境
📋 核心要点
- 现有方法在记忆依赖的操作中难以有效跟踪执行状态，导致无法恢复不可观察的视觉信息。
- 本文提出双流记忆机制，通过Gated DeltaNet和任务条件检索器实现历史信息的压缩与选择性访问。
- 在多个RoboMME任务中，模型的平均成功率显著提高，尤其在真实机器人任务中表现优异，显示出方法的有效性。
📝 摘要（中文）
记忆依赖的操作需要策略跟踪执行状态并恢复不可观察的视觉证据。本文提出了一种双流记忆机制，用于视觉-语言-动作策略，将这些需求分配给互补的表示。一个任务无关的Gated DeltaNet将历史信息压缩为一个时间标记，通过进度预测和动作条件特征重构进行监督。任务条件检索器保留高于固定相关性阈值的帧；线性多尺度融合将每帧编码为十六个空间标记。我们冻结时间压缩器，并联合优化检索和策略学习。在十六个RoboMME任务中，完整模型的平均成功率达到49.22%，而已发布的FrameSamp+Modul参考模型为44.51%，在十四个任务和所有四个套件均值上均有所提升。在四个真实机器人任务中，平均成功率达到62.5%，而参考模型为37.5%，在需要执行阶段区分的重复动作上获得了最大增益。这些结果支持将执行上下文与选择性视觉访问相结合，而在杯子交换下的失败则暴露出持续身份跟踪作为未解决的需求。
🔬 方法详解
问题定义：本文旨在解决记忆依赖操作中策略对执行状态的跟踪和不可观察视觉证据恢复的问题。现有方法在处理这些任务时存在显著的局限性，尤其是在复杂场景下的状态识别和视觉信息恢复方面。
核心思路：论文提出的双流记忆机制通过将历史信息压缩为时间标记，并结合任务条件检索器来选择性访问重要视觉信息，从而提高策略的执行效率和准确性。这样的设计旨在增强模型对动态环境的适应能力。
技术框架：整体架构包括两个主要模块：Gated DeltaNet用于历史信息的压缩，任务条件检索器用于选择性保留重要帧。模型首先通过Gated DeltaNet将历史信息压缩为一个时间标记，然后利用检索器和线性多尺度融合对视觉信息进行处理，最后联合优化检索和策略学习。
关键创新：最重要的技术创新在于双流记忆机制的引入，它有效地将执行上下文与视觉信息结合，提升了策略的执行能力。这与现有方法的单一记忆机制形成了鲜明对比。
关键设计：模型使用了Gated DeltaNet进行历史信息压缩，损失函数包括进度预测和动作条件特征重构，确保模型在学习过程中能够有效捕捉到重要的时间特征和视觉信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，完整模型在十六个RoboMME任务中的平均成功率达到49.22%，相比于基线模型FrameSamp+Modul的44.51%有显著提升。在四个真实机器人任务中，平均成功率达到62.5%，较基线的37.5%提升了25%。这些结果表明该方法在执行阶段区分和状态跟踪方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等场景。通过提高机器人在复杂环境中的执行能力，能够显著提升其在实际任务中的表现，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更智能的机器人系统的发展，增强其在动态环境中的适应性。
📄 摘要（原文）
Memory-dependent manipulation requires a policy to track execution state and recover visual evidence that is no longer observable. We propose dual-stream memory for vision-language-action policies, assigning these requirements to complementary representations. A task-agnostic Gated DeltaNet compresses history into one temporal token, supervised by progress prediction and action-conditioned feature reconstruction. A task-conditioned retriever retains frames above a fixed relevance threshold; linear multi-scale fusion encodes each frame into sixteen spatial tokens. We then freeze the temporal compressor and jointly optimize retrieval and policy learning. Across sixteen RoboMME tasks, the complete model achieves 49.22% mean success versus 44.51% for the published FrameSamp+Modul reference, improving fourteen tasks and all four suite means. On four real-robot tasks, mean success reaches 62.5% versus 37.5%, with the largest gains on repeated actions requiring execution-stage discrimination. These results support combining execution context with selective visual access, while failures under cup swaps expose persistent identity tracking as an unresolved requirement.