D$^2$-VLA: Dual-Memory Dual-Frequency Vision-Language-Action Model For Long Dynamic Manipulation

📄 arXiv: 2609.34792v1 📥 PDF

作者: Zijian Ye, Chengqi Wei, Wei Huang, Anlin Zheng, Chunyu Zou, Liangyu Wu, Zikang Zhao, Zhenjie Peng, Yushuo Yang, Shuman Zhao, Zhongrui Wang, Xiaojuan Qi

分类: cs.CV

发布日期: 2026-09-28

备注: 30 pages

💡 一句话要点

提出D$^2$-VLA以解决长时间动态操控中的记忆与响应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间操控 视觉-语言-动作 双重记忆 动态环境 机器人技术

📋 核心要点

  1. 现有的视觉-语言-动作策略在长时间操控中面临记忆不足和对动态物体响应迟缓的问题。
  2. D$^2$-VLA通过双重记忆和双重频率控制，优化了KV缓存接口，提升了对历史信息的利用效率。
  3. 在DOMINO-Long基准测试中，D$^2$-VLA的成功率显著高于现有方法，表明其在动态操控任务中的有效性。

📝 摘要（中文）

长时间操控要求机器人在响应移动物体时，能够记住已不在视野中的线索。然而，现有的视觉-语言-动作（VLA）策略通常依赖最新的观察，刷新视觉上下文通常需要额外的视觉-语言模型（VLM）计算。本文提出D$^2$-VLA，结合了双重记忆和双重频率控制，通过预训练的VLA的KV缓存接口实现。D$^2$-VLA采用块状因果KV缓存逐步编码观察，并通过不同的时间注意力模式，为VLM和动作专家构建独立的历史KV读取视图。在周期性VLM更新之间，门控适配器将新视觉特征融入最新的历史条件KV块，而短期快速记忆队列支持动作重新规划。我们引入了DOMINO-Long，一个要求机器人在操控移动物体时使用早期视觉线索的十任务基准。D$^2$-VLA在DOMINO上的完整任务成功率为29.3%，而$π_{0.5}$和PUMA分别为9.6%和17.2%；在DOMINO-Long上为60.0%，而后者分别为35.4%和20.6%。在八个真实机器人任务上成功率也有所提升，在LIBERO-Long上达到97.5%，在RoboTwin 2.0上为74.3%。

🔬 方法详解

问题定义：本文旨在解决机器人在长时间动态操控中对已不在视野中的线索的记忆与响应能力不足的问题。现有的视觉-语言-动作（VLA）策略通常依赖最新的观察，导致在动态环境中难以有效处理历史信息。

核心思路：D$^2$-VLA的核心思路是结合双重记忆和双重频率控制，通过KV缓存接口逐步编码观察，利用不同的时间注意力模式构建独立的历史KV读取视图，从而提升对历史信息的利用效率。

技术框架：整体架构包括KV缓存模块、门控适配器和短期快速记忆队列。KV缓存模块负责逐步编码观察，门控适配器在周期性VLM更新之间引入新视觉特征，而快速记忆队列则支持动作重新规划。

关键创新：D$^2$-VLA的主要创新在于其块状因果KV缓存的设计，使得机器人能够在不依赖最新观察的情况下，有效利用历史信息进行决策。这与传统方法依赖最新观察的方式形成了本质区别。

关键设计：在设计中，采用了门控适配器来动态整合新旧视觉特征，并设置了短期快速记忆队列以支持实时的动作规划。具体的参数设置和损失函数设计未在摘要中详细说明，需参考论文的具体内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

D$^2$-VLA在DOMINO基准测试中实现了29.3%的完整任务成功率，显著高于$π_{0.5}$的9.6%和PUMA的17.2%。在DOMINO-Long上，成功率达到60.0%，相比之下，$π_{0.5}$和PUMA分别为35.4%和20.6%。在多个真实机器人任务中，成功率也有显著提升，LIBERO-Long达到97.5%，RoboTwin 2.0为74.3%。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造、服务机器人等，能够显著提升机器人在动态环境中的操控能力和适应性。未来，D$^2$-VLA可能推动更复杂的多模态交互和自主决策系统的发展，具有重要的实际价值和影响力。

📄 摘要（原文）

Long-horizon manipulation requires robots to remember cues that are no longer in view while responding to moving objects. Yet vision-language-action (VLA) policies often rely on the latest observation, and refreshing their visual context typically requires another costly vision-language model (VLM) pass. We present D$^2$-VLA, which combines dual memory and dual-frequency control at the KV-cache interface of a pretrained VLA. D$^2$-VLA uses block-wise causal KV caching to encode observations incrementally and, guided by distinct temporal attention patterns, constructs separate historical KV read views for the VLM and action expert. Between periodic VLM updates, a gated adapter incorporates fresh visual features into the latest history-conditioned KV block, while a short fast-memory queue supports action replanning. We introduce DOMINO-Long, a ten-task benchmark requiring robots to use earlier visual cues when manipulating moving objects. D$^2$-VLA achieves complete-task success rates of 29.3\% on DOMINO, compared with 9.6\% for $π_{0.5}$ and 17.2\% for PUMA, and 60.0\% on DOMINO-Long, compared with 35.4\% and 20.6\%, respectively. It improves success rates on eight real-robot tasks and reaches 97.5\% on LIBERO-Long and 74.3\% on RoboTwin 2.0.