Divide-and-Remember: Recursive Action-Relevant Memory for Long-Horizon VLA Policies

📄 arXiv: 2610.00982v1 📥 PDF

作者: Xuehui Yu, Eason Yu, Meiyi Wang, Haozhe Du, Stefano V. Albrecht, Harold Soh

分类: cs.RO, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出Divide-and-Remember以解决长时间依赖的VLA策略问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 历史依赖 记忆选择 递归方法 条件互信息 机器人操作 长时间任务

📋 核心要点

  1. 现有的记忆方法在处理历史依赖的操作任务时效果不佳，无法有效选择需要记忆的信息。
  2. 本文提出Divide-and-Remember（D&R），通过优化条件互信息来选择与当前观察相关的历史信息。
  3. 在RoboMME基准上，D&R在16个长时间操作任务中实现了最先进的成功率，且在真实机器人实验中也表现出相同的提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在历史依赖的操作任务中表现不佳，当前观察无法单独决定动作，策略需要记忆历史。现有记忆方法通过设计决定记忆内容，效果在不同任务中不一致。本文将记忆选择视为优化问题，提出Divide-and-Remember（D&R），一种递归记忆方法，学习记忆函数并支持长上下文，同时保持计算轻量。D&R在RoboMME基准上实现了最先进的平均成功率，并在64个令牌的预算下在所有四个任务套件中获得一致的提升。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作（VLA）模型在历史依赖操作任务中的记忆选择问题。现有方法通常通过设计来决定记忆内容，导致在不同任务中的效果不一致。

核心思路：本文提出的D&R方法将记忆选择视为优化问题，旨在最大化当前观察下动作与记忆之间的条件互信息，从而保留与当前观察无关的历史信息。

技术框架：D&R方法包括两个主要策略：首先，将全历史的选择递归地划分为子问题，进行固定大小的轻量选择；其次，所有递归块共享一个选择器，以提高效率。

关键创新：D&R的核心创新在于其递归记忆结构和条件互信息优化策略，与现有方法相比，能够有效处理长历史信息并保持计算效率。

关键设计：D&R方法通过学习记忆函数m_t = M(h_t)来实现记忆选择，采用固定大小的选择器，支持无限历史，同时在64个令牌的预算下实现高效计算。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboMME基准测试中，D&R方法在16个长时间操作任务中实现了最先进的平均成功率，且在64个令牌预算下在所有四个任务套件中均获得一致的性能提升，显示出其优越性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化控制和人机交互等。通过提高VLA模型在历史依赖任务中的表现，D&R方法能够推动智能机器人在复杂环境中的自主决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) models struggle on history-dependent manipulation tasks, where the current observation alone does not determine the action, and the policy needs a memory of the history. Existing memory methods decide what to remember by design, for example, keeping frames with large pixel changes, and show inconsistent gains across tasks. We view what to remember as an optimisation problem. From the POMDP formulation of imitation learning, we show that the optimal memory maximises the conditional mutual information $I(a_t; m_t \mid o_t)$ between the action and the memory given the current observation. Intuitively, this means preserving the action-relevant information in the history that is not already contained in the current observation. Based on our analysis, we propose Divide-and-Remember (D&R), a recursive memory method that learns a memory function $m_t = M(h_t)$ and scales to long contexts while staying compute-light. It involves two strategies: (1) the selection over the full history is divided recursively into subproblems of top-$K$ selection over $2K$ tokens, so that fixed-size, lightweight selectors learned end-to-end support an unbounded history; (2) all recursion blocks share one selector, which captures the selection rule common to every block and keeps the method efficient. On RoboMME, a benchmark of 16 long-horizon manipulation tasks that require remembering when, where, what, and how to act, D&R achieves a state-of-the-art average success rate with consistent gains across all four suites under a budget of only 64 tokens; real-robot experiments show the same gain. Code, checkpoints and more results are at https://dnr-memory.github.io/