Plan First, Act Later: Streaming Reasoning for Executable Memory in Robot Control

📄 arXiv: 2610.29329v1 📥 PDF

作者: Qinghang Liu, Conglin Wang, Zongsheng Li, Boyong He, Han Gao, Pengcheng Wang, Tao Sun, Lige Liu, Chang Liu

分类: cs.RO

发布日期: 2026-10-21

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PAL框架以解决长时间机器人操控中的记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间操控 层次化记忆 视觉-语言模型 机器人控制 任务相关记忆

📋 核心要点

  1. 现有的记忆增强策略在长时间操控中面临推理负担过重的问题，影响机器人执行复杂任务的能力。
  2. 本文提出的PAL框架通过层次化记忆结构，结合短期视觉缓冲和语义事件记忆，有效减少了执行时的推理负担。
  3. 在RoboMME基准测试中，PAL的成功率达到56.05%，在实际操控任务中整体成功率为60.83%，显著优于现有基线方法。

📝 摘要（中文）

长时间的机器人操控要求机器人记住超出短期观察窗口的任务相关信息。现有的增强记忆策略通常在执行时从历史中检索相关信息并进行推理，这给高层模型带来了沉重的推理负担。为了解决这一挑战，本文提出了PAL（Plan first, Act Later）框架，旨在通过层次化的记忆结构来提升视觉-语言机器人操控的能力。该框架维护短期视觉缓冲区、语义事件记忆和可执行的子任务列表。在执行时，高层视觉-语言模型从子任务列表中选择当前相关的子任务，并将其传递给低层视觉-语言-动作策略。通过两阶段数据生成程序，模型能够更好地学习何时更新记忆。实验结果表明，PAL在多个基准测试和实际操控任务中表现优异，成功率显著高于现有方法。

🔬 方法详解

问题定义：本文旨在解决长时间机器人操控中，机器人需要记住超出短期观察窗口的任务相关信息的问题。现有方法在执行时需从历史中检索信息，导致高层模型的推理负担过重。

核心思路：PAL框架通过层次化的记忆结构，维护短期视觉缓冲、语义事件记忆和可执行的子任务列表，优化了信息的存储与检索过程，从而提升了机器人在复杂任务中的执行能力。

技术框架：PAL框架包括三个主要模块：短期视觉缓冲区用于存储当前视觉信息，语义事件记忆用于存储任务相关的语义信息，以及可执行的子任务列表，供高层模型选择和执行。高层视觉-语言模型将流式视觉观察转化为子任务列表，低层视觉-语言-动作策略负责执行选定的子任务。

关键创新：PAL的创新之处在于其层次化的记忆结构和两阶段数据生成程序。通过主动写入未来相关的子任务到记忆中，显著提高了长时间视觉推理和机器人控制的能力。

关键设计：模型采用两阶段数据生成程序，首先扩展稀疏更新监督，然后通过任务基础验证进行自标注，以生成更符合执行状态分布的训练数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboMME基准测试中，PAL的成功率为56.05%，超越了最强基线FrameSamp-Modul的44.51%。在实际操控任务中，PAL整体成功率达到60.83%，显著高于MemER（45.00%）和FrameSamp-Modul（28.33%），展示了其在长时间视觉推理中的优势。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人以及智能家居设备等。通过提升机器人在复杂任务中的操控能力，PAL框架能够在实际应用中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Long-horizon robot manipulation requires a robot to remember task-relevant information beyond its short observation window. Existing memory-augmented policies typically retrieve relevant information from history and reason over it at execution time, placing a heavy reasoning burden on the high-level model. To address this challenge, we propose PAL (\textbf{P}lan first, \textbf{A}ct \textbf{L}ater), a hierarchical memory framework for vision-language robot manipulation. It maintains a short-term visual buffer, a semantic-event memory, and an executable \texttt{subtask_list}. A high-level vision-language model (VLM) converts streaming visual observations into the \texttt{subtask_list}. At execution time, the VLM selects the currently relevant subtask from the \texttt{subtask_list} and passes it to a low-level vision-language-action (VLA) policy. To teach the model what to write to memory and when to update it, we introduce a two-stage data generation procedure that first expands sparse update supervision and then uses self-labeling with task-grounded verification to generate training data that better match the state distribution encountered during execution. We evaluate our approach on memory-dependent benchmarks and real-world manipulation tasks. On RoboMME, PAL achieves a \textbf{56.05\%} success rate, outperforming the strongest baseline, FrameSamp-Modul, at 44.51\%. In real-world experiments across four manipulation tasks, \pal{} reaches \textbf{60.83\%} overall success, surpassing MemER (45.00\%) and FrameSamp-Modul (28.33\%). These results show that proactively writing future-relevant subtasks into hierarchical memory improves long-horizon visual reasoning and robot control. Code and videos can be found on our website: https://qinghangliu.github.io/pal-webpage/