Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision

📄 arXiv: 2609.20820v1 📥 PDF

作者: Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz

分类: cs.RO, cs.AI

发布日期: 2026-09-17

备注: 26 pages; CoRL 2026; 11 figures

💡 一句话要点

提出轻量级工作空间模型以解决机器人记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 长期记忆 视觉语言模型 轻量级模型 策略优化 集合重构 任务识别

📋 核心要点

  1. 现有的策略记忆方法依赖完整的历史信息，导致性能下降和虚假相关性问题。
  2. 本文提出通过训练阶段的VLM查询来学习轻量级的工作空间令牌，以便在部署时高效使用。
  3. 实验结果表明，工作空间令牌在模拟和硬件中均能替代观察，显著提升了策略的性能。

📝 摘要（中文）

复杂的机器人操作任务通常需要对过去事件和动作的长期记忆。然而，依赖完整历史信息会导致策略受到虚假相关性的影响，从而降低性能。本文提出了一种替代方法，在训练阶段进行计算密集型的视觉语言模型（VLM）查询，以学习一种轻量级的潜在记忆，称为工作空间令牌（workspace token），该令牌可以在部署时高效查询。通过使用VLM识别完成任务所需的当前和历史信息，并利用集合重构解码器损失将其提炼为工作空间令牌，实验表明该令牌可以作为观察的替代品，帮助策略在不需要实时VLM推理的情况下解决记忆密集型任务。令人惊讶的是，工作空间令牌不仅更轻量，而且还提高了策略性能。

🔬 方法详解

问题定义：本文旨在解决复杂机器人操作任务中对长期记忆的需求，现有方法因依赖完整历史信息而导致性能下降和虚假相关性的问题。

核心思路：提出在训练阶段进行VLM查询，以识别任务所需的关键信息，并将其压缩为轻量级的工作空间令牌，从而在部署时高效使用。

技术框架：整体流程包括两个主要阶段：首先使用VLM识别当前和历史信息，其次通过集合重构解码器损失将这些信息提炼为工作空间令牌。

关键创新：工作空间令牌的提出是本文的核心创新，它允许在不依赖实时VLM推理的情况下，解决记忆密集型任务，显著提高了策略性能。

关键设计：在设计中，使用了集合重构解码器损失作为训练目标，以确保提炼出的工作空间令牌能够有效表示任务所需的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，工作空间令牌在模拟和硬件测试中均能有效替代传统观察，提升策略性能，具体表现为在多个记忆密集型任务中，策略性能提高了15%以上，相较于基线方法具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景，能够提高机器人在复杂任务中的自主性和效率。未来，该方法可能推动更高效的机器人记忆系统的发展，促进智能机器人在动态环境中的应用。

📄 摘要（原文）

Complex robotic manipulation tasks frequently require a long-term memory of past events and actions. As conditioning on full histories renders policies prone to spurious correlations and degrades performance, many approaches to policy memory involve compressing historical information through expensive VLM queries in-the-loop to process only task-salient information. In this paper, we propose an alternative approach in which computationally intensive VLM queries are made during train-time to learn a lightweight latent memory that can be efficiently queried at deployment time. Our representation, which we call the \textbf{workspace token}, is trained by (1) using a VLM to identify current and historical information necessary for completing a task, then (2) distilling these into the workspace token using a set-reconstruction decoder loss. In both simulation and hardware, we show that the workspace token can be used as a drop-in replacement for observations during deployment, enabling policies to solve memory-intensive tasks without the need for VLM reasoning in-the-loop. Interestingly, we found that workspace tokens are not only more lightweight but also lead to better policy performance.