Value as Memory: Online Value-Guided Post-training for General Robot Policies
作者: Wenye Yu, Yijin Chen, Kaiyi Xiong, Wenbo Han, Wendi Chen, Yang Jin, Han Xue, Jun Lv, Cewu Lu, Chuan Wen
分类: cs.RO
发布日期: 2026-10-15
💡 一句话要点
提出Value as Memory框架以解决机器人政策在线后训练问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人政策 在线学习 价值缓存 强化学习 长时间任务 自主学习 政策改进
📋 核心要点
- 现有的后训练方法在面对部分可观测性时，动作选择变得模糊不清，且离线方法无法及时利用部署经验。
- 本文提出的VaM框架通过价值缓存和在线更新，结合离线和在线数据，实现了高效的政策适应与改进。
- 实验结果显示，VaM在长时间任务中成功率提升显著，且在线学习的效率远高于传统离线训练方法。
📝 摘要（中文）
现实世界中，通用机器人政策的后训练面临两个主要挑战：部分可观测性导致动作选择模糊，而离线后训练方法延迟了来自部署经验的反馈。本文提出了Value as Memory（VaM）框架，通过价值缓存和在线强化学习（RL）来解决这些挑战。价值缓存将动作条件化于最近的价值预测，作为任务进展的记忆，而在线更新则通过结合离线演示、离线干预和在线回放，实现及时的政策改进。实验结果表明，VaM在涉及可变形物体和接触丰富的操作的长时间任务中，成功率平均提升29.4%，而在线自主学习则比匹配的离线训练提升32.8%。
🔬 方法详解
问题定义：本文旨在解决通用机器人政策在现实世界后训练中的两个主要问题：部分可观测性导致的动作选择模糊，以及离线后训练方法反馈延迟的问题。
核心思路：VaM框架的核心思路是通过价值缓存来记录任务进展的记忆，并结合在线更新机制，及时利用部署经验进行政策改进。
技术框架：VaM的整体架构包括三个主要模块：价值缓存模块、在线更新模块和政策改进模块。价值缓存模块负责存储和管理最近的价值预测，在线更新模块则结合离线演示和在线回放进行政策优化。
关键创新：VaM的关键创新在于将价值预测作为任务进展的记忆，并通过在线学习机制实现了从离线到在线的无缝过渡，这与传统的离线训练方法形成了鲜明对比。
关键设计：在技术细节上，VaM采用了特定的损失函数来优化价值预测，并设计了高效的网络结构以支持快速的在线学习和数据收集。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VaM在长时间任务中成功率平均提升29.4%，而在线自主学习的成功率提升达到32.8%。在相同的梯度步预算下，评估的在线调度执行了8倍的政策迭代，并且每个梯度步的记录时间减少了2倍以上，显示出显著的效率提升。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景。通过提高机器人在复杂环境中的适应能力，VaM框架能够显著提升机器人执行任务的效率和成功率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Real-world post-training of generalist robot policies faces two challenges: partial observability makes action selection ambiguous, while offline post-training methods delay feedback from deployment experience. We present Value as Memory (VaM), a framework that addresses these challenges through value caching and online real-world reinforcement learning (RL). Value caching conditions actions on recent value predictions as task-progress memory, while online updates enable timely policy improvement by combining offline demonstrations, off-policy interventions, and on-policy rollouts for sample-efficient adaptation. As a result, VaM transitions from offline RL warmup to online autonomous learning with sparse rewards. Across long-horizon tasks involving deformable objects and contact-rich manipulation, VaM yields a mean absolute success-rate gain of $29.4\%$ with value caching, while achieving a $32.8\%$ gain with online autonomous learning over matched offline training. The evaluated online schedule performs $8\times$ as many policy iterations under the same gradient-step budget, with more than $2\times$ lower recorded time per gradient step with concurrent data collection and training.