Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

📄 arXiv: 2610.13816v1 📥 PDF

作者: Bahey Tharwat, Iman Nematollahi, Marvin Alles, Xingyuan Zhang, Akshay L Chandra, Abhinav Valada

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-10-09

💡 一句话要点

提出Dream to Remember以解决机器人策略持续学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 通用机器人策略 持续学习 灾难性遗忘 世界模型 强化学习 想象回放 任务适应 机器人技术

📋 核心要点

  1. 现有的机器人策略在面对新任务时容易出现灾难性遗忘，导致之前任务的性能下降。
  2. D2R方法通过冻结通用策略并引导其学习新任务，同时利用世界模型回放先前任务，避免了遗忘。
  3. 在CALVIN平台上，D2R在想象中成功提升了任务成功率，从63.7%提高到74.8%，而传统微调方法则降至11.7%。

📝 摘要（中文）

通用机器人策略通过模仿学习进行训练，但受限于演示的质量和覆盖范围。强化学习可以通过微调策略权重或训练小模块来改善这些策略。然而，当任务顺序到达时，这两种方法都面临灾难性遗忘的问题。本文提出的Dream to Remember（D2R）方法，能够在保持早期技能的同时，持续引导冻结的通用策略应对新任务。D2R通过想象回放先前任务，避免了重放缓冲区或新数据的需求，从而在想象中完全学习新任务。实验结果表明，D2R在多个任务上显著提高了成功率，展示了其在实际环境中的有效性。

🔬 方法详解

问题定义：本文旨在解决通用机器人策略在面对新任务时的灾难性遗忘问题。现有方法在微调策略时会导致之前任务性能下降，而仅通过引导模块则会将遗忘转移到共享模块上。

核心思路：D2R通过冻结的通用策略持续引导其学习新任务，同时利用一个预训练的世界模型进行先前任务的想象回放，从而避免了对重放缓冲区或新数据的依赖。

技术框架：D2R的整体架构包括一个冻结的通用策略、一个引导模块和一个世界模型。引导模块负责学习新任务，而世界模型则通过想象回放来保持对先前任务的记忆。

关键创新：D2R的主要创新在于通过想象回放来保持先前任务的技能，而不是依赖于传统的重放缓冲区。这种方法使得策略能够在没有新数据的情况下，持续学习新任务。

关键设计：在D2R中，世界模型的准确性至关重要，设计时需要确保其能够有效地回放先前任务的状态。此外，损失函数的设计也需考虑到新任务学习与旧任务回放之间的平衡。具体的网络结构和参数设置在实验中进行了优化。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

D2R在CALVIN平台上实现了在想象中连续学习八个任务，成功率从63.7%提升至74.8%。相比之下，传统的LoRA微调方法在相同任务序列上成功率降至11.7%。此外，D2R在真实的Franka机器人上也成功实现了任务的连续学习，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和服务机器人等场景。通过实现持续学习，机器人能够在动态环境中适应新任务，提升其工作效率和灵活性。未来，这一方法可能推动机器人在复杂任务中的应用，减少对人工干预的依赖。

📄 摘要（原文）

Generalist robot policies are trained with imitation learning and are bounded by the quality and coverage of their demonstrations. Reinforcement learning can improve and extend them, either by fine-tuning the policy weights or by training a small module to steer the input noise of a frozen generative policy. When tasks arrive sequentially, both approaches suffer from catastrophic forgetting. Fine-tuning on a task degrades prior tasks, and steering only shifts forgetting to the shared steering module. We propose Dream to Remember (D2R), which continually steers a frozen generalist policy toward new tasks, while retaining its earlier skills. As the steering module learns a new task, a frozen pretrained world model rehearses prior tasks through imagined rollouts, anchoring the module to its earlier behavior without a replay buffer or new data. When the world model is faithful enough, D2R learns the new task entirely in imagination. Otherwise, it learns the task in the environment while using the world model only to rehearse prior tasks. On CALVIN, D2R improves eight tasks in sequence entirely in imagination, raising average success from 63.7% to 74.8%, while LoRA fine-tuning on the same sequence drops it to 11.7%. With a frozen off-the-shelf generalist policy and world model, $π_0$ and A2World, D2R learns unseen LIBERO-90 tasks in the environment while keeping $π_0$'s performance on the LIBERO suites it was fine-tuned on, even though the world model is not accurate enough for policy optimization. Finally, on a real Franka robot, D2R improves three tasks in sequence entirely in imagination while retaining the earlier improvements.