Data-Free Continual Learning for World Action Model with Rectified Generative Replay

📄 arXiv: 2610.18038v1 📥 PDF

作者: Kaipeng Fang, Hangxu Liu, Chaojian Shi, Yunsong Zhou, Hongzi Zhu, Minyi Guo, Jingkuan Song, Lianli Gao

分类: cs.RO, cs.CV

发布日期: 2026-10-13

💡 一句话要点

提出R²-WAM以解决机器人任务遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 持续学习 经验重放 自回归生成 机器人任务适应

📋 核心要点

  1. 现有的世界动作模型在连续微调时容易遗忘之前学习的任务，尤其在机器人领域，训练数据通常不可用。
  2. 本文提出了R²-WAM，通过自回归生成以前任务的回放，结合代理评估器来解决任务完成识别和生成动作漂移的问题。
  3. 实验结果显示，R²-WAM在多个任务中减少了90%以上的遗忘，几乎达到了使用真实数据的经验重放效果。

📝 摘要（中文）

世界动作模型（WAM）基于预训练的视频生成模型，能够快速适应新的机器人任务，但在连续微调过程中容易遗忘之前学习的任务。经验重放（ER）可以通过重演以前任务的数据来减轻遗忘，但在机器人领域，训练数据通常不可用。本文探讨了WAM是否能够通过自我再生过去的经验实现无数据的持续学习。研究表明，WAM能够自回归生成以前任务的完整回放，并通过生成回放来减轻遗忘。为了解决生成回放中的问题，提出了R²-WAM，通过代理评估器截断生成回放，并过滤掉与观察不一致的回放。实验结果表明，R²-WAM在四个LIBERO套件和五个实际任务中，相较于顺序微调减少了90%以上的遗忘，几乎与ER相当。

🔬 方法详解

问题定义：本文旨在解决世界动作模型在连续学习中遗忘之前任务的问题。现有方法依赖于经验重放，但在机器人领域，训练数据通常不可用，导致遗忘严重。

核心思路：论文提出R²-WAM，通过自回归生成以前任务的回放，利用代理评估器识别任务完成，并过滤不一致的生成动作，以此实现无数据的持续学习。

技术框架：R²-WAM的整体架构包括生成模型、代理评估器和回放模块。生成模型负责生成任务回放，代理评估器用于判断任务是否完成，回放模块则负责选择有效的回放数据。

关键创新：R²-WAM的核心创新在于引入代理评估器来截断生成回放，并过滤出与观察不一致的动作。这一设计显著提升了生成回放的有效性，解决了传统生成方法中的任务完成识别和动作漂移问题。

关键设计：在模型设计中，采用了自回归生成策略，并设置了特定的损失函数来优化生成质量。同时，代理评估器的设计确保了生成回放的物理一致性，提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，R²-WAM在四个LIBERO套件和五个实际任务中，相较于顺序微调减少了90%以上的遗忘，几乎达到了使用真实数据的经验重放效果。这一显著提升展示了R²-WAM在无数据持续学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人自主学习、智能制造和人机协作等场景。通过实现无数据的持续学习，R²-WAM能够帮助机器人在动态环境中快速适应新任务，减少对历史数据的依赖，从而提升机器人在实际应用中的灵活性和效率。

📄 摘要（原文）

World action models (WAMs) built on pretrained video generation models adapt quickly to new robotic tasks, but they forget previously learned tasks under sequential fine-tuning. Experience replay (ER) mitigates such forgetting by rehearsing data of previous tasks, yet this data is often unavailable in robotics, where a policy is deployed as weights only and its training data is not shared along with it. In this work, we ask whether a WAM can achieve data-free continual learning by regenerating its own past. Our key observation is that a WAM can indeed autoregressively regenerate complete rollouts of previously learned tasks and replay them to mitigate forgetting. However, replaying such raw rollouts still lags far behind replaying real data, which we attribute to two issues. First, the WAM is unable to recognize task completion and keeps generating purposeless motion after the task is done. Second, under open-loop generation, the generated actions gradually drift away from the generated observations. To address both issues, we present rectified generative replay (R$^2$-WAM), which truncates generated rollouts at task completion with an agentic evaluator and filters out rollouts whose actions are physically inconsistent with the observations. On the four LIBERO suites and five real-world tasks, R$^2$-WAM reduces forgetting by over 90% relative to sequential fine-tuning and nearly matches ER without accessing any data from previous tasks. Our analysis further reveals that forgetting in WAMs concentrates in inverse dynamics modeling: a forgotten WAM still produces visually plausible observations of previous tasks while its generated actions fail.