Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment

📄 arXiv: 2603.10929v1 📥 PDF

作者: Fanqi Yu, Matteo Tiezzi, Tommaso Apicella, Cigdem Beyan, Vittorio Murino

分类: cs.CV, cs.RO

发布日期: 2026-03-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态潜在回放与增量调整的终身模仿学习框架，提升策略持续优化能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 终身学习 模仿学习 多模态学习 经验回放 机器人学习

📋 核心要点

  1. 现有模仿学习方法在处理连续任务时，面临灾难性遗忘和数据存储效率低下的挑战。
  2. 该方法提出在多模态潜在空间进行经验回放，并引入增量特征调整机制，保持任务间的区分性。
  3. 实验结果表明，该方法在LIBERO基准测试中显著提升了性能，并有效减少了遗忘现象。

📝 摘要（中文）

本文提出了一种终身模仿学习框架，该框架能够在实际的内存和数据约束下，跨越连续的任务进行持续的策略优化。我们的方法不同于传统的经验回放，它完全在多模态潜在空间中运行，其中视觉、语言和机器人状态信息的紧凑表示被存储和重用，以支持未来的学习。为了进一步稳定适应过程，我们引入了一种增量特征调整机制，该机制通过角度裕度约束来规范任务嵌入的演变，从而保持任务间的区分度。我们的方法在LIBERO基准测试中建立了新的技术水平，在AUC方面实现了10-17个百分点的提升，并且与之前的领先方法相比，遗忘减少了高达65%。消融研究证实了每个组件的有效性，显示出相对于替代策略的一致增益。代码可在https://github.com/yfqi/lifelong_mlr_ifa 获取。

🔬 方法详解

问题定义：现有的模仿学习方法在终身学习场景下，面临着灾难性遗忘的问题，即在学习新任务时，会忘记之前学习过的任务。此外，传统经验回放方法需要存储大量的原始数据，效率较低，难以满足实际应用中的内存和数据约束。

核心思路：本文的核心思路是在多模态潜在空间中进行经验回放，并引入增量特征调整机制。通过将视觉、语言和机器人状态信息编码到紧凑的潜在空间表示中，可以有效减少存储需求。增量特征调整机制则通过角度裕度约束来规范任务嵌入的演变，从而保持任务间的区分度，防止灾难性遗忘。

技术框架：该框架主要包含以下几个模块：1) 多模态编码器：将视觉、语言和机器人状态信息编码到潜在空间中。2) 潜在空间回放：存储和重用潜在空间中的表示，以支持未来的学习。3) 增量特征调整：通过角度裕度约束来规范任务嵌入的演变。4) 策略网络：根据潜在空间中的表示生成动作。整个流程是，首先使用多模态编码器将输入数据编码到潜在空间，然后将潜在空间表示存储到回放缓冲区中。在学习新任务时，从回放缓冲区中采样之前的任务的潜在空间表示，并使用增量特征调整机制来更新任务嵌入。最后，使用策略网络根据潜在空间表示生成动作。

关键创新：该方法最重要的技术创新点在于多模态潜在空间回放和增量特征调整机制的结合。传统的经验回放方法直接存储原始数据，效率较低。而该方法通过在潜在空间中进行回放，可以有效减少存储需求。增量特征调整机制则可以有效防止灾难性遗忘，提高终身学习的性能。

关键设计：角度裕度损失函数被用于增量特征调整模块，以确保不同任务的嵌入在潜在空间中保持一定的距离，从而提高任务之间的区分度。具体的角度裕度值需要根据实验进行调整。此外，多模态编码器的网络结构和训练方式也会影响最终的性能。论文中使用了标准的神经网络结构，并通过联合训练的方式来优化编码器和策略网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在LIBERO基准测试中取得了显著的性能提升，在AUC方面实现了10-17个百分点的提升，并且与之前的领先方法相比，遗忘减少了高达65%。消融研究表明，多模态潜在空间回放和增量特征调整机制都对性能提升有重要贡献。这些结果表明，该方法是一种有效的终身模仿学习方法。

🎯 应用场景

该研究成果可应用于机器人持续学习新技能的场景，例如家庭服务机器人、工业机器人等。通过终身模仿学习，机器人可以不断学习新的任务，并适应不同的环境，从而提高其智能化水平和应用范围。此外，该方法还可以应用于其他需要持续学习的领域，例如自动驾驶、智能客服等。

📄 摘要（原文）

We introduce a lifelong imitation learning framework that enables continual policy refinement across sequential tasks under realistic memory and data constraints. Our approach departs from conventional experience replay by operating entirely in a multimodal latent space, where compact representations of visual, linguistic, and robot's state information are stored and reused to support future learning. To further stabilize adaptation, we introduce an incremental feature adjustment mechanism that regularizes the evolution of task embeddings through an angular margin constraint, preserving inter-task distinctiveness. Our method establishes a new state of the art in the LIBERO benchmarks, achieving 10-17 point gains in AUC and up to 65% less forgetting compared to previous leading methods. Ablation studies confirm the effectiveness of each component, showing consistent gains over alternative strategies. The code is available at: https://github.com/yfqi/lifelong_mlr_ifa.