ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control

📄 arXiv: 2609.28378v1 📥 PDF

作者: Xukun Luan, Zhongxiang Lei, Chen Gong, Shaowei Li, Yuanguo Bi, Jinyan Liu

分类: cs.RO, cs.CR, cs.LG

发布日期: 2026-09-23

备注: https://github.com/Zili1000/ForgetMimic

💡 一句话要点

提出ForgetMimic以解决人形机器人控制中的运动遗忘问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 运动遗忘 人形机器人 强化学习 安全性 隐私保护 策略优化 对比学习

📋 核心要点

  1. 现有方法在强化学习人形控制中未能有效消除特定运动，存在安全和隐私隐患。
  2. ForgetMimic通过降低目标运动的性能来实现运动遗忘，同时保留其他运动的有效性。
  3. 在Unitree G1和H2人形机器人上进行的实验表明，ForgetMimic有效消除了指定运动的记忆，且其他运动正常运行。

📝 摘要（中文）

人形机器人控制利用人类示范，通过强化学习实现了多样、灵活和自然的运动行为。然而，如何从学习的策略中消除特定运动仍然未得到充分探索。为了解决这一问题，本文提出了ForgetMimic，这是首个专门为物理世界人形控制设计的运动级别遗忘方法。ForgetMimic的核心思想是，在保留其余运动有效性的同时，降低目标子集运动的性能。实验结果表明，ForgetMimic能够有效消除指定运动的记忆，同时保持其他运动的正常操作。

🔬 方法详解

问题定义：本文旨在解决如何从强化学习策略中有效消除特定运动的问题。现有方法在处理恶意、受损或版权保护的运动时存在不足，无法满足GDPR等法规的要求。

核心思路：ForgetMimic的核心思路是通过降低特定运动的性能来实现运动的遗忘，而不影响其他运动的表现。这种设计旨在确保机器人在执行多种任务时的灵活性和安全性。

技术框架：ForgetMimic的整体架构包括两个主要阶段：首先，识别需要遗忘的运动；其次，通过调整策略来降低这些运动的性能。该方法通过对比学习和策略优化相结合，确保其他运动的有效性。

关键创新：ForgetMimic的最大创新在于其运动级别的遗忘机制，这是以往方法所未涉及的。它不仅关注如何学习新运动，还关注如何有效地遗忘不必要的运动。

关键设计：在实现ForgetMimic时，关键参数包括目标运动的选择标准、损失函数的设计以及策略更新的频率。这些设计确保了运动遗忘的有效性和其他运动的稳定性。通过精细调节这些参数，ForgetMimic能够在不同的运动场景中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ForgetMimic在12种不同运动（如舞蹈、战斗、翻转等）中表现出色，成功消除了指定运动的记忆，同时保持其他运动的正常操作。与基线方法相比，ForgetMimic在运动遗忘效果上提升了显著的性能，证明了其有效性。

🎯 应用场景

ForgetMimic的研究成果在多个领域具有潜在应用价值，包括人形机器人、自动驾驶、以及任何需要遵循隐私法规的智能系统。通过有效的运动遗忘机制，机器人能够在执行任务时更好地保护用户隐私，提升安全性和灵活性。

📄 摘要（原文）

Humanoid control, leveraging human demonstrations, has achieved diverse, agile, and natural locomotion behaviors through reinforcement learning (RL). While this paradigm has yielded remarkable performance in physical humanoid control, how to eliminate specific motions from learned policies remains insufficiently explored. Addressing this issue is motivated by pressing safety and privacy concerns: the removal of malicious, poisoned, or suboptimal motions, as well as copyright-protected motions subject to the right to be forgotten under regulations such as the GDPR, is of critical importance. To this end, we propose {ForgetMimic}, the first motion-level unlearning method designed specifically for physical-world humanoid control. The core idea of ForgetMimic is as follows: given a policy $π_θ$ trained on $N$ motions, our method degrades performance on a target subset of $K$ motions while preserving the effectiveness of the remaining $N-K$ motions. Furthermore, we identify and resolve two key training mechanisms in robot control that lead to unlearning failure. We conduct extensive experiments on the Unitree G1 and H2 humanoid robots across 12 motions, including Dance, Fight, Flip, and others. Experimental results demonstrate that ForgetMimic effectively eliminates memory of designated motions while maintaining the normal operation of all other motions.