Task-Centric Policy Optimization from Misaligned Motion Priors

📄 arXiv: 2601.19411v1 📥 PDF

作者: Ziang Zheng, Kai Feng, Yi Nie, Shentao Qin

分类: cs.RO, cs.LG

发布日期: 2026-01-27

💡 一句话要点

提出任务中心运动先验(TCMP)，解决人形机器人控制中运动先验与任务目标不一致问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人控制 模仿学习 强化学习 运动先验 对抗学习 任务优先 条件正则化

📋 核心要点

  1. 现有方法在人形机器人控制中，简单混合模仿学习和强化学习，无法有效处理运动先验与任务目标不一致的问题。
  2. TCMP框架将模仿学习视为条件正则化器，仅在与任务进展兼容时才利用模仿信号，实现任务优先的优化。
  3. 实验表明，TCMP在嘈杂的演示数据下，仍能保持人形机器人控制任务的鲁棒性和运动风格的一致性。

📝 摘要（中文）

人形机器人控制通常利用人类演示中的运动先验来鼓励自然行为。然而，由于身体差异、重定向误差和与任务无关的变化，这些演示常常是次优的或与机器人任务不一致，导致简单的模仿会降低任务性能。相反，仅以任务为导向的强化学习会产生许多任务最优解，但通常会导致不自然或不稳定的运动。这暴露了对抗模仿学习中线性奖励混合的一个根本局限性。我们提出了“任务中心运动先验”(TCMP)，这是一个任务优先的对抗模仿框架，它将模仿视为一种条件正则化器，而不是一个同等重要的目标。TCMP在最大化任务改进的同时，仅在模仿信号与任务进展兼容时才将其纳入，从而产生一种自适应的、几何感知的更新，该更新保留了任务可行的下降，并抑制了不一致情况下的有害模仿。我们提供了梯度冲突和任务优先平稳点的理论分析，并通过人形机器人控制实验验证了我们的主张，证明了在嘈杂演示下具有一致运动风格的鲁棒任务性能。

🔬 方法详解

问题定义：人形机器人控制中，直接模仿人类演示的运动先验往往会降低任务性能，因为人类演示可能与机器人任务不一致（例如，身体结构差异、重定向误差等）。另一方面，单纯的强化学习虽然能完成任务，但可能产生不自然或不稳定的运动。现有的对抗模仿学习方法通常采用线性奖励混合，无法有效解决运动先验与任务目标冲突的问题。

核心思路：TCMP的核心思想是将模仿学习视为一种条件正则化器，而不是与任务目标同等重要的目标。这意味着只有当模仿信号有助于或不损害任务进展时，才将其纳入优化过程中。通过这种方式，TCMP能够自适应地利用运动先验，避免有害的模仿信号干扰任务学习。

技术框架：TCMP是一个任务优先的对抗模仿学习框架。整体流程如下：首先，使用强化学习训练一个初始策略，使其能够完成任务。然后，在优化过程中，TCMP会评估模仿信号与任务进展的兼容性。如果模仿信号与任务进展一致，则将其纳入优化目标中，以鼓励自然运动。否则，TCMP会抑制模仿信号，优先保证任务性能。

关键创新：TCMP最重要的创新在于其任务优先的优化策略。与传统的线性奖励混合方法不同，TCMP能够自适应地调整模仿信号的权重，从而避免有害的模仿信号干扰任务学习。此外，TCMP还提出了一种几何感知的更新方法，能够更好地利用运动先验。

关键设计：TCMP的关键设计包括：1) 一种用于评估模仿信号与任务进展兼容性的指标；2) 一种自适应的权重调整机制，用于控制模仿信号的强度；3) 一种几何感知的更新方法，用于更好地利用运动先验。具体的损失函数和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TCMP在嘈杂的演示数据下，仍能保持人形机器人控制任务的鲁棒性和运动风格的一致性。与传统的对抗模仿学习方法相比，TCMP能够显著提高任务性能，并生成更自然、更稳定的运动。

🎯 应用场景

TCMP可应用于各种人形机器人控制任务，例如：复杂地形行走、物体操作、人机协作等。该研究有助于提高人形机器人的运动能力和智能化水平，使其能够更好地适应各种实际应用场景。此外，该方法也可以推广到其他类型的机器人控制任务中，具有广泛的应用前景。

📄 摘要（原文）

Humanoid control often leverages motion priors from human demonstrations to encourage natural behaviors. However, such demonstrations are frequently suboptimal or misaligned with robotic tasks due to embodiment differences, retargeting errors, and task-irrelevant variations, causing naïve imitation to degrade task performance. Conversely, task-only reinforcement learning admits many task-optimal solutions, often resulting in unnatural or unstable motions. This exposes a fundamental limitation of linear reward mixing in adversarial imitation learning. We propose \emph{Task-Centric Motion Priors} (TCMP), a task-priority adversarial imitation framework that treats imitation as a conditional regularizer rather than a co-equal objective. TCMP maximizes task improvement while incorporating imitation signals only when they are compatible with task progress, yielding an adaptive, geometry-aware update that preserves task-feasible descent and suppresses harmful imitation under misalignment. We provide theoretical analysis of gradient conflict and task-priority stationary points, and validate our claims through humanoid control experiments demonstrating robust task performance with consistent motion style under noisy demonstrations.