PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning

📄 arXiv: 2603.24047v1 📥 PDF

作者: Huanyu Li, Dewei Wang, Xinmiao Wang, Xinzhe Liu, Peng Liu, Chenjia Bai, Xuelong Li

分类: cs.RO

发布日期: 2026-03-25

备注: 8 pages, 7 figures

💡 一句话要点

提出基于多目标强化学习的偏好条件人形机器人控制框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人控制 多目标强化学习 偏好条件控制 混合专家模型 Beta分布 机器人运动规划

📋 核心要点

  1. 现有强化学习方法在人形机器人控制中采用固定权重策略，导致无法生成多样化的行为策略以适应不同的目标偏好。
  2. 论文提出一种基于多目标强化学习的偏好条件控制框架，通过偏好向量调节混合专家模块，实现策略的多样性。
  3. 在仿真和真实机器人实验中，验证了该框架能够根据输入的偏好条件实时调整机器人的目标优先级。

📝 摘要（中文）

人形机器人通常需要在多个相互竞争的目标之间取得平衡，例如最大化速度和最小化能耗。现有的强化学习方法虽然能够掌握复杂的技能，如跌倒恢复和感知运动，但受限于固定的权重策略，只能产生单一的次优策略，无法为复杂的多目标控制提供多样化的解决方案。本文提出了一种新的框架，利用多目标强化学习（MORL）来实现偏好条件人形机器人控制（PCHC）。与需要训练一系列策略来逼近帕累托前沿的传统方法不同，我们的框架使单个偏好条件策略能够展现广泛的多样化行为。为了有效地整合这些需求，我们引入了一种基于Beta分布的对齐机制，该机制基于偏好向量来调节混合专家（MoE）模块。我们在两个典型的人形机器人任务上验证了我们的方法。大量的仿真和真实实验表明，所提出的框架允许机器人根据输入的偏好条件实时地调整其目标优先级。

🔬 方法详解

问题定义：现有的人形机器人控制方法，特别是基于强化学习的方法，通常使用固定的权重来平衡多个目标（例如速度、能耗、稳定性）。这种方法只能产生单一的次优策略，无法满足实际应用中对不同目标偏好的需求。例如，在某些情况下，我们可能更关注速度，而在另一些情况下，我们可能更关注能耗。因此，需要一种能够根据用户偏好动态调整策略的方法。

核心思路：论文的核心思路是利用多目标强化学习（MORL）来训练一个能够根据偏好条件生成不同行为的策略。具体来说，通过将偏好向量作为策略的输入，策略可以根据偏好向量调整其行为，从而实现对不同目标的权衡。这种方法避免了训练多个策略的需要，提高了效率。

技术框架：整体框架包含以下几个主要模块：1) 多目标强化学习环境：定义了人形机器人的状态空间、动作空间和奖励函数（包含多个目标）。2) 混合专家（MoE）模块：由多个专家网络组成，每个专家网络负责学习一种特定的行为。3) Beta分布对齐机制：用于将偏好向量映射到MoE模块中各个专家的权重。4) 策略网络：根据状态和偏好向量，输出动作。训练过程中，使用MORL算法来优化策略网络和MoE模块的参数。

关键创新：最重要的技术创新点在于将偏好条件控制与多目标强化学习相结合，并引入了基于Beta分布的对齐机制。与传统的MORL方法相比，该方法不需要训练多个策略来逼近帕累托前沿，而是通过一个策略来实现对不同偏好的适应。此外，Beta分布对齐机制能够有效地将偏好向量映射到MoE模块中各个专家的权重，从而实现对行为的精细控制。

关键设计：1) 偏好向量：使用归一化的向量表示不同目标的权重。2) MoE模块：每个专家网络都是一个独立的神经网络，其结构可以根据具体任务进行调整。3) Beta分布对齐机制：使用Beta分布来建模偏好向量与专家权重之间的关系。Beta分布的参数由偏好向量决定，从而实现对专家权重的动态调整。4) 损失函数：使用多目标强化学习的损失函数，同时优化多个目标。具体的损失函数形式可以根据具体的MORL算法进行选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架能够有效地实现偏好条件人形机器人控制。在仿真和真实机器人实验中，机器人能够根据输入的偏好条件，实时地调整其目标优先级，并展现出多样化的行为。例如，在速度优先的情况下，机器人能够以更快的速度行走；在能耗优先的情况下，机器人能够以更低的能耗行走。与传统的固定权重策略相比，该框架能够显著提高机器人的适应性和灵活性。

🎯 应用场景

该研究成果可应用于各种需要平衡多个目标的人形机器人控制任务中，例如搜救、巡逻、家庭服务等。通过调整偏好条件，机器人可以根据不同的任务需求和环境条件，灵活地调整其行为策略。例如，在搜救任务中，可以优先考虑速度和稳定性；在家庭服务任务中，可以优先考虑能耗和安全性。该技术还可以推广到其他类型的机器人控制任务中，例如无人驾驶、工业自动化等。

📄 摘要（原文）

Humanoid robots often need to balance competing objectives, such as maximizing speed while minimizing energy consumption. While current reinforcement learning (RL) methods can master complex skills like fall recovery and perceptive locomotion, they are constrained by fixed weighting strategies that produce a single suboptimal policy, rather than providing a diverse set of solutions for sophisticated multi-objective control. In this paper, we propose a novel framework leveraging Multi-Objective Reinforcement Learning (MORL) to achieve Preference-Conditioned Humanoid Control (PCHC). Unlike conventional methods that require training a series of policies to approximate the Pareto front, our framework enables a single, preference-conditioned policy to exhibit a wide spectrum of diverse behaviors. To effectively integrate these requirements, we introduce a Beta distribution-based alignment mechanism based on preference vectors modulating a Mixture-of-Experts (MoE) module. We validated our approach on two representative humanoid tasks. Extensive simulations and real-world experiments demonstrate that the proposed framework allows the robot to adaptively shift its objective priorities in real-time based on the input preference condition.