PROMO: Preference-conditioned Multi-Objective Reinforcement Learning for Quadrupedal Robots

📄 arXiv: 2610.01260v1 📥 PDF

作者: Amr Mousa, Rifny Rachman, Neil Karavis, Michele Caprio, Richard Allmendinger

分类: cs.RO, cs.AI, cs.HC, cs.LG, eess.SY

发布日期: 2026-10-01

备注: Submitted to IEEE Transactions on Robotics. Project website, code, and videos: https://amrmousa.com/promo/

💡 一句话要点

提出PROMO以解决四足机器人多目标强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 四足机器人 多目标强化学习 偏好条件化 运动控制 自适应系统

📋 核心要点

  1. 现有的强化学习方法在处理四足机器人运动时，无法灵活应对多目标之间的权衡，导致性能受限。
  2. PROMO通过将偏好作为运行时输入，提供了一种灵活的多目标强化学习框架，能够动态调整运动策略。
  3. 实验结果表明，PROMO在多种偏好下实现了优越的运动表现，且在不同机器人平台上具有良好的迁移能力。

📝 摘要（中文）

四足机器人运动需要平衡命令跟踪、稳定性和能效等相互冲突的目标，而传统的强化学习方法在训练时将这些优先级硬编码为固定的标量奖励。本文提出了PROMO（偏好条件的多目标强化学习），这是一种语义多目标的方法，使得这种权衡成为单一运动策略的显式运行时输入。PROMO根据部署时的偏好条件化策略，同时保持特定于机体的运动先验不变，从而将操作员意图与生成可行步态所需的奖励塑造项分离。与固定目标控制器、多目标基线和独立训练的专家相比，PROMO从单一可部署策略中实现了目标专业化和鲁棒性。在模拟中对100个采样偏好的测试中，67种行为在精确的帕累托支配下是非支配的，平均偏好-目标相关性为0.843，展示了广泛的帕累托覆盖和可预测的偏好响应。相同的策略在Unitree Go2上零-shot迁移，偏好变化单独使特定能量降低最多30.4%，位置误差降低38.7%，峰值身体姿态偏差降低59.0%。这些结果确立了偏好条件的多目标强化学习作为自适应腿部运动的实用运行时接口，超越了离线帕累托集构建的角色。

🔬 方法详解

问题定义：本文旨在解决四足机器人在运动过程中如何有效平衡命令跟踪、稳定性和能效等多个目标的问题。现有方法通常将这些目标硬编码为固定的奖励，导致灵活性不足和性能限制。

核心思路：PROMO通过将偏好条件化作为输入，使得机器人在运行时能够根据不同的操作员意图调整运动策略，从而实现对多目标的动态平衡。这样的设计使得机器人能够在不同的环境和任务中表现出更好的适应性。

技术框架：PROMO的整体架构包括一个偏好输入模块、一个多目标强化学习策略模块和一个运动生成模块。偏好输入模块接收操作员的偏好信息，策略模块根据这些偏好生成相应的运动策略，运动生成模块则负责将策略转化为实际的运动指令。

关键创新：PROMO的主要创新在于将偏好条件化与多目标强化学习结合，使得机器人能够在运行时灵活调整目标权重。这种方法与传统的固定目标控制器有本质区别，后者无法适应动态变化的环境和需求。

关键设计：在设计中，PROMO使用了特定的损失函数来平衡不同目标的权重，并采用了深度神经网络结构来实现策略的学习。关键参数设置包括偏好权重的动态调整机制，以确保在不同偏好下的运动表现最优。实验中还使用了多种基线进行对比，以验证方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PROMO在100个不同偏好下实现了67种非支配行为，平均偏好-目标相关性达到0.843。此外，在Unitree Go2上，偏好变化使得特定能量降低最多30.4%，位置误差降低38.7%，峰值身体姿态偏差降低59.0%，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自主四足机器人、救援任务、探测任务以及其他需要灵活运动的机器人系统。PROMO的灵活性和适应性使其在动态环境中具有实际价值，能够根据操作员的需求实时调整运动策略，提升机器人在复杂任务中的表现。

📄 摘要（原文）

Quadrupedal locomotion requires balancing conflicting objectives such as command tracking, stability, and energy efficiency, yet conventional reinforcement learning (RL) hardcodes these priorities into a fixed scalar reward at training time. We present PROMO (Preference-Conditioned Multi-Objective Reinforcement Learning), a semantic multi-objective approach that makes this trade-off an explicit runtime input to a single locomotion policy. PROMO conditions the policy on deployment facing preferences while keeping embodiment-specific locomotion priors fixed, thereby separating operator intent from reward shaping terms required for viable gait generation. Compared with fixed-objective controllers, multi-objective baselines, and independently trained specialists, PROMO achieves objective specialization and robustness from a single deployable policy. Across 100 sampled preferences in simulation, 67 behaviors are non-dominated under exact Pareto dominance, with a mean preference-objective correlation of 0.843, demonstrating broad Pareto coverage and predictable preference response. The same policy transfers zero-shot to a Unitree Go2, where preference changes alone reduce specific energy by up to 30.4%, position error by 38.7%, and peak body-attitude deviation by 59.0% relative to the balanced preference. These results establish preference-conditioned multi-objective RL as a practical runtime interface for adaptive legged locomotion, extending its role beyond offline Pareto-set construction. Open-source code and videos are available at https://amrmousa.com/promo/.