Deployable Human Preference Alignment in Robotics: Learning Representative Rewards from Diverse Human Preferences

📄 arXiv: 2607.12466v1 📥 PDF

作者: Taehyung Kim, Gwangmo Lee, Minjun Chang, Sunghyun Lim, Jongeun Choi

分类: cs.RO

发布日期: 2026-07-14

备注: 23 pages, 20 figures

💡 一句话要点

提出PREC框架以解决机器人偏好对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人 人类偏好对齐 奖励聚类 策略优化 深度学习

📋 核心要点

  1. 现有的个性化对齐方法在用户反馈稀疏时学习不稳定，并且难以验证个性化策略。
  2. 本文提出的PREC框架通过聚合用户轨迹和偏好标签，学习共享的轨迹编码器并进行用户聚类。
  3. 实验表明，PREC在多样化的模拟环境中，准确地将用户分组到偏好一致的聚类中，提升了社会福利指标。

📝 摘要（中文）

对机器人策略与人类偏好的对齐对于多样化用户的部署至关重要。现有的用户对齐方法面临偏好反馈稀疏、学习不稳定和个性化策略验证困难等挑战。为此，本文提出了一种新的框架——基于偏好的奖励聚类（PREC），通过从多样化用户提供的二元偏好标签中学习紧凑的策略集。PREC首先聚合用户轨迹以学习共享的轨迹编码器，然后将用户分配到偏好一致的聚类中，并为每个聚类学习代表性奖励模型。实验结果表明，PREC在稀疏和噪声反馈下的表现优于现有的单一共享策略和个性化对齐方法。

🔬 方法详解

问题定义：本文旨在解决机器人策略与人类偏好对齐中的稀疏反馈和个性化策略验证困难的问题。现有方法在处理多样化用户偏好时，往往无法有效捕捉少数群体的偏好，导致策略学习不稳定。

核心思路：PREC框架的核心思路是通过聚合用户轨迹和偏好标签，学习一个共享的轨迹编码器，并将用户分配到偏好一致的聚类中，从而提高学习效率和策略的适应性。

技术框架：PREC的整体架构包括三个主要模块：首先，聚合用户轨迹以学习共享的轨迹编码器；其次，基于偏好标签将用户分配到偏好一致的聚类；最后，为每个聚类学习代表性奖励模型，并优化相应的策略。

关键创新：PREC的主要创新在于通过聚类相似用户来补偿每个用户标签数量的限制，并减少标签噪声的影响。这一方法与现有的单一共享策略和个性化对齐方法本质上不同，能够更好地处理多样化偏好。

关键设计：在PREC中，关键的参数设置包括聚类算法的选择和奖励模型的设计。损失函数的设计考虑了用户偏好的一致性和聚类的紧密性，以确保学习到的策略能够有效反映用户的真实偏好。具体的网络结构则采用了深度学习模型，以增强对复杂偏好的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PREC在多样化的模拟环境中，能够更准确地将用户分组到偏好一致的聚类中，相比于基线方法，社会福利指标提升幅度显著。在稀疏和噪声反馈下，PREC训练的策略在三个社会福利指标上均优于现有的单一共享策略和个性化对齐方法。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、家庭自动化和个性化人机交互等。通过有效对齐机器人策略与用户偏好，PREC能够提升用户体验，增强机器人在多样化环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Aligning robot policies with human preferences is essential for deployment to diverse end users. In per-user alignment approach, preference feedback is often sparse, so learning becomes unstable and vulnerable to human preference noise, and a growing number of individualized policies makes validation difficult before deployment. A single shared policy approach to user alignment avoids this cost but fails to capture heterogeneous preferences and often neglects minority preferences. To address these challenges, we introduce Preference-based REward Clustering (PREC), a novel framework that learns a compact set of policies from binary preference labels provided by diverse users. From a dataset of user trajectories and their preference labels, PREC first sets the labels aside and aggregates trajectories across users to learn a population-level shared trajectory encoder, alleviating limited per-user coverage and avoiding label noise during representation learning. Using this representation, PREC jointly assigns users to preference-coherent clusters and learns a representative reward model per cluster using preference labels, from which a policy is optimized for each cluster. Clustering similar users compensates for the limited number of labels available from each user and mitigates the effect of label noise. At the same time, maintaining a manageable number of reward models reduces the validation burden at deployment. Experiments across diverse simulated locomotion environments show that PREC groups users who label different trajectory subsets into preference-coherent clusters more accurately than baseline methods. Under sparse and noisy feedback, policies trained with PREC improve all three social welfare metrics over an existing single shared-policy user-alignment approach and even outperform per-user alignment approaches.