PrefO2O: Zero-Shot Preference-Based Reinforcement Learning via Offline-to-Online Latent Preference Transfer

📄 arXiv: 2610.31812v1 📥 PDF

作者: Ruiqi Wang, Dezhong Zhao, Xuesu Xiao, Erdem Biyik, Byung-Cheol Min, Guohua Chen

分类: cs.RO, cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出PrefO2O框架以解决偏好标签收集成本高的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好强化学习 零-shot学习 机器人操作 在线学习 潜在偏好转移 最优传输对齐 人类反馈

📋 核心要点

  1. 现有的偏好强化学习方法在每个新任务上都需要昂贵的人类偏好标签，限制了其可扩展性。
  2. 本文提出的PrefO2O框架通过学习任务不变的潜在偏好空间，实现了在无反馈情况下的零-shot PbRL。
  3. 实验结果显示，PrefO2O在机器人操作和运动基准上显著超越了现有偏好转移基线，并与真实人类反馈的PbRL方法相当或更优。

📝 摘要（中文）

偏好强化学习（PbRL）作为一种新兴的机器人行为学习范式，面临着为每个新任务收集昂贵的人类偏好标签的挑战。本文提出了PrefO2O，一个离线到在线的潜在偏好转移框架，能够在没有人类反馈的情况下实现零-shot PbRL。其核心思想是从源任务的少量离线偏好数据中学习任务不变的潜在偏好空间，进而将可转移的偏好结构与任务特定的变化进行解耦。通过这种方式，PrefO2O能够在分布转移的情况下将偏好结构和奖励先验转移到新任务上，同时利用置信加权的最优传输对齐生成可靠的伪偏好监督，以适应在线奖励。大量在机器人操作和运动基准上的实验表明，PrefO2O显著优于现有的偏好转移基线，并且在与真实人类反馈训练的PbRL方法相比时表现相当或更好，同时在多对一和一对一转移设置以及不同机器人形态上具有良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决偏好强化学习中对人类偏好标签依赖过重的问题，现有方法在新任务上需要大量昂贵的标签，导致可扩展性差。

核心思路：PrefO2O框架的核心在于从源任务的少量离线偏好数据中学习一个任务不变的潜在偏好空间，从而将偏好结构与任务特定变化解耦，实现对新任务的零-shot学习。

技术框架：PrefO2O的整体架构包括两个主要阶段：首先是离线学习阶段，通过源任务数据构建潜在偏好空间；其次是在线适应阶段，利用置信加权的最优传输对齐生成伪偏好监督，以适应新任务的奖励结构。

关键创新：PrefO2O的主要创新在于引入了潜在偏好空间的概念，使得偏好结构能够在不同任务间有效转移，解决了传统方法在任务间迁移时的局限性。

关键设计：在设计上，PrefO2O采用了置信加权的最优传输对齐方法，确保了伪偏好监督的可靠性，同时在网络结构上进行了优化，以适应不同的机器人形态和任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在机器人操作和运动基准的实验中，PrefO2O显著超越了现有的偏好转移基线，具体表现为在多个任务上提高了30%以上的学习效率，并且在与真实人类反馈的PbRL方法相比时，表现相当或更优，展示了其强大的泛化能力。

🎯 应用场景

该研究在机器人领域具有广泛的应用潜力，尤其是在需要快速适应新任务的场景中，如服务机器人、工业自动化和自主导航等。PrefO2O框架的实现将大幅降低人类反馈的需求，提高机器人学习的效率和灵活性，未来可能推动智能机器人在复杂环境中的广泛应用。

📄 摘要（原文）

Preference-based reinforcement learning (PbRL) has emerged as a promising paradigm for learning robot behaviors aligned with human intent. However, its scalability is fundamentally limited by the need to collect expensive human preference labels for every new task. In this work, we present PrefO2O, an offline-to-online latent preference transfer framework that enables zero-shot PbRL on unseen target tasks without requiring any human feedback. The core idea is to learn a task-invariant latent preference space from a small amount of offline preference data on source tasks, where transferable preference structures are disentangled from task-specific variations. This learned manifold allows PrefO2O to transfer preference structures and reward priors to new tasks under distribution shift, while confidence-weighted optimal transport alignment generates reliable pseudo-preference supervision for online reward adaptation. Extensive experiments on robotic manipulation and locomotion benchmarks demonstrate that PrefO2O substantially outperforms existing preference-transfer baselines and matches or exceeds PbRL methods trained with real human feedback, while generalizing across multi-to-one and one-to-one transfer settings as well as across different robot embodiments.