PrefPI: Preference-Guided Steering into Out-of-Distribution Behaviors
作者: Seungeun Rho, Wontaek Kim, Danfei Xu, Sehoon Ha
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-09-30
💡 一句话要点
提出PrefPI以引导机器人政策超越分布外行为
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 偏好学习 生成建模 机器人政策 策略迭代 行为引导 无分类器引导 自主机器人
📋 核心要点
- 现有的偏好学习方法主要集中在强化已有策略的模式，难以引导机器人探索未观察到的行为。
- 本研究提出了偏好条件生成建模的思路，通过偏好轨迹定义条件分布，利用密度比信号引导策略改进。
- 实验结果表明，PrefPI在有限的反馈下显著提升了机器人的行为表现，物体运输高度提升了近85%。
📝 摘要（中文）
我们提出了PrefPI（偏好引导策略迭代），这是一个迭代框架，用于仅通过相对偏好来引导预训练的生成机器人策略。与以往主要聚焦于政策已表示模式的偏好学习方法不同，我们研究了超越初始有效支持的引导，其中期望的行为在初始政策下很少或根本没有观察到。我们的关键思想是将偏好学习形式化为偏好条件生成建模：偏好的轨迹定义了一个条件分布，其与更广泛行为先验的密度比提供了一个隐式的偏好信号，并通过无分类器引导（CFG）进行放大。重复这个偏好条件建模和引导步骤，产生了一种偏好引导的策略迭代，朝向以前无法接触的行为进行增量改进。在模拟和现实世界中的扩散政策和PI0.5流匹配VLA中，PrefPI在有限反馈下产生了显著的行为变化。特别是，PrefPI在真实硬件上将物体运输高度从10.7厘米提高到19.8厘米，仅使用150个偏好标记的轨迹。
🔬 方法详解
问题定义：本论文旨在解决现有偏好学习方法无法有效引导机器人探索未观察到的行为的问题。现有方法多集中于强化已知模式，导致无法实现更广泛的行为改进。
核心思路：论文提出将偏好学习视为偏好条件生成建模，利用偏好轨迹定义条件分布，并通过密度比信号进行引导。这种设计使得机器人能够在未观察到的行为空间中进行探索和改进。
技术框架：整体框架包括偏好条件建模和引导两个主要阶段。首先，通过自生成轨迹收集偏好信息，然后利用这些偏好信息进行条件生成建模，最后通过无分类器引导进行策略迭代。
关键创新：最重要的创新在于将偏好学习与生成建模相结合，形成偏好引导的策略迭代。这一方法与传统的偏好学习方法的本质区别在于其能够引导机器人探索未观察到的行为，而不仅仅是强化已知行为。
关键设计：在技术细节上，采用了无分类器引导（CFG）来放大偏好信号，设计了适应性损失函数以优化偏好轨迹的生成，并使用了流匹配VLA作为基础模型以提升生成效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PrefPI在真实硬件上将物体运输高度从10.7厘米提升至19.8厘米，提升幅度达到85%。此外，使用仅150个偏好标记的轨迹，PrefPI在多种扩散政策中均表现出显著的行为转变，展示了其高效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、智能制造和人机协作等场景。通过引导机器人探索未观察到的行为，PrefPI能够提升机器人在复杂环境中的适应能力和任务执行效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
We present PrefPI (Preference-Guided Policy Iteration), an iterative framework for steering pretrained generative robot policies using only relative preferences over self-generated trajectories. Unlike prior preference-learning methods that primarily sharpen modes already represented by the policy, we study steering beyond the initial effective support, where desired behaviors are rarely or never observed under the initial policy. Our key idea is to formulate preference learning as preference-conditioned generative modeling: preferred trajectories define a conditional distribution, whose density ratio with the broader behavior prior provides an implicit preference signal amplified by classifier-free guidance (CFG). Repeating this preference-conditioned modeling and guidance step yields a form of preference-guided policy iteration, turning incremental improvements toward previously inaccessible behaviors. Across diffusion policies and the PI0.5 flow- matching VLA in simulation and the real world, PrefPI produces substantial behavioral shifts with limited feedback. In particular, PrefPI increases object transport height from 10.7 cm to 19.8 cm on real hardware with only 150 preference-labeled trajectories.