PreferenceFlow: Test-Time Guidance of Flow-Matching Robot Policies from Human Interventions
作者: Yiqi Tang, Diyuan Shi, Runze Li, Donglin Wang
分类: cs.RO
发布日期: 2026-09-29
💡 一句话要点
提出PreferenceFlow以解决机器人策略在测试时的引导问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 流匹配策略 人类干预 机器人政策 偏好模型 强化学习 测试时引导 策略改进
📋 核心要点
- 现有的流匹配策略在部署时容易受到环境变化的影响，导致局部错误，影响机器人行为的稳定性。
- PreferenceFlow框架通过人类干预与机器人行为的配对，训练偏好模型，从而在测试时无需环境奖励即可改进策略。
- 在四个真实世界任务中，PreferenceFlow的成功率达到90.5%，显著高于冻结策略的69%，验证了人类干预的有效性。
📝 摘要（中文）
流匹配策略能够表示复杂的机器人行为，但在部署时容易受到分布变化的局部错误影响。许多强化学习方法在策略改进中需要难以指定或获取的奖励信号。本文提出了PreferenceFlow框架，旨在无需环境奖励或基础策略更新的情况下，在测试时改进预训练的流策略。通过将人类干预片段与来自相同初始条件状态生成的机器人片段配对，训练一个偏好模型。在推理过程中，采用QGF采样更新，将其值梯度替换为在估计的干净动作下评估的偏好梯度。实验结果表明，PreferenceFlow在四个真实世界的精确插入任务中，成功率达到了90.5%，而冻结策略的成功率仅为69%。
🔬 方法详解
问题定义：本文解决的问题是流匹配策略在实际部署中由于环境分布变化而导致的局部错误。现有的强化学习方法通常依赖于难以获取的奖励信号，限制了其在真实操作中的应用。
核心思路：提出PreferenceFlow框架，通过人类干预与机器人行为的配对，训练一个偏好模型，以便在测试时改进预训练的流策略，而无需环境奖励或基础策略的更新。
技术框架：该框架包括两个主要阶段：首先，通过人类干预和机器人行为的配对训练偏好模型；其次，在推理阶段，使用QGF采样更新，结合偏好梯度来指导策略改进。
关键创新：最重要的创新在于引入了人类干预作为局部偏好监督，替代了传统的奖励信号，从而有效指导冻结的生成机器人策略。
关键设计：设计了梯度限制损失函数以惩罚干预对的过度梯度，同时使用零梯度损失来抑制在专家演示动作附近的引导，从而确保策略的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
在四个真实世界的精确插入任务中，PreferenceFlow的平均成功率达到了90.5%，相比之下，冻结策略的成功率仅为69%。这一显著提升验证了人类干预作为局部偏好监督的有效性，并支持了梯度正则化和偏好标签顺序的重要性。
🎯 应用场景
PreferenceFlow框架具有广泛的应用潜力，特别是在需要高精度和灵活性的机器人操作领域，如工业自动化、医疗机器人和服务机器人等。通过有效利用人类干预，该方法能够提升机器人在动态环境中的适应能力，未来可能推动智能机器人技术的进一步发展。
📄 摘要（原文）
Flow-matching policies can represent complex robot behaviors but remain susceptible to local errors under distribution shift at deployment. Many reinforcement learning approaches to policy improvement require reward signals that are difficult to specify or obtain in real-world manipulation. We present PreferenceFlow, a framework for improving a pretrained flow policy at test time without environment rewards or updates to the base policy. Human intervention chunks are paired with robot chunks generated from the same initial conditioning state to train a preference model. During infer- ence, we adopt the QGF sampling update, replacing its value gradient with the preference gradient evaluated at an estimated clean action. A gradient-cap loss penalizes excessive gradients on intervention pairs, while a zero-gradient loss discourages guidance near actions from expert demonstrations. On four real-world precision insertion tasks with a Franka robot, Pref- erenceFlow achieves a mean success rate of 90.5%, compared with 69% for the frozen policy. Ablations support the roles of gradient regularization and correctly ordered preference labels in the evaluated settings. These results demonstrate the utility of human interventions as local preference supervision for guiding frozen generative robot policies.