Proxy Policy Steering
作者: Chuanruo Ning, Tianrui Wang, Wei-Chiu Ma, Kuan Fang
分类: cs.RO
发布日期: 2026-09-08
💡 一句话要点
提出代理策略引导以解决机器人任务适应性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人适应性 策略引导 轻量级学习 任务特定行为 操作任务 速度预测 广泛能力
📋 核心要点
- 现有方法在将通用机器人策略专门化到新任务时面临瓶颈，尤其是在有限示范下难以引导特定行为。
- 论文提出的PPS方法通过训练两个轻量级代理策略，利用校准的速度空间差异来引导冻结的基础采样器。
- 在多个真实和模拟任务中，PPS显著提升了成功率，表现优于现有的微调和推理时引导方法。
📝 摘要（中文）
通用机器人策略从大规模数据中获取广泛的操作先验，但将其专门化到新任务仍然是部署瓶颈。这需要在有限示范中引导特定任务行为，而不降低其广泛能力。我们提出了代理策略引导（PPS），这是一种推理时适应方法，通过训练两个轻量级代理策略来解决这一挑战。参考代理模型在目标任务观察下的基础行为，而任务代理则捕捉在任务监督下这种行为的变化。它们的差异形成了一个经过校准的速度空间残差，在每个去噪步骤中引导冻结的基础采样器。实验表明，PPS在8个真实世界和4个模拟操作任务上，平均提升了53%的绝对成功率，同时保留了基础策略的广泛能力。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在有限示范下将通用机器人策略专门化到新任务，同时保持其广泛能力。现有方法往往直接修改基础策略，导致其能力下降。
核心思路：论文的核心解决思路是引入代理策略引导（PPS），通过训练两个轻量级的代理策略来捕捉任务特定的行为变化，而不直接修改基础策略。这样设计的目的是在保持基础策略能力的同时，实现任务适应。
技术框架：PPS的整体架构包括两个主要模块：参考代理和任务代理。参考代理基于目标任务观察建模基础行为，任务代理则在任务监督下捕捉行为变化。它们的差异形成的速度空间残差用于引导基础采样器。
关键创新：PPS的最重要技术创新在于通过代理策略的差异来实现任务适应，而不直接修改基础策略。这种方法使得基础策略的广泛能力得以保留，尤其是在处理未见任务时。
关键设计：PPS的关键设计包括轻量级的代理策略训练，损失函数的选择，以及如何有效地进行速度预测。通过仅依赖基础策略的前向速度预测，PPS在训练和应用时都保持了高效性。
🖼️ 关键图片
📊 实验亮点
在8个真实世界和4个模拟操作任务中，PPS平均提升了53%的绝对成功率，尤其在基础策略未能解决的任务上实现了零到一的成功率提升，超越了LoRA微调和其他推理时引导方法。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提高机器人在新任务中的适应能力，PPS能够显著提升机器人在复杂环境中的操作效率和灵活性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Generalist robot policies carry broad manipulation priors from large-scale data, but specializing them to a new task remains the deployment bottleneck. This requires eliciting task-specific behavior from limited demonstrations without degrading their broad capabilities. We introduce Proxy Policy Steering (PPS), an inference-time adaptation method that resolves this challenge by training two lightweight proxy policies whose calibrated velocity-space difference steers the frozen base sampler. A reference proxy models the frozen base's behavior on target-task observations, and a task proxy, initialized from the reference, captures how this behavior changes under task supervision. Their difference forms a calibrated velocity-space residual that steers the frozen base sampler at every denoising step. We identify the conditions under which this residual isolates the change induced by task supervision, and validate them empirically. Because the base is never directly modified, its broad capabilities remain available at inference, including behaviors such as recovery from failure that the demonstrations themselves do not exercise. Adaptation requires only forward velocity predictions from the base, making PPS lightweight to train and applicable even without access to the base's parameters. On 8 real-world and 4 simulation manipulation tasks, PPS lifts the state-of-the-art pi 0.5 base policy by 53% absolute success rate on average, with zero-to-one gains on tasks the base never solves, while preserving the base's broad capabilities. PPS outperforms LoRA fine-tuning, from-scratch specialists, residual policies, and prior inference-time steering methods.