RFS: Reinforcement learning with Residual flow steering for dexterous manipulation
作者: Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta
分类: cs.RO
发布日期: 2026-02-02
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出RFS，通过残差流引导强化学习提升灵巧操作泛化性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 灵巧操作 残差学习 流匹配 策略优化
📋 核心要点
- 预训练策略泛化性不足，需微调以适应部署环境，但微调需兼顾全局探索和局部纠错。
- RFS通过联合优化残差动作和潜在噪声分布，引导预训练的流匹配策略，实现局部细化和全局探索。
- 实验表明，RFS在灵巧操作任务中，能高效微调预训练策略，并在模拟和真实环境中均表现良好。
📝 摘要（中文）
模仿学习已成为机器人领域序列决策的有效方法，即使在高维灵巧操作任务中也能实现强大的性能。最近的行为克隆方法进一步利用生成模型，如扩散模型和流匹配，来表示多模态动作分布。然而，以这种方式预训练的策略通常表现出有限的泛化能力，并且需要额外的微调才能在部署时实现稳健的性能。这种适应必须保留预训练的全局探索优势，同时能够快速纠正局部执行错误。我们提出了残差流引导（RFS），这是一个数据高效的强化学习框架，用于调整预训练的生成策略。RFS通过联合优化残差动作和潜在噪声分布来引导预训练的流匹配策略，从而实现互补形式的探索：通过残差校正进行局部细化，以及通过潜在空间调制进行全局探索。这种设计允许高效的适应，同时保留预训练策略的表达结构。我们在灵巧操作任务上展示了RFS的有效性，展示了在调整预训练基础策略时，在模拟和真实环境中的高效微调。
🔬 方法详解
问题定义：论文旨在解决预训练的灵巧操作策略在实际部署中泛化性不足的问题。现有方法通常需要大量的微调才能适应新环境，且难以在保持全局探索能力的同时快速纠正局部执行错误。
核心思路：论文的核心思路是通过强化学习微调预训练的流匹配策略，并引入残差动作和潜在噪声分布，实现局部细化和全局探索的互补。残差动作用于纠正局部误差，潜在噪声分布用于探索更广阔的状态空间。
技术框架：RFS框架包含以下主要模块：1) 预训练的流匹配策略，作为基础策略；2) 残差动作网络，用于预测对基础动作的修正；3) 潜在噪声生成器，用于生成潜在空间中的噪声，以调制基础策略的输出；4) 强化学习算法，用于优化残差动作网络和潜在噪声生成器。整体流程是，首先使用预训练策略生成动作，然后通过残差动作网络进行修正，并通过潜在噪声进行调制，最终执行动作并获得奖励，用于更新残差动作网络和潜在噪声生成器。
关键创新：RFS的关键创新在于将残差动作和潜在噪声分布相结合，用于引导预训练的流匹配策略。这种方法既能利用预训练策略的全局探索能力，又能通过残差动作进行局部细化，从而实现高效的策略适应。与传统的强化学习方法相比，RFS能够更有效地利用预训练知识，并更快地收敛到最优策略。
关键设计：残差动作网络通常是一个小型神经网络，输入是当前状态，输出是残差动作。潜在噪声生成器可以是高斯分布或其他概率分布，其参数可以通过强化学习进行优化。损失函数通常包括强化学习奖励和正则化项，以防止残差动作过大或潜在噪声分布过于复杂。强化学习算法可以选择TRPO、PPO等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RFS在灵巧操作任务中能够显著提升预训练策略的性能。例如，在开门任务中，RFS能够将成功率从预训练策略的50%提升到90%以上，并且所需的数据量远小于传统的强化学习方法。此外，RFS在真实机器人上的实验也取得了良好的效果，验证了其在实际应用中的可行性。
🎯 应用场景
RFS可应用于各种需要灵巧操作的机器人任务，如装配、抓取、操作工具等。该方法能够提升机器人在复杂环境中的适应性和鲁棒性，降低对大量训练数据的依赖，加速机器人的部署和应用。未来可扩展到其他类型的生成模型和强化学习算法，进一步提升其性能和泛化能力。
📄 摘要（原文）
Imitation learning has emerged as an effective approach for bootstrapping sequential decision-making in robotics, achieving strong performance even in high-dimensional dexterous manipulation tasks. Recent behavior cloning methods further leverage expressive generative models, such as diffusion models and flow matching, to represent multimodal action distributions. However, policies pretrained in this manner often exhibit limited generalization and require additional fine-tuning to achieve robust performance at deployment time. Such adaptation must preserve the global exploration benefits of pretraining while enabling rapid correction of local execution errors.We propose \emph{Residual Flow Steering} (RFS), a data-efficient reinforcement learning framework for adapting pretrained generative policies. RFS steers a pretrained flow-matching policy by jointly optimizing a residual action and a latent noise distribution, enabling complementary forms of exploration: local refinement through residual corrections and global exploration through latent-space modulation. This design allows efficient adaptation while retaining the expressive structure of the pretrained policy.We demonstrate the effectiveness of RFS on dexterous manipulation tasks, showing efficient fine-tuning both in simulation and in real-world settings when adapting pretrained base policies.Project website:https://weirdlabuw.github.io/rfs.