Sample-Efficient Reinforcement Learning for Policy Improvement via Flow-Reversed Action Anchors
作者: Carl Qi, Weijun Dong, Xiaojie Wang, Peiyi Chen, Rahul Sajnani, Mingyuan Zhang, Amy Zhang, Jose Barreiros, Manikatan Nambi, Lillian J. Ratliff, Dylan Randle
分类: cs.RO, cs.AI
发布日期: 2026-10-16
💡 一句话要点
提出AnchorQ以提高强化学习样本效率解决机器人策略改进问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 样本效率 机器人策略 流反转 潜在动作表示 策略改进 自动化
📋 核心要点
- 现有强化学习方法在复杂任务中探索效率低，难以提取有效的学习信号。
- AnchorQ通过流反转将参考行为映射到状态条件的潜在锚点，实现粗到细的策略改进。
- AnchorQ在模拟和真实世界的操作任务中表现优异，样本效率显著提升，成功率和吞吐量均有大幅改善。
📝 摘要（中文）
通用机器人策略提供了强大的行为先验，但实现部署级的可靠性和吞吐量仍然困难。强化学习（RL）可以改善这些策略，但其有效性受到在线交互成本的限制。现有方法通过将噪声空间视为连续动作空间来适应冻结的流匹配策略，然而这种行为上无结构的空间使得探索效率低下，常常阻碍这些方法在复杂任务中提取有意义的学习信号。我们提出了AnchorQ，通过结构化的可细化潜在动作表示实现粗到细的策略改进。实验结果表明，AnchorQ在样本效率上优于现有的后训练基线，在真实世界成功率上提高了37%，在相同交互预算下模拟任务吞吐量提高了97%。
🔬 方法详解
问题定义：本论文旨在解决现有强化学习方法在复杂任务中探索效率低的问题。现有方法通过将噪声空间视为连续动作空间，导致无法有效提取学习信号。
核心思路：AnchorQ的核心思路是使用结构化的潜在动作表示，通过流反转将参考行为映射到状态条件的潜在锚点，从而实现更高效的策略改进。
技术框架：AnchorQ的整体架构包括三个主要模块：流反转模块、局部粒子采样模块和价值引导采样模块。流反转模块负责将参考行为映射到潜在锚点，局部粒子采样模块在锚点周围采样，价值引导采样模块则用于探索有前景的细化策略。
关键创新：AnchorQ的主要创新在于引入了结构化的潜在动作表示和流反转机制，这与现有方法的无结构噪声空间形成鲜明对比，从而提高了探索效率。
关键设计：在设计上，AnchorQ采用了KL正则化的价值引导选择策略，确保了选择的可靠性。此外，粒子细化过程中的支持偏差与动作类别复杂性之间的权衡也是其设计的关键部分。
🖼️ 关键图片
📊 实验亮点
AnchorQ在多个模拟和真实世界的操作任务中表现出色，相较于现有的后训练基线，其样本效率提升了37%，在相同的交互预算下，模拟任务的吞吐量提高了97%。这些结果表明，AnchorQ在策略改进方面具有显著的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过提高强化学习的样本效率，AnchorQ可以帮助机器人在复杂环境中更快速地学习和适应，从而提升其在实际应用中的表现和可靠性。未来，该方法有望推动更多智能系统的开发与应用。
📄 摘要（原文）
Generalist robot policies offer strong behavioral priors, but achieving deployment-level reliability and throughput remains difficult. Reinforcement learning (RL) can improve these policies, yet its effectiveness is constrained by the cost of online interaction. Existing methods adapt frozen flow-matching policies by treating noise space as a continuous action space. We show that this behaviorally unstructured space makes exploration inefficient, often preventing these methods from extracting meaningful learning signals on challenging tasks. We introduce AnchorQ, which enables coarse-to-fine policy improvement through a structured, refinable latent action representation. At each decision step, AnchorQ uses flow reversal to map reference behaviors to state-conditioned latent anchors, samples local particles around those anchors, and applies value-guided sampling to explore promising refinements. Our analysis shows that anchors reduce identification complexity at the cost of support bias; particle refinement trades this bias against action-class complexity; and critic accuracy determines the reliability of KL-regularized, value-guided selection. Across simulated and real-world manipulation tasks, AnchorQ outperforms state-of-the-art post-training baselines in sample efficiency, delivering a 37% improvement in real-world success rate and 97% higher simulated task throughput under the same interaction budget. Additional visualizations are available on our website https://anchorq-rl.com/.