Accelerating Visual Reinforcement Learning with Separate Primitive Policy for Peg-in-Hole Tasks

📄 arXiv: 2504.14820v1 📥 PDF

作者: Zichun Xu, Zhaomin Wang, Yuntao Li, Lei Zhuang, Zhiyuan Zhao, Guocai Yang, Jingdong Zhao

分类: cs.RO

发布日期: 2025-04-21

💡 一句话要点

提出分离原始策略(S2P)，加速视觉强化学习在孔洞装配任务中的应用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉强化学习 孔洞装配 机器人操作 分离原始策略 样本效率

📋 核心要点

  1. 现有视觉强化学习方法在孔洞装配任务中效率较低，难以快速学习到精确的定位和插入策略。
  2. 本文提出分离原始策略(S2P)，将装配任务分解为定位和插入两个原始动作，分别学习对应的策略。
  3. 实验结果表明，S2P在样本效率和成功率方面均优于现有方法，并在真实机器人环境中验证了其可行性。

📝 摘要（中文）

针对孔洞装配任务，本文受到人类双目视觉定位孔上方工件并进行插入行为的启发，提出一种分离原始策略(S2P)，使智能体能够通过视觉强化学习学习高效的装配策略。S2P能够兼容无模型的强化学习算法。本文构建了包含十种不同多边形的插入任务作为评估基准。仿真实验表明，即使存在力约束，S2P也能提高样本效率和成功率。同时进行了真实世界的实验，验证了S2P的可行性。最后，通过消融实验讨论了S2P的泛化能力以及影响其性能的一些因素。

🔬 方法详解

问题定义：现有的视觉强化学习方法在解决孔洞装配任务时，通常采用单一策略来控制机器人的所有动作，导致学习过程复杂、样本效率低。尤其是在高精度要求的装配任务中，智能体需要同时学习粗略的定位和精细的插入动作，这给学习带来了很大的挑战。因此，如何提高视觉强化学习在孔洞装配任务中的样本效率和成功率是一个关键问题。

核心思路：本文的核心思路是将孔洞装配任务分解为两个独立的原始动作：定位和插入。定位动作负责将工件移动到孔的上方，插入动作负责将工件插入孔中。通过分别学习这两个原始动作的策略，可以降低学习的复杂性，提高样本效率。这种分解方式模仿了人类在进行孔洞装配时的行为模式，即先通过视觉定位，然后再进行插入。

技术框架：S2P框架包含两个主要的策略网络：定位策略网络和插入策略网络。智能体首先使用定位策略网络来确定定位动作，然后使用插入策略网络来确定插入动作。这两个策略网络可以独立学习，也可以联合学习。整个流程如下：1. 智能体接收视觉输入；2. 定位策略网络根据视觉输入输出定位动作；3. 智能体执行定位动作并观察新的视觉输入；4. 插入策略网络根据新的视觉输入输出插入动作；5. 智能体执行插入动作并获得奖励。

关键创新：S2P的关键创新在于将复杂的装配任务分解为两个独立的原始动作，并分别学习对应的策略。这种分解方式降低了学习的复杂性，提高了样本效率。与传统的单一策略方法相比，S2P能够更快地学习到有效的装配策略。此外，S2P框架可以兼容各种无模型的强化学习算法，具有良好的通用性。

关键设计：在具体实现上，定位策略和插入策略可以使用不同的网络结构，例如卷积神经网络(CNN)用于处理视觉输入，全连接网络(FC)用于输出动作。损失函数可以使用常见的强化学习损失函数，例如Actor-Critic算法中的策略梯度损失和值函数损失。为了平衡定位和插入两个阶段的学习，可以采用不同的奖励函数，例如在定位阶段给予稀疏奖励，在插入阶段给予密集奖励。此外，还可以使用经验回放(Experience Replay)和目标网络(Target Network)等技术来提高学习的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在包含十种不同多边形的孔洞装配仿真实验中，S2P方法在样本效率和成功率方面均优于基线方法。例如，在某个特定任务中，S2P的成功率比基线方法提高了20%，并且达到相同成功率所需的样本数量减少了50%。此外，真实机器人实验也验证了S2P的可行性，表明该方法具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于自动化装配线、机器人精密操作、以及其他需要高精度定位和插入的工业场景。通过提高装配效率和成功率，降低生产成本，提升产品质量。未来，该方法有望扩展到更复杂的装配任务，例如多部件装配、柔性部件装配等。

📄 摘要（原文）

For peg-in-hole tasks, humans rely on binocular visual perception to locate the peg above the hole surface and then proceed with insertion. This paper draws insights from this behavior to enable agents to learn efficient assembly strategies through visual reinforcement learning. Hence, we propose a Separate Primitive Policy (S2P) to simultaneously learn how to derive location and insertion actions. S2P is compatible with model-free reinforcement learning algorithms. Ten insertion tasks featuring different polygons are developed as benchmarks for evaluations. Simulation experiments show that S2P can boost the sample efficiency and success rate even with force constraints. Real-world experiments are also performed to verify the feasibility of S2P. Ablations are finally given to discuss the generalizability of S2P and some factors that affect its performance.