Hybrid Residual Reinforcement Learning for Contact-Rich Robotic Book Insertion
作者: Tianyuan Liu, Rutherford Agbeshi Patamia, Benjamin Champion, Akansel Cosgun, Richard Dazeley
分类: cs.RO
发布日期: 2026-09-17
备注: 8 pages, 8figures
💡 一句话要点
提出混合残差强化学习以解决接触丰富的机器人书籍插入问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 机器人控制 接触丰富环境 任务空间控制 残差学习 物体插入 智能家居 自动化系统
📋 核心要点
- 核心问题：在接触丰富的环境中，现有方法在书籍插入时面临毫米级姿态误差导致的失败问题。
- 方法要点：提出了一种混合控制策略，结合了名义任务空间控制器与残差强化学习，以优化插入和释放过程。
- 实验或效果：在512个条件下，最终策略成功率达到98.50%，相比名义控制的37.89%有显著提升。
📝 摘要（中文）
将抓取的书籍放入紧凑的书架是一个复杂的接触丰富控制问题：毫米级的姿态误差可能导致几何有效的方法变为卡住、释放失败或未完全就位。我们研究抓取获取和全局接近后的最终阶段，探讨控制权应如何在已知几何和学习行为之间分配。我们的方法保留了一个用于结构化插入和就位的名义任务空间控制器，同时残差PPO提供有界的局部修正并决定何时释放。经过512个固定条件的部署匹配仿真评估，最终硬件使用的策略实现了98.50%的平均成功率（样本标准差0.23个百分点），而名义控制的成功率为37.89%。在物理xArm7上，60次试验在30个匹配条件下显示出相同的定性优势：残差控制将成功率从26.7%提高到63.3%，将失败次数从22次减少到11次，并在两种控制器存在差异的15个匹配条件中赢得了13个。鲁棒性测试表明，在初始化扰动达到1.5倍时，性能仍保持在87%以上，而非常紧密的间隙暴露了局部修正的几何极限。这些结果支持了一种混合设计，其中几何保持可靠的任务结构，而学习则集中在固定规则处理不佳的接触敏感行为上。
🔬 方法详解
问题定义：本论文旨在解决在接触丰富环境中，机器人将书籍插入书架时面临的控制挑战。现有方法在处理毫米级姿态误差时，容易导致插入失败或未完全就位。
核心思路：论文提出了一种混合控制策略，结合了几何控制与强化学习。通过保留名义任务空间控制器来处理结构化插入，同时利用残差PPO进行局部修正和释放决策，从而提高整体插入成功率。
技术框架：整体架构包括两个主要模块：名义任务空间控制器负责结构化插入，残差PPO则在此基础上提供局部修正。控制流程中，只有短暂的开放-撤退-重新闭合过渡是预先编写的。
关键创新：最重要的技术创新在于将几何控制与学习行为相结合，形成了一种混合设计，使得几何保持任务结构的可靠性，而学习则专注于处理接触敏感行为的局限性。
关键设计：在实现过程中，设置了适当的损失函数以平衡名义控制与残差修正的权重，同时优化了网络结构以适应动态环境中的局部修正需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最终策略在512个固定条件下实现了98.50%的成功率，较名义控制的37.89%有显著提升。在物理xArm7上，成功率从26.7%提升至63.3%，失败次数减少，显示出残差控制的明显优势。
🎯 应用场景
该研究的潜在应用领域包括智能家居、仓储机器人以及任何需要精确物体放置的自动化系统。通过提高机器人在复杂环境中的操作能力，能够显著提升其在实际应用中的效率和可靠性，未来可能推动更广泛的机器人技术应用。
📄 摘要（原文）
Placing a grasped book into a tight shelf is a compact but difficult contact-rich control problem: millimetre-scale pose error can turn a geometrically valid approach into jamming, failed release, or incomplete seating. We study this final phase after grasp acquisition and global approach, and ask how control authority should be divided between known geometry and learned behaviour. Our method retains a nominal task-space controller for structured insertion and seating, while residual PPO supplies bounded local corrections and decides when to release. Only the brief open-retreat-reclose transition is scripted. For the final policy used on hardware, a deployment-matched simulation evaluation over 512 fixed conditions yields 98.50 percent mean success (0.23 percentage-point sample SD) across three independent training runs, compared with 37.89 percent for nominal control. On the physical xArm7, 60 trials over 30 matched conditions show the same qualitative advantage: residual control raises success from 26.7 percent to 63.3 percent, reduces failures from 22 to 11, and wins 13 of the 15 matched conditions in which the two controllers differ. Robustness tests show that performance remains above 87 percent under initialization perturbations up to 1.5x, while very tight clearances expose the geometric limit of local correction. These results support a hybrid design in which geometry preserves reliable task structure and learning is concentrated on the contact-sensitive behaviour that fixed rules handle poorly.