Evo-RL: Iterative Robot Reinforcement Learning from Selective Experience

📄 arXiv: 2610.13345v1 📥 PDF

作者: Kai Ye, Yifan Jin, Qianhang Luo, Hongru Zhang, Jiedong Zhang, Shuyuan Hu, Song-Yuan Wu, Jihai Xu, Jie Zhao, Bo Zhao

分类: cs.RO

发布日期: 2026-10-09

💡 一句话要点

提出Evo-RL以解决机器人强化学习中的经验选择问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人 经验选择 人类干预 策略优化 高精度操作 数据集

📋 核心要点

  1. 现有的强化学习方法在机器人策略改进中存在经验价值不均的问题，导致低效或冗余行为的存在。
  2. Evo-RL通过结合人类干预与优势引导的经验选择，迭代优化机器人策略，提升学习效率。
  3. 在真实高精度操作任务中，Evo-RL的成功率比基线方法RECAP提高了30.46%，显示出显著的改进效果。

📝 摘要（中文）

现有的强化学习方法通过结合人类修正与自主回放来改进机器人策略。然而，积累的经验在政策改进中的价值各异，成功轨迹中也可能包含低效或冗余行为，这促使我们对经验重用进行更为选择性的处理。为此，我们提出了Evo-RL，这是一种迭代强化学习方法，结合了人类干预与优势引导的经验选择。Evo-RL利用人类修正和来自成功轨迹的正估计优势经验，迭代地优化策略。为支持从不同经验源学习，我们引入了RW-RL-Dataset，涵盖了超过1000小时的四种机器人实例。在一个真实的高精度操作任务中，Evo-RL的尝试成功率比RECAP提高了30.46%。我们的代码、模型检查点和数据集均已公开。

🔬 方法详解

问题定义：本论文旨在解决现有强化学习方法在机器人策略改进中面临的经验选择不当问题。现有方法往往无法有效区分不同经验的价值，导致低效的学习过程。

核心思路：Evo-RL的核心思路是通过结合人类干预和优势引导的经验选择，来优化机器人策略。通过迭代地利用高价值的经验，Evo-RL能够更有效地提升策略性能。

技术框架：Evo-RL的整体架构包括人类干预模块、经验选择模块和策略优化模块。首先，收集人类的修正反馈，然后根据经验的优势值进行选择，最后迭代优化策略以提升成功率。

关键创新：Evo-RL的关键创新在于引入了优势引导的经验选择机制，使得机器人能够更有效地利用成功轨迹中的高价值经验。这一机制与传统方法的随机经验重用形成了本质区别。

关键设计：在设计上，Evo-RL使用了特定的损失函数来衡量策略的改进，并通过动态调整经验选择的策略来优化学习过程。此外，RW-RL-Dataset的构建为算法提供了丰富的训练数据，支持多样化的学习场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Evo-RL在真实高精度操作任务中的尝试成功率比基线方法RECAP提高了30.46%。这一显著提升表明，Evo-RL在优化机器人策略方面具有强大的潜力，能够有效利用人类干预和高价值经验。

🎯 应用场景

Evo-RL在机器人领域的潜在应用广泛，包括工业自动化、医疗机器人、服务机器人等。通过提高机器人在复杂任务中的成功率，该方法能够显著提升机器人在实际应用中的效率和可靠性，推动智能机器人技术的发展。未来，Evo-RL的理念和方法也可能扩展到其他领域，如自动驾驶和无人机控制等。

📄 摘要（原文）

Existing real-world reinforcement learning methods improve robot policies by combining human corrections with autonomous rollouts. However, accumulated experience varies in its value for policy improvement, and even successful trajectories can contain inefficient or redundant behavior, motivating more selective experience reuse. To this end, we propose Evo-RL, an iterative reinforcement learning method that combines human interventions with advantage-guided experience selection. Evo-RL uses human corrections and experience with positive estimated advantages from successful trajectories to iteratively refine the policy. To support learning from these different experience sources, we introduce RW-RL-Dataset, which spans over 1,000 hours across four robot embodiments. On a real-world high-precision manipulation task, Evo-RL improves attempt success rate over RECAP by 30.46\%. Our code, model checkpoints, and dataset are publicly available.