UniIntervene++: An Adaptive Intervention Agent for Efficient Real-World Reinforcement Learning

📄 arXiv: 2610.03620v1 📥 PDF

作者: Yudong Lin, Haoyuan Deng, Zhuoxuan Yuan, Zaijia Yang, Yuanjiang Xue, Ziwei Wang

分类: cs.LG, cs.RO

发布日期: 2026-10-02

备注: Yudong Lin and Haoyuan Deng contributed equally. Ziwei Wang is the corresponding author. Code is available in our \href{https://github.com/dannyyudong/An-Adaptive-Intervention-Agent-for-Efficient-Real-World-Reinforcement-Learning}{GitHub repository}

🔗 代码/项目: GITHUB

💡 一句话要点

提出UniIntervene++以解决在线强化学习中的干预效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线强化学习 自适应干预 机器人操作 半马尔可夫决策 能力评估 轨迹修正 智能制造

📋 核心要点

  1. 现有的干预策略往往基于离线估计或固定规则，无法适应在线强化学习中策略的动态变化，导致干预效率低下。
  2. UniIntervene++通过自适应干预代理，实时学习并调整自主执行与辅助行为之间的控制分配，以适应策略的演变。
  3. 在五个真实操作任务中，UniIntervene++的平均成功率达到89.67%，相比基线提升至少6个百分点，人类干预减少至0.77%。

📝 摘要（中文）

在线强化学习（RL）使机器人策略能够通过物理交互不断改进，但所需的干预随着能力的演变而变化。现有的基于离线估计或固定决策规则的干预策略可能与当前策略不匹配。为此，本文提出了UniIntervene++，一种自适应干预代理，能够在在线RL过程中学习在自主执行与异构辅助行为之间分配控制。UniIntervene++通过统一的半马尔可夫决策过程，在线学习演变的RL策略、轨迹修正和任务结构化的CodePolicy的相对价值。通过无辅助执行定期探测RL策略，使控制分配能够响应其不断演变的能力。最终，结合经验学习使辅助行为能够改善RL策略，从而重塑未来的干预决策。实验表明，UniIntervene++在五个真实世界的操作任务中实现了89.67%的平均成功率，超越所有基线至少6个百分点，同时将人类干预减少至0.77%，相对减少幅度至少94.6%。

🔬 方法详解

问题定义：本文旨在解决在线强化学习中干预策略与当前策略不匹配的问题。现有方法无法动态调整干预策略，导致干预效率低下。

核心思路：UniIntervene++通过自适应干预代理，实时学习并调整控制分配，结合自主执行与辅助行为，以适应不断演变的RL策略。

技术框架：整体架构包括三个主要模块：演变的RL策略、轨迹修正和任务结构化的CodePolicy，所有模块在统一的半马尔可夫决策过程中进行在线学习。

关键创新：UniIntervene++的创新在于其能力自适应干预机制，能够实时探测RL策略的能力变化，从而动态调整干预策略，与现有基于固定规则的方法本质不同。

关键设计：在设计中，UniIntervene++采用了结合经验学习的策略，使得辅助行为能够反过来改善RL策略，并通过无辅助执行定期评估策略的能力，确保干预的及时性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UniIntervene++在五个真实操作任务中实现了89.67%的平均成功率，超越所有基线至少6个百分点，同时将人类干预减少至0.77%，相对减少幅度达到94.6%，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶、智能制造等需要实时决策和干预的场景。通过提高干预效率，UniIntervene++能够显著降低人类干预需求，提升系统的自主性和智能化水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online reinforcement learning (RL) enables robot policies to improve through physical interaction, but the assistance they require changes as their competence evolves. Existing intervention strategies based on offline estimates or fixed decision rules can therefore become mismatched to the current policy. To address this, we propose UniIntervene++, an adaptive intervention agent that learns to allocate control between autonomous execution and heterogeneous assisted behaviors during online RL. Specifically, UniIntervene++ first formulates the evolving RL policy, trajectory correction, and a task-structured CodePolicy as Options in a unified semi-Markov decision process and learns their relative values online. Building on this, competence-adaptive intervention periodically probes the RL policy through unassisted execution, keeping control allocation responsive to its evolving capability. Finally, coupled experience learning allows assisted behaviors to improve the RL policy, whose evolving outcomes in turn reshape future intervention decisions. In this way, UniIntervene++ jointly determines when to intervene, how to intervene, and when to return control as the RL policy improves. Across five real-world manipulation tasks, UniIntervene++ achieves an average success rate of 89.67%, outperforming all baselines by at least 6 percentage points, while reducing human intervention to 0.77%, a relative reduction of at least 94.6% from the best baseline. Code is available in our \href{https://github.com/dannyyudong/An-Adaptive-Intervention-Agent-for-Efficient-Real-World-Reinforcement-Learning}{GitHub repository}.