BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models
作者: Weihui Zhao, Xiaohan Yan, Zunian Wan, Xuan Du, Zhaozhan Chi, Jianbo Mao, Ruipu Wu, Rushuai Yang, Houlin Li, Shukai Yang, Jing Wu, Yuxiang Yan, Yongcheng Liu, Chuankang Li, Guanghui Ren, Wei Shan, Maoqing Yao
分类: cs.RO, cs.AI
发布日期: 2026-09-23
💡 一句话要点
提出BEE框架以解决现实世界强化学习中的人类干预问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 强化学习 人类干预 机器人操作 策略优化
📋 核心要点
- 现有的在线强化学习方法在处理人类干预时存在不足，无法有效利用人类的修正信息。
- BEE框架通过将人类修正视为约束证据，允许在不同动作维度上灵活调整策略优化过程。
- 实验结果表明，BEE在所有任务中平均成功率达到91.2%，显著高于其他基线方法。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在长时间操作中表现出色，但其成功依赖于几个精度至关重要的阶段，微米级的误差可能会导致之前的所有进展付诸东流。在线强化学习（RL）能够优化这些关键动作，但在真实机器人上自由探索的成本过高，因此人类的修正变得不可或缺。现有的在线RL方法要么无法有效整合这些修正，要么将其视为统一的监督信号。为此，本文提出了BEE，一个适应干预的框架，允许在冻结的VLA上进行现实世界的RL，超越专家模仿。我们将人类修正视为对约束的证据，通过修正模型预测人类如何修正给定的VLA提案及其在每个动作维度上的一致性。BEE在三个真实世界的操作任务和一个LIBERO-Pro仿真任务上进行了评估，取得了最高的成功率和最低的人类干预率。
🔬 方法详解
问题定义：本文旨在解决现实世界强化学习中人类干预信息的有效整合问题。现有方法无法充分利用人类的修正，导致学习效率低下。
核心思路：BEE框架通过将人类修正视为对策略优化的约束，而非简单的动作模仿，来提升策略学习的有效性。这样设计的目的是为了更好地利用人类修正的可靠性和一致性。
技术框架：BEE的整体架构包括修正模型、策略优化模块和反馈机制。修正模型用于预测人类修正的方式及其一致性，策略优化模块则根据这些信息调整策略。
关键创新：BEE的核心创新在于将人类修正视为约束证据，而非直接模仿。这一方法使得策略优化能够在不同维度上灵活调整，从而提高学习效率。
关键设计：在BEE中，修正模型的设计考虑了每个动作维度的一致性，优化过程中根据一致性调整约束的紧密程度。损失函数的设计也反映了这一点，以确保在一致性高的维度上，策略更接近人类修正。
🖼️ 关键图片
📊 实验亮点
在实验中，BEE在所有任务中平均成功率达到91.2%，显著高于RLT的57.5%和DSRL的42.1%。此外，BEE在所有真实世界任务中实现了最低的人类干预率，展示了其在实际应用中的优势。
🎯 应用场景
BEE框架具有广泛的应用潜力，尤其在需要人机协作的机器人操作领域。通过有效整合人类的修正信息，BEE可以提升机器人在复杂环境中的操作能力，未来可能在自动化制造、服务机器人等领域发挥重要作用。
📄 摘要（原文）
Vision-language-action (VLA) models handle long-horizon manipulation, yet success hinges on a few precision-critical phases where millimeter-scale errors undo all prior progress. Online reinforcement learning (RL) can optimize exactly these actions, but free exploration is far too costly on real robots, which makes human corrections indispensable. However, existing online RL methods for VLAs either cannot incorporate such corrections or fold them into undifferentiated supervision. Yet human corrections are not uniformly noisy but reliable along some action dimensions and variable along others. Building on this, we introduce BEE, an intervention-adaptive framework for real-world RL on a frozen VLA that lets the policy go BEyond Expert imitation. We formulate human corrections not as actions to reproduce but as evidence about a constraint: a Correction Model predicts how a human would correct a given VLA proposal and how consistent the correction is along each action dimension. This predicted consistency sets the per-dimension tightness of a constraint on policy optimization. Where corrections are consistent the policy stays close to the human, and where they vary, the constraint relaxes. We evaluate BEE on three real-world manipulation tasks and one LIBERO-Pro simulation task at a matched online-data budget. BEE attains the highest success rate on every task, 91.2% on average against 57.5% for RLT and 42.1% for DSRL, and the lowest human intervention rate on all real-world tasks.