MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning

📄 arXiv: 2410.14972v3 📥 PDF

作者: Suning Huang, Zheyu Zhang, Tianhai Liang, Yihan Xu, Zhehao Kou, Chenhao Lu, Guowei Xu, Zhengrong Xue, Huazhe Xu

分类: cs.RO, cs.LG

发布日期: 2024-10-19 (更新: 2025-07-04)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

MENTOR：面向视觉强化学习的任务导向扰动混合专家网络

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉强化学习 混合专家网络 任务导向扰动 机器人操作 样本效率

📋 核心要点

  1. 现有视觉强化学习算法样本效率低，限制了其在真实机器人任务中的应用。
  2. MENTOR采用混合专家网络作为骨干，并引入任务导向的扰动机制，提升样本效率。
  3. 实验表明，MENTOR在模拟和真实机器人任务中均显著优于现有方法，成功率大幅提升。

📝 摘要（中文）

视觉深度强化学习(RL)使机器人能够从视觉输入中学习非结构化任务的技能。然而，当前算法的样本效率较低，限制了它们的实际应用。本文提出了MENTOR，一种改进RL代理架构和优化的方法。具体来说，MENTOR用混合专家(MoE)骨干网络取代了标准的多层感知器(MLP)，并引入了一种面向任务的扰动机制。MENTOR在三个模拟基准测试中优于最先进的方法，并在三个具有挑战性的真实机器人操作任务中实现了平均83%的成功率，显著超过了现有最强的无模型视觉RL算法的32%的成功率。这些结果强调了样本效率在推进视觉RL用于现实世界机器人技术中的重要性。

🔬 方法详解

问题定义：论文旨在解决视觉强化学习中样本效率低的问题，特别是在真实机器人操作任务中。现有方法，如基于MLP的策略网络，难以有效利用视觉信息，导致学习速度慢，泛化能力差。

核心思路：MENTOR的核心思路是利用混合专家网络(MoE)增强策略网络的表达能力，并引入任务导向的扰动机制来探索更有价值的状态空间。MoE可以学习到多个不同的策略，每个策略专注于不同的子任务或状态，从而提高整体性能。任务导向的扰动则可以引导智能体探索与当前任务更相关的状态，加速学习过程。

技术框架：MENTOR的整体框架包括一个视觉编码器、一个MoE策略网络和一个强化学习算法（如SAC）。视觉编码器将原始图像转换为特征向量，MoE策略网络根据特征向量输出动作，强化学习算法根据环境反馈更新策略网络。任务导向的扰动被添加到动作中，以鼓励智能体探索更有价值的状态。

关键创新：MENTOR的关键创新在于将MoE和任务导向的扰动机制结合起来，用于视觉强化学习。MoE增强了策略网络的表达能力，使其能够学习到更复杂的策略。任务导向的扰动则提高了样本效率，加速了学习过程。这种结合使得MENTOR在真实机器人任务中表现出色。

关键设计：MoE网络由多个专家网络和一个门控网络组成。每个专家网络都是一个小的MLP，门控网络根据输入特征选择激活哪些专家网络。任务导向的扰动是通过计算当前状态的价值函数梯度来确定的，然后将梯度方向上的小扰动添加到动作中。损失函数包括标准的强化学习损失函数（如SAC损失）和一个正则化项，用于防止MoE网络中的专家网络过度专门化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MENTOR在三个模拟基准测试中优于最先进的方法，并在三个具有挑战性的真实机器人操作任务中实现了平均83%的成功率，显著超过了现有最强的无模型视觉RL算法的32%的成功率。这些结果表明MENTOR在样本效率和泛化能力方面具有显著优势。

🎯 应用场景

MENTOR在机器人操作、自动驾驶、游戏AI等领域具有广泛的应用前景。它可以帮助机器人更有效地学习复杂的技能，从而实现更智能、更自主的操作。例如，MENTOR可以用于训练机器人完成装配、抓取、导航等任务，提高生产效率和降低成本。此外，该方法还可以应用于自动驾驶领域，提高车辆的感知和决策能力，从而提高安全性。

📄 摘要（原文）

Visual deep reinforcement learning (RL) enables robots to acquire skills from visual input for unstructured tasks. However, current algorithms suffer from low sample efficiency, limiting their practical applicability. In this work, we present MENTOR, a method that improves both the architecture and optimization of RL agents. Specifically, MENTOR replaces the standard multi-layer perceptron (MLP) with a mixture-of-experts (MoE) backbone and introduces a task-oriented perturbation mechanism. MENTOR outperforms state-of-the-art methods across three simulation benchmarks and achieves an average of 83% success rate on three challenging real-world robotic manipulation tasks, significantly surpassing the 32% success rate of the strongest existing model-free visual RL algorithm. These results underscore the importance of sample efficiency in advancing visual RL for real-world robotics. Experimental videos are available at https://suninghuang19.github.io/mentor_page/.