MoRE: Unlocking Scalability in Reinforcement Learning for Quadruped Vision-Language-Action Models

📄 arXiv: 2503.08007v1 📥 PDF

作者: Han Zhao, Wenxuan Song, Donglin Wang, Xinyang Tong, Pengxiang Ding, Xuelian Cheng, Zongyuan Ge

分类: cs.RO, cs.AI

发布日期: 2025-03-11

备注: Accepted by ICRA 2025

💡 一句话要点

MoRE：四足机器人视觉-语言-动作模型强化学习扩展性方案

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 四足机器人 视觉-语言-动作模型 强化学习 混合专家模型 低秩自适应 多任务学习 机器人控制

📋 核心要点

  1. 现有四足机器人难以在真实环境中流畅执行各种动作和任务，通用性不足。
  2. MoRE模型通过集成低秩自适应模块作为专家，并采用强化学习训练，提升模型对多任务的适应性。
  3. 实验表明，MoRE在多种技能上超越基线，并在真实场景中验证了其可行性。

📝 摘要（中文）

本文提出了一种新颖的四足机器人视觉-语言-动作（VLA）模型，即机器人专家混合模型（MoRE），旨在通过强化学习（RL）对大规模VLA模型进行微调，利用大量混合质量的数据。MoRE在密集的多模态大型语言模型（MLLM）中集成了多个低秩自适应模块作为不同的专家，形成一个稀疏激活的混合专家模型。这种设计使模型能够有效地适应各种下游任务。此外，在深入探索任务的结构属性后，我们采用基于强化学习的训练目标来训练我们的模型作为Q函数。从自动收集的混合质量数据中有效学习，提高了数据效率和模型性能。大量实验表明，MoRE在六种不同的技能上优于所有基线，并在分布外场景中表现出卓越的泛化能力。我们进一步在真实场景中验证了我们的方法，证实了我们方法的实用性，并为未来四足机器人多任务学习的研究奠定了坚实的基础。

🔬 方法详解

问题定义：现有四足机器人视觉-语言-动作模型难以有效利用大量混合质量数据进行训练，导致泛化能力不足，难以适应真实世界复杂环境中的多任务需求。现有方法在数据效率和模型性能方面存在瓶颈。

核心思路：MoRE的核心思路是将大型语言模型与强化学习相结合，利用混合专家模型结构，使模型能够针对不同任务学习不同的专家模块，并通过强化学习优化策略，从而提高数据效率和泛化能力。这种设计允许模型在不同任务之间共享知识，同时保持任务特定性。

技术框架：MoRE模型包含以下主要模块：1) 多模态大型语言模型（MLLM）：作为基础模型，处理视觉和语言输入。2) 低秩自适应（LoRA）模块：作为专家模块，针对不同任务进行微调。3) 混合专家（MoE）层：根据输入选择激活不同的专家模块。4) 强化学习模块：将模型训练为Q函数，优化动作策略。整体流程为：输入视觉和语言指令，MLLM提取特征，MoE层选择专家，LoRA模块生成动作，强化学习模块评估动作并更新模型参数。

关键创新：MoRE的关键创新在于将混合专家模型与强化学习相结合，用于四足机器人的VLA模型训练。与传统的端到端训练方法相比，MoRE能够更有效地利用混合质量的数据，并提高模型的泛化能力。此外，使用低秩自适应模块作为专家，降低了模型参数量，提高了训练效率。

关键设计：MoRE的关键设计包括：1) 使用低秩自适应（LoRA）模块作为专家，降低参数量。2) 设计强化学习奖励函数，鼓励模型完成任务并避免碰撞。3) 探索任务的结构属性，设计合适的Q函数。4) 采用稀疏激活的混合专家模型，提高模型容量和效率。具体的参数设置和损失函数细节在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoRE模型在六种不同的技能上优于所有基线模型，并在分布外场景中表现出更强的泛化能力。具体性能提升数据未知，但整体表现显著优于现有方法。真实场景验证也证实了该方法的实用性。

🎯 应用场景

MoRE模型可应用于各种四足机器人应用场景，例如搜救、巡检、物流等。该研究成果有助于提升四足机器人在复杂环境中的自主导航和任务执行能力，降低对人工干预的依赖，具有重要的实际应用价值和商业潜力。未来，该模型可以进一步扩展到其他类型的机器人平台，并与其他感知和控制技术相结合，实现更高级的机器人智能。

📄 摘要（原文）

Developing versatile quadruped robots that can smoothly perform various actions and tasks in real-world environments remains a significant challenge. This paper introduces a novel vision-language-action (VLA) model, mixture of robotic experts (MoRE), for quadruped robots that aim to introduce reinforcement learning (RL) for fine-tuning large-scale VLA models with a large amount of mixed-quality data. MoRE integrates multiple low-rank adaptation modules as distinct experts within a dense multi-modal large language model (MLLM), forming a sparse-activated mixture-of-experts model. This design enables the model to effectively adapt to a wide array of downstream tasks. Moreover, we employ a reinforcement learning-based training objective to train our model as a Q-function after deeply exploring the structural properties of our tasks. Effective learning from automatically collected mixed-quality data enhances data efficiency and model performance. Extensive experiments demonstrate that MoRE outperforms all baselines across six different skills and exhibits superior generalization capabilities in out-of-distribution scenarios. We further validate our method in real-world scenarios, confirming the practicality of our approach and laying a solid foundation for future research on multi-task learning in quadruped robots.