Learning Multi-Agent Loco-Manipulation for Long-Horizon Quadrupedal Pushing
作者: Yuming Feng, Chuye Hong, Yaru Niu, Shiqi Liu, Yuxiang Yang, Wenhao Yu, Tingnan Zhang, Jie Tan, Ding Zhao
分类: cs.RO, cs.AI, cs.LG, cs.MA
发布日期: 2024-11-11 (更新: 2025-03-29)
💡 一句话要点
提出一种多智能体强化学习框架，用于四足机器人长时程推物操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 四足机器人 长时程规划 推物操作 分层控制
📋 核心要点
- 四足机器人运动能力显著提升，但在处理大型物体方面的操作能力仍然有限，限制了其在现实场景中的应用。
- 提出一种分层多智能体强化学习框架，通过高层规划、中层目标导向和低层运动控制，实现长时程推物操作。
- 实验表明，该方法在仿真和真实环境中均表现出色，显著提高了推物任务的成功率和效率。
📝 摘要（中文）
本文提出了一种用于多足机器人进行障碍物感知的长时程推物任务的多智能体强化学习框架。该框架采用三层控制结构：高层控制器结合RRT规划器和集中式自适应策略生成子目标；中层控制器使用分散式目标条件策略引导机器人达到子目标；预训练的低层运动策略执行运动指令。在仿真环境中，该方法显著优于基线方法，成功率提高36.0%，完成时间缩短24.5%。该框架成功地实现了Go1机器人在真实世界中进行长时程、障碍物感知的操作任务，例如推立方体和推T型物体。
🔬 方法详解
问题定义：现有四足机器人在操作大型物体，特别是进行长时程、需要避障的推物任务时，能力不足。现有的方法通常难以处理复杂环境和长时间的任务规划，导致成功率低、完成时间长。
核心思路：将复杂的长时程推物任务分解为多个子目标，通过分层控制策略实现。高层负责全局规划，中层负责局部导航，低层负责运动控制。这种分层结构降低了问题的复杂度，使得多智能体协同操作成为可能。
技术框架：该框架包含三个层级：1) 高层控制器：结合RRT规划器和集中式自适应策略，生成一系列子目标点。RRT负责探索环境，自适应策略根据当前状态调整子目标。2) 中层控制器：使用分散式目标条件策略，引导每个机器人向子目标移动。每个机器人独立决策，实现去中心化控制。3) 低层控制器：使用预训练的运动策略，执行中层控制器发出的运动指令。
关键创新：该方法的核心创新在于将长时程推物任务分解为分层控制问题，并结合了RRT规划、集中式自适应策略和分散式目标条件策略。这种混合方法充分利用了不同策略的优势，提高了任务的成功率和效率。与现有方法相比，该方法能够更好地处理复杂环境和长时间的任务规划。
关键设计：高层控制器的自适应策略采用神经网络进行参数化，通过强化学习进行训练，以适应不同的环境和任务需求。中层控制器的目标条件策略也采用神经网络进行参数化，并使用奖励函数引导机器人向子目标移动。低层控制器的运动策略使用预训练的策略，以保证机器人的运动稳定性。
🖼️ 关键图片
📊 实验亮点
在仿真实验中，该方法在推立方体和推T型物体的任务中，相比于最佳基线方法，成功率提高了36.0%，完成时间缩短了24.5%。此外，该框架还在真实的Go1机器人上成功进行了推立方体和推T型物体的实验，验证了其在真实环境中的可行性和有效性。
🎯 应用场景
该研究成果可应用于搜索与救援、建筑施工、工业自动化和房间整理等领域。多足机器人可以通过协同操作，完成复杂环境下的物体搬运和操作任务，提高工作效率和安全性。未来，该技术还可以扩展到更多类型的机器人和更复杂的任务场景，例如多机器人协同装配、灾难救援等。
📄 摘要（原文）
Recently, quadrupedal locomotion has achieved significant success, but their manipulation capabilities, particularly in handling large objects, remain limited, restricting their usefulness in demanding real-world applications such as search and rescue, construction, industrial automation, and room organization. This paper tackles the task of obstacle-aware, long-horizon pushing by multiple quadrupedal robots. We propose a hierarchical multi-agent reinforcement learning framework with three levels of control. The high-level controller integrates an RRT planner and a centralized adaptive policy to generate subgoals, while the mid-level controller uses a decentralized goal-conditioned policy to guide the robots toward these sub-goals. A pre-trained low-level locomotion policy executes the movement commands. We evaluate our method against several baselines in simulation, demonstrating significant improvements over baseline approaches, with 36.0% higher success rates and 24.5% reduction in completion time than the best baseline. Our framework successfully enables long-horizon, obstacle-aware manipulation tasks like Push-Cuboid and Push-T on Go1 robots in the real world.