HeLoM: Hierarchical Learning for Whole-Body Loco-Manipulation in Hexapod Robot
作者: Xinrong Yang, Peizhuo Li, Hongyi Li, Junkai Lu, Linnan Chang, Yuhong Cao, Yifeng Zhang, Ge Sun, Guillaume Sartoretti
分类: cs.RO
发布日期: 2025-09-28 (更新: 2025-10-06)
💡 一句话要点
提出HeLoM框架，解决六足机器人全身协同重物推移操作难题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 六足机器人 全身协同操作 推移操作 分层控制 强化学习
📋 核心要点
- 现有方法难以使机器人稳定地推移重量接近自身的大型或不规则物体，尤其是在需要维持平衡和施加足够推力时。
- HeLoM框架通过分层规划和控制，协调六足机器人的多肢运动，实现接触力的动态分配，从而稳定地推移重物。
- 实验结果表明，HeLoM框架无需额外微调，即可在真实环境中稳定地将不同尺寸和属性的盒子推到指定位置。
📝 摘要（中文）
本文提出了一种基于学习的分层全身协同操作框架HeLoM，用于六足机器人执行推移操作。该框架受多足昆虫协同策略的启发，利用冗余接触点和高自由度来实现接触力的动态重新分配。HeLoM的高层规划器规划推移行为和目标物体姿态，而低层控制器则维持运动稳定性并生成动态一致的关节动作。在仿真环境中训练的策略可以直接部署到真实机器人上，无需额外微调。这种设计允许机器人在通过协调的前腿交互和后腿推进来施加连续且可控的推力时保持平衡。通过仿真和真实世界的实验验证了HeLoM的有效性。结果表明，我们的框架可以稳定地将各种尺寸和未知物理属性的盒子推到真实世界中的指定目标姿态。
🔬 方法详解
问题定义：六足机器人需要在真实环境中推移重量与其自身相当的物体，这需要机器人能够施加足够的推力，同时保持自身的稳定。现有的方法在处理重型或不规则物体时，难以同时满足这两个要求，尤其是在动态环境中。
核心思路：HeLoM的核心思路是模仿多足昆虫的协同运动策略，利用六足机器人冗余的接触点和高自由度，实现接触力的动态重新分配。通过协调多个肢体的运动，机器人可以在保持自身平衡的同时，施加连续且可控的推力。
技术框架：HeLoM框架采用分层结构，包括高层规划器和低层控制器。高层规划器负责规划推移行为和目标物体的姿态，确定机器人需要施加的推力方向和大小。低层控制器则负责维持机器人的运动稳定性，并根据高层规划器的指令，生成动态一致的关节动作。
关键创新：HeLoM的关键创新在于其分层控制策略和对多足机器人运动特性的充分利用。通过将推移任务分解为高层规划和低层控制两个层次，HeLoM能够有效地协调机器人的多个肢体，实现稳定且高效的推移操作。此外，HeLoM还利用了六足机器人冗余的接触点，实现了接触力的动态重新分配，从而提高了机器人的稳定性和适应性。
关键设计：HeLoM的低层控制器采用强化学习方法进行训练，目标是最大化机器人的稳定性和推力输出。损失函数包括平衡损失、推力损失和关节力矩限制。网络结构采用Actor-Critic框架，Actor网络负责生成关节动作，Critic网络负责评估当前状态的价值。仿真环境考虑了摩擦力、重力等因素，以提高策略的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HeLoM框架可以在真实环境中稳定地将各种尺寸和未知物理属性的盒子推到指定目标姿态，无需额外的微调。与传统的控制方法相比，HeLoM框架能够更好地适应不同的物体和环境，表现出更强的鲁棒性和泛化能力。具体性能数据未知。
🎯 应用场景
HeLoM框架可应用于物流仓储、灾难救援、建筑工地等场景，实现重物搬运、障碍物清理等任务。该研究有助于提升机器人在复杂环境中的作业能力，降低人工成本，提高工作效率，并为未来机器人自主操作提供技术支撑。
📄 摘要（原文）
Robots in real-world environments are often required to move/manipulate objects comparable in weight to their own bodies. Compared to grasping and carrying, pushing provides a more straightforward and efficient non-prehensile manipulation strategy, avoiding complex grasp design while leveraging direct contact to regulate an object's pose. Achieving effective pushing, however, demands both sufficient manipulation forces and the ability to maintain stability, which is particularly challenging when dealing with heavy or irregular objects. To address these challenges, we propose HeLoM, a learning-based hierarchical whole-body manipulation framework for a hexapod robot that exploits coordinated multi-limb control. Inspired by the cooperative strategies of multi-legged insects, our framework leverages redundant contact points and high degrees of freedom to enable dynamic redistribution of contact forces. HeLoM's high-level planner plans pushing behaviors and target object poses, while its low-level controller maintains locomotion stability and generates dynamically consistent joint actions. Our policies trained in simulation are directly deployed on real robots without additional fine-tuning. This design allows the robot to maintain balance while exerting continuous and controllable pushing forces through coordinated foreleg interaction and supportive hind-leg propulsion. We validate the effectiveness of HeLoM through both simulation and real-world experiments. Results show that our framework can stably push boxes of varying sizes and unknown physical properties to designated goal poses in the real world.