Humanoid Hanoi: Investigating Shared Whole-Body Control for Skill-Based Box Rearrangement
作者: Minku Kim, Kuan-Chia Chen, Aayam Shrestha, Li Fuxin, Stefan Lee, Alan Fern
分类: cs.RO
发布日期: 2026-02-14 (更新: 2026-02-23)
备注: 10 pages, 6 figures, Project page: https://osudrl.github.io/Humanoid_Hanoi/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于共享全身控制的人形机器人技能化箱子重排框架，解决长时程任务难题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 人形机器人 全身控制 技能学习 长时程任务 汉诺塔 领域随机化 数据聚合
📋 核心要点
- 现有技能组合方法依赖于独立的低级控制器，缺乏统一接口，限制了技能间的泛化和组合能力。
- 提出一种基于共享全身控制器（WBC）的技能框架，所有技能通过统一的WBC执行，实现闭环控制和技能组合。
- 通过数据聚合增强WBC训练，提升长时程任务的鲁棒性，并在Humanoid Hanoi基准上验证了方法的有效性。
📝 摘要（中文）
本文研究了一种基于技能的人形机器人箱子重排框架，该框架通过在任务级别对可重用技能进行排序来实现长时程执行。在我们的架构中，所有技能都通过一个共享的、任务无关的全身控制器（WBC）执行，为技能组合提供了一致的闭环接口，这与每个技能使用单独的低级控制器的非共享设计形成对比。我们发现，简单地重用相同的预训练WBC会降低长时程的鲁棒性，因为新的技能及其组合会引起状态和命令分布的偏移。我们通过一个简单的数据聚合程序来解决这个问题，该程序使用在领域随机化下闭环技能执行的rollout来增强共享WBC的训练。为了评估该方法，我们引入了Humanoid Hanoi，这是一个长时程的汉诺塔箱子重排基准，并报告了在模拟和Digit V3人形机器人上的结果，展示了在扩展时程上的完全自主重排，并量化了共享WBC方法相对于非共享基线的优势。项目页面：https://osudrl.github.io/Humanoid_Hanoi/
🔬 方法详解
问题定义：论文旨在解决人形机器人长时程箱子重排任务，例如汉诺塔问题。现有方法通常为每个技能设计独立的低级控制器，导致技能之间缺乏统一的接口，难以实现有效的技能组合和泛化。此外，简单地组合预训练的技能会导致状态和命令分布偏移，降低长时程任务的鲁棒性。
核心思路：论文的核心思路是使用一个共享的、任务无关的全身控制器（WBC）来控制所有技能。通过共享WBC，所有技能都通过一个统一的闭环接口执行，从而简化了技能组合和泛化。为了解决长时程任务中的分布偏移问题，论文提出了一种数据聚合方法，通过收集闭环技能执行的数据来增强WBC的训练。
技术框架：整体框架包含两个主要部分：技能库和共享全身控制器（WBC）。技能库包含一系列预定义的技能，例如抓取、放置等。WBC负责根据当前状态和目标技能生成控制指令，驱动人形机器人执行任务。任务规划器负责根据任务目标选择合适的技能序列。框架通过闭环控制不断调整机器人状态，直至完成任务。
关键创新：最重要的技术创新点在于使用共享的全身控制器（WBC）来统一控制所有技能。与传统的为每个技能设计独立控制器的做法不同，共享WBC提供了一个统一的接口，简化了技能组合和泛化。此外，数据聚合方法通过收集闭环技能执行的数据来增强WBC的训练，提高了长时程任务的鲁棒性。
关键设计：数据聚合过程是关键设计之一。具体来说，首先使用领域随机化训练一个初始的共享WBC。然后，使用该WBC执行技能序列，并收集执行过程中的状态和命令数据。将收集到的数据添加到原始训练数据中，重新训练WBC。重复这个过程多次，以逐步提高WBC的鲁棒性。损失函数通常包括状态跟踪误差、力矩限制等，以保证机器人的稳定性和安全性。网络结构方面，可以使用循环神经网络（RNN）来处理时序数据，提高控制器的预测能力。
🖼️ 关键图片
📊 实验亮点
论文在模拟和真实的Digit V3人形机器人上进行了实验验证。在Humanoid Hanoi基准测试中，共享WBC方法显著优于非共享基线，成功完成了长时程的箱子重排任务。实验结果表明，共享WBC方法能够有效地提高长时程任务的鲁棒性和泛化能力。具体性能数据在论文中有详细展示。
🎯 应用场景
该研究成果可应用于人形机器人在复杂环境中的操作任务，例如仓库自动化、家庭服务机器人等。通过技能化的任务分解和共享控制器的使用，可以提高机器人的灵活性和适应性，使其能够完成更加复杂的任务。未来，该方法可以扩展到其他类型的机器人和任务，例如四足机器人、无人机等。
📄 摘要（原文）
We investigate a skill-based framework for humanoid box rearrangement that enables long-horizon execution by sequencing reusable skills at the task level. In our architecture, all skills execute through a shared, task-agnostic whole-body controller (WBC), providing a consistent closed-loop interface for skill composition, in contrast to non-shared designs that use separate low-level controllers per skill. We find that naively reusing the same pretrained WBC can reduce robustness over long horizons, as new skills and their compositions induce shifted state and command distributions. We address this with a simple data aggregation procedure that augments shared-WBC training with rollouts from closed-loop skill execution under domain randomization. To evaluate the approach, we introduce Humanoid Hanoi, a long-horizon Tower-of-Hanoi box rearrangement benchmark, and report results in simulation and on the Digit V3 humanoid robot, demonstrating fully autonomous rearrangement over extended horizons and quantifying the benefits of the shared-WBC approach over non-shared baselines. Project page: https://osudrl.github.io/Humanoid_Hanoi/