Berkeley Humanoid: A Research Platform for Learning-based Control

📄 arXiv: 2407.21781v1 📥 PDF

作者: Qiayuan Liao, Bike Zhang, Xuanyu Huang, Xiaoyu Huang, Zhongyu Li, Koushil Sreenath

分类: cs.RO

发布日期: 2024-07-31

备注: 12 pages, 9 figures

💡 一句话要点

提出Berkeley Humanoid低成本人形机器人平台，用于学习控制研究

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人 强化学习 学习控制 领域随机化 仿真到真实 机器人平台 动态行走

📋 核心要点

  1. 现有的人形机器人平台成本高昂，仿真复杂，难以进行高效的学习控制算法研究。
  2. Berkeley Humanoid通过轻量化设计和低仿真复杂度，降低了学习算法的开发和部署难度。
  3. 实验表明，该平台能够实现稳健的户外地形运动，包括长距离行走和单/双腿跳跃等动态动作。

📝 摘要（中文）

本文介绍Berkeley Humanoid，一个可靠且低成本的中型人形机器人研究平台，专为基于学习的控制而设计。这款轻量级、内部构建的机器人专门针对学习算法，具有低仿真复杂度、拟人运动和高抗跌落可靠性。该机器人较小的仿真到真实差距使其能够在各种室外地形上实现敏捷而稳健的运动，这是通过使用轻量级领域随机化的简单强化学习控制器实现的。此外，我们展示了该机器人能够行进数百米，在陡峭的未铺砌小路上行走，并进行单腿和双腿跳跃，证明了其在动态行走方面的高性能。凭借全向运动能力和紧凑的设置下承受大的扰动，我们的系统旨在实现基于学习的人形机器人系统的可扩展的仿真到真实部署。更多详情请访问http://berkeley-humanoid.com。

🔬 方法详解

问题定义：现有的人形机器人研究平台通常面临成本高、仿真复杂度高以及仿真与真实环境差异大的问题。这些问题限制了学习控制算法在人形机器人上的应用和推广。特别是，复杂的仿真环境增加了训练时间和计算资源的需求，而较大的仿真-真实差距则导致在仿真环境中训练的策略难以直接迁移到真实机器人上。

核心思路：本文的核心思路是设计一个低成本、轻量级且仿真复杂度低的人形机器人平台，并采用轻量级的领域随机化方法来缩小仿真与真实环境之间的差距。通过简化机器人设计和仿真环境，可以加速学习算法的训练过程，并提高策略的泛化能力。

技术框架：Berkeley Humanoid平台的整体框架包括机器人硬件设计、仿真环境搭建和强化学习控制算法三个主要部分。机器人硬件采用轻量化材料和模块化设计，降低了成本和复杂性。仿真环境基于物理引擎，并采用领域随机化技术来模拟真实环境中的不确定性。强化学习控制算法则负责学习机器人的运动策略。

关键创新：该论文的关键创新在于将低成本硬件设计、低复杂度仿真和轻量级领域随机化相结合，实现了一个易于部署和学习的人形机器人平台。与传统的复杂人形机器人平台相比，Berkeley Humanoid降低了研究门槛，使得更多的研究者可以参与到人形机器人学习控制的研究中。

关键设计：在硬件设计方面，机器人采用了轻量化的铝合金骨架和低成本的电机。在仿真环境方面，采用了简化的物理模型，并对摩擦系数、质量分布等参数进行随机化。在强化学习算法方面，采用了Actor-Critic算法，并设计了合适的奖励函数和状态空间。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，Berkeley Humanoid能够在各种室外地形上实现稳健的运动，包括在陡峭的未铺砌小路上行走数百米，以及进行单腿和双腿跳跃等动态动作。通过简单的强化学习控制器和轻量级领域随机化，该机器人实现了较小的仿真到真实差距，证明了其在动态行走方面的高性能。

🎯 应用场景

该研究成果可应用于灾难救援、物流运输、家庭服务等领域。低成本人形机器人平台降低了人形机器人的应用门槛，使其能够更广泛地服务于社会。未来，该平台可以进一步扩展，例如增加视觉感知和操作能力，使其能够执行更复杂的任务。

📄 摘要（原文）

We introduce Berkeley Humanoid, a reliable and low-cost mid-scale humanoid research platform for learning-based control. Our lightweight, in-house-built robot is designed specifically for learning algorithms with low simulation complexity, anthropomorphic motion, and high reliability against falls. The robot's narrow sim-to-real gap enables agile and robust locomotion across various terrains in outdoor environments, achieved with a simple reinforcement learning controller using light domain randomization. Furthermore, we demonstrate the robot traversing for hundreds of meters, walking on a steep unpaved trail, and hopping with single and double legs as a testimony to its high performance in dynamical walking. Capable of omnidirectional locomotion and withstanding large perturbations with a compact setup, our system aims for scalable, sim-to-real deployment of learning-based humanoid systems. Please check http://berkeley-humanoid.com for more details.