Learning Quiet Walking for a Small Home Robot
作者: Ryo Watanabe, Takahiro Miki, Fan Shi, Yuki Kadokawa, Filip Bjelonic, Kento Kawaharazuka, Andrei Cramariuc, Marco Hutter
分类: cs.RO
发布日期: 2025-02-16 (更新: 2025-02-28)
备注: accepted at ICRA 2025
💡 一句话要点
提出基于强化学习的足端速度控制方法，降低小型家庭机器人的行走噪声
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 四足机器人 强化学习 Sim-to-Real 行走噪声 足端速度控制
📋 核心要点
- 四足机器人在家庭场景应用广泛，但行走噪声，尤其是脚步声，是用户体验的痛点。
- 论文提出基于Sim-to-Real的强化学习方法，通过控制足端接触速度来降低行走噪声。
- 实验结果表明，该方法优于传统强化学习基线和手工设计的商业控制器，实现了更安静的行走。
📝 摘要（中文）
随着家庭机器人日益普及，它们越来越多地融入家庭，提供陪伴和帮助。四足机器人，特别是那些类似狗的机器人，已经成为传统宠物的流行替代品。然而，用户反馈表明，这些机器人在家中行走时产生的噪音，特别是响亮的脚步声，令人担忧。为了解决这个问题，我们提出了一种基于模拟到真实（sim-to-real）的强化学习（RL）方法，以最小化与脚步声高度相关的足端接触速度。我们的框架包含三个关键要素：学习变化的PD增益以主动阻尼和加强每个关节，利用足端接触传感器，以及采用课程学习来逐步强制执行对足端接触速度的惩罚。实验表明，与强化学习基线和精心设计的手工索尼商业控制器相比，我们学习到的策略实现了卓越的安静性。此外，还展示了鲁棒性和安静性之间的权衡。这项研究有助于开发更安静、更用户友好的家庭环境中的机器人伙伴。
🔬 方法详解
问题定义：现有四足机器人在家庭环境中行走时，脚步声过大，影响用户体验。传统的控制方法难以有效降低足端接触速度，从而导致噪声问题。因此，需要一种能够主动控制足端接触速度，从而降低行走噪声的方法。
核心思路：论文的核心思路是通过强化学习训练一个策略，该策略能够控制机器人的关节，从而最小化足端接触速度。通过降低足端接触速度，可以有效降低脚步声，提高用户体验。同时，考虑到实际机器人与仿真环境的差异，采用Sim-to-Real的方法，在仿真环境中训练策略，然后迁移到真实机器人上。
技术框架：整体框架包括仿真环境、强化学习算法和真实机器人。首先，在仿真环境中建立机器人的模型，并定义奖励函数，该奖励函数包括对足端接触速度的惩罚项。然后，使用强化学习算法训练一个策略，该策略能够根据机器人的状态（例如关节角度、速度等）控制机器人的关节。最后，将训练好的策略迁移到真实机器人上，并通过足端接触传感器获取足端接触信息，用于策略的执行。
关键创新：论文的关键创新在于：1) 使用强化学习方法主动控制足端接触速度，从而降低行走噪声；2) 结合变化的PD增益，主动阻尼和加强每个关节，从而更精细地控制足端运动；3) 采用课程学习，逐步增加对足端接触速度的惩罚，从而提高训练效率和策略的鲁棒性。
关键设计：论文的关键设计包括：1) 奖励函数的设计，包括对足端接触速度的惩罚项、对行走速度的奖励项以及对能量消耗的惩罚项；2) 强化学习算法的选择，论文采用了一种基于Actor-Critic的强化学习算法；3) 课程学习策略的设计，论文采用了一种逐步增加足端接触速度惩罚的课程学习策略；4) PD增益的动态调整范围，需要根据机器人本身的物理特性进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法学习到的策略在降低行走噪声方面优于传统的强化学习基线和手工设计的索尼商业控制器。具体来说，与基线方法相比，该方法能够显著降低足端接触速度，从而降低脚步声。同时，实验还展示了鲁棒性和安静性之间的权衡，表明可以通过调整奖励函数中的权重来平衡机器人的鲁棒性和安静性。
🎯 应用场景
该研究成果可应用于各种小型家庭机器人，特别是四足机器人。通过降低行走噪声，可以提高机器人在家庭环境中的用户体验，使其更适合作为陪伴机器人或辅助机器人。此外，该方法还可以推广到其他需要降低接触噪声的机器人应用中，例如医疗机器人或精密仪器操作机器人。
📄 摘要（原文）
As home robotics gains traction, robots are increasingly integrated into households, offering companionship and assistance. Quadruped robots, particularly those resembling dogs, have emerged as popular alternatives for traditional pets. However, user feedback highlights concerns about the noise these robots generate during walking at home, particularly the loud footstep sound. To address this issue, we propose a sim-to-real based reinforcement learning (RL) approach to minimize the foot contact velocity highly related to the footstep sound. Our framework incorporates three key elements: learning varying PD gains to actively dampen and stiffen each joint, utilizing foot contact sensors, and employing curriculum learning to gradually enforce penalties on foot contact velocity. Experiments demonstrate that our learned policy achieves superior quietness compared to a RL baseline and the carefully handcrafted Sony commercial controllers. Furthermore, the trade-off between robustness and quietness is shown. This research contributes to developing quieter and more user-friendly robotic companions in home environments.