FACET: Force-Adaptive Control via Impedance Reference Tracking for Legged Robots
作者: Botian Xu, Haoyang Weng, Qingzhou Lu, Yang Gao, Huazhe Xu
分类: cs.RO, cs.AI, cs.LG
发布日期: 2025-05-11 (更新: 2025-05-19)
💡 一句话要点
FACET：基于阻抗参考跟踪的力自适应控制，提升腿足机器人交互能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 腿足机器人 强化学习 阻抗控制 力自适应控制 人机交互
📋 核心要点
- 现有腿足机器人控制方法对作用力不敏感，导致机器人行为僵硬，在交互中控制效果差，存在安全隐患。
- FACET方法通过强化学习训练策略，使机器人模仿虚拟的质量-弹簧-阻尼系统，实现对外部作用力的精细控制。
- 实验表明，FACET方法显著提升了机器人对冲击的鲁棒性，实现了可控的柔顺性，并在物理机器人上验证了其有效性。
📝 摘要（中文）
强化学习(RL)在腿足机器人控制领域取得了显著进展，实现了在各种地形上的运动和复杂的loco-manipulation能力。然而，常用的基于位置或速度跟踪的目标函数对机器人所受的力不敏感，导致僵硬且潜在危险的行为，以及在强力交互期间的较差控制。为了解决这个局限性，我们提出了“基于阻抗参考跟踪的力自适应控制”(FACET)。受到阻抗控制的启发，我们使用RL训练一个控制策略来模仿一个虚拟的质量-弹簧-阻尼系统，通过操纵虚拟弹簧来实现外部力下的精细控制。在仿真中，我们证明了我们的四足机器人实现了对大冲击(高达200 Ns)的改进的鲁棒性，并表现出可控的柔顺性，实现了碰撞冲击的80%的降低。该策略被部署到物理机器人上，以展示柔顺性以及通过动觉控制和拉动高达其重量2/3的有效载荷来参与大力的能力。进一步扩展到腿式loco-manipulator和人形机器人表明，我们的方法适用于更复杂的设置，以实现全身柔顺控制。
🔬 方法详解
问题定义：现有腿足机器人控制方法，如基于位置或速度跟踪的控制，忽略了机器人与环境交互时产生的力。这导致机器人行为僵硬，无法有效吸收冲击，在需要进行力交互的任务中表现不佳，甚至可能造成损坏或危险。
核心思路：FACET的核心思路是利用强化学习训练一个控制策略，使机器人能够模仿一个虚拟的质量-弹簧-阻尼系统。通过调整虚拟弹簧的参数，可以控制机器人的柔顺性，使其能够适应外部作用力，从而实现更安全、更有效的力交互。
技术框架：FACET方法包含以下主要步骤：1) 定义一个虚拟的质量-弹簧-阻尼系统，其输出为期望的力。2) 使用强化学习训练一个控制策略，该策略以机器人的状态和期望的力作为输入，输出关节力矩。3) 通过阻抗控制，将关节力矩转化为关节位置或速度指令。4) 在仿真和真实机器人上进行实验验证。
关键创新：FACET的关键创新在于将阻抗控制的思想引入到强化学习中，从而实现了对腿足机器人力交互的精细控制。与传统的基于位置或速度跟踪的控制方法相比，FACET能够更好地适应外部作用力，提高机器人的鲁棒性和安全性。
关键设计：FACET使用了一种基于Actor-Critic的强化学习算法来训练控制策略。奖励函数的设计至关重要，需要平衡位置跟踪、力跟踪和能量消耗等多个目标。此外，虚拟质量-弹簧-阻尼系统的参数也需要仔细调整，以获得最佳的控制性能。网络结构使用了多层感知机，输入包括机器人的关节位置、速度、以及期望的力，输出为关节力矩。
🖼️ 关键图片
📊 实验亮点
在仿真实验中，FACET方法使四足机器人对高达200 Ns的冲击表现出更强的鲁棒性，并将碰撞冲击降低了80%。在真实机器人实验中，FACET方法展示了机器人的柔顺性，并使其能够通过动觉控制拉动高达其重量2/3的有效载荷。这些结果表明，FACET方法能够显著提升腿足机器人的力交互能力。
🎯 应用场景
FACET方法具有广泛的应用前景，例如：1) 复杂地形下的稳定行走；2) 人机协作任务，如搬运重物；3) 救援任务，在不确定环境中进行操作；4) 康复机器人，提供安全的辅助运动。该方法能够提升机器人的适应性和安全性，使其能够更好地服务于人类。
📄 摘要（原文）
Reinforcement learning (RL) has made significant strides in legged robot control, enabling locomotion across diverse terrains and complex loco-manipulation capabilities. However, the commonly used position or velocity tracking-based objectives are agnostic to forces experienced by the robot, leading to stiff and potentially dangerous behaviors and poor control during forceful interactions. To address this limitation, we present \emph{Force-Adaptive Control via Impedance Reference Tracking} (FACET). Inspired by impedance control, we use RL to train a control policy to imitate a virtual mass-spring-damper system, allowing fine-grained control under external forces by manipulating the virtual spring. In simulation, we demonstrate that our quadruped robot achieves improved robustness to large impulses (up to 200 Ns) and exhibits controllable compliance, achieving an 80% reduction in collision impulse. The policy is deployed to a physical robot to showcase both compliance and the ability to engage with large forces by kinesthetic control and pulling payloads up to 2/3 of its weight. Further extension to a legged loco-manipulator and a humanoid shows the applicability of our method to more complex settings to enable whole-body compliance control. Project Website: https://facet.pages.dev/