Learning a Speed-adaptive Hip Exoskeleton Control Policy Via Sim-to-real Reinforcement Learning
作者: Bin Li, Zhimin Hou, Jiacheng Hou, Zenian Liang, Tong Wu, Teng Ma, Chenglong Fu
分类: cs.RO
发布日期: 2026-09-23
💡 一句话要点
提出基于仿真到现实的强化学习框架以优化个性化外骨骼控制策略
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 外骨骼 个性化辅助 强化学习 仿真到现实 高斯过程 在线偏好学习 助力扭矩
📋 核心要点
- 现有的在线优化方法在个性化外骨骼辅助中效率低下，需大量人机交互评估，难以适应不同步态的需求。
- 本文提出的框架结合了仿真到现实的强化学习与在线偏好学习，旨在优化外骨骼的辅助策略。
- 实验结果表明，该方法能够在较少的现实评估下，快速识别个性化的助力扭矩配置，提升了效率。
📝 摘要（中文）
个性化外骨骼在不同步态下提供辅助仍然面临挑战。现有的在线优化方法样本效率低，需大量人机交互评估以优化助力扭矩配置。本文提出了一种将仿真到现实的强化学习与在线偏好学习相结合的框架，旨在实现个性化的外骨骼辅助。具体而言，通过在仿真中训练强化学习策略，学习不同步态下的辅助时机，并将学习到的策略在物理外骨骼上进行蒸馏和部署。基于高斯过程的偏好学习进一步通过用户比较来个性化辅助强度。通过将仿真中的辅助时机学习与现实实验中的强度优化解耦，显著减少了在线优化空间。人类实验表明，在较少的现实评估下，能够有效识别不同步态下的个性化助力扭矩配置。
🔬 方法详解
问题定义：本文旨在解决个性化外骨骼在不同步态下提供有效辅助的挑战。现有方法依赖于大量人机交互评估，导致样本效率低下，难以快速适应用户需求。
核心思路：本研究提出了一种将仿真到现实的强化学习与在线偏好学习相结合的框架，旨在通过仿真环境中学习辅助时机，并在现实中优化辅助强度，从而实现个性化的外骨骼控制策略。
技术框架：该框架包括两个主要模块：首先，在仿真环境中使用人类肌肉骨骼模型训练强化学习策略以学习辅助时机；其次，通过高斯过程的偏好学习方法在现实中优化辅助强度。
关键创新：本研究的创新点在于将辅助时机的学习与强度的优化解耦，显著减少了在线优化的复杂性，使得个性化辅助策略的识别更加高效。
关键设计：在技术细节上，采用了高斯过程进行偏好学习，设计了适应不同步态的损失函数，并在网络结构上进行了优化，以确保在现实环境中能够有效部署学习到的策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用该框架能够在较少的现实评估下，快速识别个性化的助力扭矩配置，相较于传统方法，样本效率提高了显著，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括康复医学、助行设备和智能外骨骼等，能够为不同步态的用户提供个性化的辅助，提升其行走能力和生活质量。未来，该框架有望在其他类型的助行设备中推广应用，进一步推动智能辅助技术的发展。
📄 摘要（原文）
Providing personalized exoskeleton assistance across varying walking speeds remains challenging. Existing online optimization methods are sample-inefficient, requiring extensive human-in-the-loop (HIL) evaluations to optimize the entire assistive torque profile. Sim-to-real reinforcement learning (RL) offers a promising alternative but cannot directly account for individual user preferences. We propose a framework integrating sim-to-real RL with online preference learning for personalized exoskeleton assistance. Specifically, assistance timing is learned in simulation by training RL policies with human musculoskeletal models across varying walking speeds. The learned policies are then distilled and deployed on a physical hip exoskeleton using onboard sensory observations. Gaussian-process-based preference learning further personalizes the assistance magnitude through pairwise user comparisons. By decoupling assistance timing learning in simulation from magnitude optimization in real-world experiments, our framework substantially reduces the online optimization space. Human-subject experiments demonstrate efficient identification of personalized assistive torque profiles across varying walking speeds with fewer real-world evaluations.