Simulation-Driven Imitation Learning for Biosignals-Free Shared-Autonomy Prosthetic Grasping
作者: Kaijie Shi, Wanglong Lu, Huiling Chen, Vinicius Prado da Fonseca, Ting Zou, Hanli Zhao, Xianta Jiang
分类: cs.RO
发布日期: 2026-06-05
💡 一句话要点
提出一种基于仿真的模仿学习方法以解决无生物信号的共享自主假肢抓取问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 共享自主 假肢控制 仿真框架 抓取成功率 场景泛化 机器人技术
📋 核心要点
- 现有的模仿学习方法在收集真实人类示范数据时面临高成本和变异性，限制了其可扩展性。
- 本文提出了一种仿真框架，自动生成多样化的抓取示范，结合物理可行的抓取合成和自然的到达轨迹。
- 实验结果显示，学习到的策略在三种真实场景中实现了超过90%的抓取成功率，优于基线方法。
📝 摘要（中文）
无生物信号的共享自主控制上肢假肢旨在实现自然且低努力的操作，而不依赖于肌电图或其他生理信号。尽管近期基于模仿学习的方法显示出良好的效果，但由于收集大量真实人类示范数据的成本和变异性，其可扩展性受到限制。本文提出了一种可扩展的仿真框架，自动生成多样化的抓取示范，结合了物理可行的抓取合成、自然的到达轨迹重定向和在程序生成的室内环境中的抓取执行。通过广泛的仿真基准测试，我们评估了对象和场景的泛化能力，并比较了几种代表性的最先进的模仿学习方法。结果表明，模拟示范足够丰富且一致，能够有效地进行策略学习。在三种真实场景中，学习到的从仿真到现实的策略实现了超过90%的抓取成功率，超越了基线方法，并展现出更强的泛化能力，突显了基于仿真训练在无生物信号共享自主假肢抓取中的潜力。
🔬 方法详解
问题定义：本文旨在解决无生物信号的共享自主假肢抓取中的示范数据收集困难，现有方法在获取真实示范数据时面临高成本和变异性的问题。
核心思路：通过构建一个可扩展的仿真框架，自动生成多样化的抓取示范，避免依赖真实世界的数据收集，从而提高模仿学习的可行性和效率。
技术框架：该框架包括三个主要模块：物理可行的抓取合成、自然的到达轨迹重定向和在程序生成的室内环境中的抓取执行。通过这些模块，系统能够记录腕部视角观察、身体感知和动作，构建大规模示范数据集。
关键创新：最重要的创新在于通过仿真生成丰富且一致的抓取示范，显著提升了模仿学习的效果，与传统依赖真实数据的方法相比，具有更高的灵活性和可扩展性。
关键设计：在设计中，采用了多种参数设置和损失函数，以确保生成的抓取示范在物理上可行且符合自然行为，同时优化了网络结构以提高学习效率。具体的技术细节包括抓取合成的物理约束和轨迹重定向算法的实现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，学习到的从仿真到现实的策略在三种真实场景中实现了超过90%的抓取成功率，显著优于基线方法，展现出更强的泛化能力，验证了基于仿真训练的有效性。
🎯 应用场景
该研究的潜在应用领域包括假肢控制、机器人抓取和人机交互等。通过实现无生物信号的共享自主控制，能够大幅提升假肢用户的操作体验，降低操作难度，未来可能在医疗康复和智能辅助设备中发挥重要作用。
📄 摘要（原文）
Biosignals-free shared-autonomy control of upper-limb prosthetic hands aims to enable natural and low-effort manipulation without relying on EMG or other physiological signals. Recent imitation-learning-based approaches have shown promising results, but their scalability is limited by the cost and variability of collecting large amounts of real-world human demonstration data. In this work, we present a scalable simulation framework that automatically generates diverse reach-to-grasp demonstrations from a wrist-mounted virtual camera. The framework combines physically feasible grasp synthesis, natural reaching trajectories retargeting, and reach--grasp--lift execution in procedurally generated indoor environments. It records wrist-view observations, proprioception, and actions to build a large-scale demonstration dataset for imitation learning. Through extensive simulation benchmarks, we evaluate object and scene generalization and compare several representative state-of-the-art imitation learning methods. Results show that the simulated demonstrations are sufficiently rich and consistent for effective policy learning. In three realistic settings, the learned sim-to-real policy achieves over 90\% grasp success, surpasses baseline methods, and exhibits stronger generalization, highlighting the promise of simulation-driven training for biosignals-free shared-autonomy prosthetic grasping. The demonstrations are available at \href{https://sites.google.com/view/sim-prosthetic-grasp/home}{https://sites.google.com/view/sim-prosthetic-grasp/home}.