ExoBridge: Learning a Bare Hand to Hand-Worn Exoskeleton Mapping through Human Limb Coupling
作者: Ruitong Tian, Xianyao Li, Noah B. Wilson, Fang Xu, Eric Jing Du
分类: cs.RO
发布日期: 2026-10-06
备注: 8 pages, 6 figures
💡 一句话要点
提出ExoBridge以解决裸手与穿戴式外骨骼映射问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 人机协作 外骨骼 触觉反馈 视觉学习 双手协调 机器人学习 时序模型
📋 核心要点
- 核心问题：现有方法在获取裸手交互的运动和触觉监督时面临挑战，难以实现有效的映射。
- 方法要点：ExoBridge框架通过人类肢体耦合，利用双手协调行为学习裸手视频与外骨骼状态之间的桥接函数。
- 实验或效果：在1,215个演示中，模型在触觉强度预测上取得了0.790的Pearson相关系数，展示了良好的性能。
📝 摘要（中文）
人类视频为灵巧机器人学习提供了可扩展的经验来源，但在保持裸手交互的同时获取运动和触觉监督仍然具有挑战性。我们提出了ExoBridge框架，利用人类肢体耦合学习从裸手视频到传感器化外骨骼的运动和触觉状态的桥接函数。核心思想是通过协调的双手行为，将未加工具的视觉源与测量的操作接口连接。在数据收集过程中，一只手保持裸露，提供视觉观察，而另一只手则穿戴外骨骼，提供同步的运动和触觉测量。这些配对演示训练了一个时序视觉模型，能够仅从裸手视频预测指尖接触、连续触觉强度和相对编码器运动。评估结果显示，在四个操作任务中，1,215个演示的任何接触AUROC为0.916，触觉强度的Pearson相关系数为0.790。
🔬 方法详解
问题定义：本论文旨在解决如何在保持裸手交互的情况下，获取运动和触觉监督的问题。现有方法难以有效连接视觉信息与外骨骼的传感器数据，导致学习效果不佳。
核心思路：论文提出的核心思路是利用人类的双手协调行为，通过一只裸手提供视觉输入，另一只手穿戴外骨骼获取运动和触觉数据，从而建立二者之间的映射关系。这样的设计能够有效地将未加工具的视觉源与已测量的操作接口连接起来。
技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。在数据收集阶段，通过双手的协调操作获取配对演示；在模型训练阶段，利用这些演示训练时序视觉模型；最后在评估阶段，验证模型在不同操作任务中的表现。
关键创新：本研究的关键创新在于通过人类肢体耦合，将外骨骼的测量数据转化为对裸手视频的监督，从而建立了一种新的学习桥接机制。这一方法与传统的单一视觉学习方法有本质区别。
关键设计：在模型设计中，采用了特定的损失函数来优化指尖接触和触觉强度的预测，同时使用了时序卷积网络结构来处理视频数据，确保模型能够捕捉到动态变化的信息。具体的参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ExoBridge在四个操作任务中的表现优异，任何接触的AUROC达到了0.916，触觉强度的Pearson相关系数为0.790，表明模型在预测能力上有显著提升。这些结果验证了人类肢体耦合在机器人学习中的有效性。
🎯 应用场景
该研究的潜在应用领域包括人机协作、康复机器人和增强现实等。通过实现裸手与外骨骼之间的有效映射，ExoBridge能够提升机器人在复杂环境中的操作能力，促进人机交互的自然性和灵活性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Human video offers a scalable source of experience for dexterous robot learning, but obtaining motion and tactile supervision while preserving bare hand interaction remains challenging. We present ExoBridge, a framework that leverages human limb coupling to learn a bridging function from bare hand video to the motion and tactile state of a sensorized exoskeleton. Our central idea is to use coordinated bimanual behavior to connect an uninstrumented visual source with a measured manipulation interface. During collection, one hand remains bare and provides visual observations, while the opposite hand wears the exoskeleton and supplies synchronized motion and tactile measurements. These paired demonstrations train a temporal visual model to predict fingertip contact, continuous tactile intensity, and relative encoder motion from bare hand video alone. The exoskeleton defines an intermediate state space whose motion coordinates are linked to a dexterous robot hand through existing calibration. Evaluation on 1,215 demonstrations across four manipulation tasks uses held out collection sessions and yields a pooled any contact AUROC of 0.916 and a Pearson correlation of 0.790 for tactile intensity. The learned bridge also predicts relative changes in exoskeleton configuration from bare hand video. These results demonstrate that human limb coupling can turn exoskeleton measurements into supervision for bare hand video, establishing a learned bridge between human visual demonstrations and a robot oriented manipulation interface.