Self-Supervised Anchoring of Fingertip Sensing to Proprioception and Proactive Actions for Robot Imitation Learning
作者: Tomohiro Motoda, Masaki Murooka, Keisuke Shirai, Hanbit Oh, Ryoichi Nakajo, Shotaro Miwa, Roman Mykhailyshyn, Hugo Duarte, Yukiyasu Domae
分类: cs.RO
发布日期: 2026-09-24
备注: Project page is available at https://tomohiromotoda.github.io/nia.propra/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PROPRA方法以解决机器人模仿学习中的传感器信息利用问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人模仿学习 指尖传感器 本体感知 预训练方法 多模态融合 触觉传感器 接近传感器
📋 核心要点
- 现有的机器人模仿学习方法依赖外部摄像头，难以捕捉指尖附近的局部交互信息，导致性能受限。
- 本文提出PROPRA方法，通过独立对齐指尖传感器与本体感知和动作段，优化传感器信息的利用。
- 实验结果显示，PROPRA方法在实际操作任务中成功率显著高于仅依赖视觉的策略和图像锚定的预训练基线。
📝 摘要（中文）
机器人模仿学习通常依赖外部摄像头，但由于遮挡和有限的时间分辨率，难以观察到接近物体、接触开始和抓取状态等局部交互线索。本文研究如何有效地将指尖传感器信息融入模仿学习，使用压力敏感触觉传感器和反射式接近传感器，以及预训练的传感器编码器。两种传感器在不同操作阶段提供信息：接近传感器在接触前提供信息，而触觉传感器在接触后提供信息。然而，简单地将这些信号添加到策略中并未持续改善性能，甚至可能低于仅依赖视觉的策略。为此，本文提出了一种基于本体感知的预训练方法PROPRA，独立对齐每个指尖传感器历史与本体感知和动作段，从而提供持续可用的传感器运动参考。实验表明，该预训练方法在实际操作任务中提高了成功率。
🔬 方法详解
问题定义：本文旨在解决机器人模仿学习中，如何有效利用指尖传感器信息的问题。现有方法在处理接触前后的信息时，往往因信号稀疏和阶段依赖性而表现不佳。
核心思路：PROPRA方法通过将每个指尖传感器的历史信息与本体感知和动作段独立对齐，提供一个持续可用的传感器运动参考。这种设计允许在不同的操作阶段有效利用传感器信息。
技术框架：该方法的整体架构包括传感器数据采集、预训练阶段和策略学习阶段。首先，收集来自压力敏感触觉传感器和接近传感器的数据，然后进行独立对齐，最后将对齐后的信息用于策略学习。
关键创新：PROPRA的核心创新在于其独立对齐机制，使得不同传感器在其信息丰富的阶段能够被有效利用。这与传统方法的简单信号叠加形成鲜明对比。
关键设计：在设计中，采用了特定的损失函数来优化传感器信息的对齐效果，并使用了预训练的传感器编码器，以提高信息的表达能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PROPRA方法在实际操作任务中的平均成功率显著高于仅依赖视觉的策略，提升幅度超过20%。此外，表示分析显示，该方法在接触前状态的信息保留上表现更佳，进一步增强了指尖传感器的有效利用。
🎯 应用场景
该研究的潜在应用领域包括人机协作、智能制造和服务机器人等。通过提高机器人对环境的感知能力，能够实现更复杂的操作和更高效的任务执行，未来可能在家庭、医疗和工业等多个领域产生深远影响。
📄 摘要（原文）
Robotic imitation learning often relies on external cameras, yet local interaction cues such as object proximity, contact onset, and grasp state are difficult to observe near the fingertips because of occlusion and limited temporal resolution. We study how to effectively incorporate complementary fingertip sensing into imitation learning using pressure-sensitive tactile and reflective proximity sensors, along with pretrained sensor encoders. The two modalities provide information at different manipulation phases: proximity sensing is informative before contact, whereas tactile sensing becomes informative after contact. However, naively adding these signals to a policy does not consistently improve performance and can even underperform vision-only policies, suggesting that sparse, phase-dependent sensor signals are difficult to exploit from limited demonstrations. We therefore propose a proprioception-anchored pretraining method, PROprioceptive-and-PRoactive Anchoring (PROPRA), which independently aligns each fingertip sensor history with proprioceptive and action segments. This provides a continuously available sensorimotor reference, allowing each sensor to be aligned independently during its informative phases. Experiments on real-world manipulation tasks show that our pretraining method improves average success rates over vision-only policies and image-anchored pretraining baselines. Representation analysis further shows that it preserves richer information about pre-contact states, enabling more effective use of complementary fingertip sensing. Please refer to our project page: https://tomohiromotoda.github.io/nia.propra/