Tactile Memory with Soft Robot: Robust Object Insertion via Masked Encoding and Soft Wrist

📄 arXiv: 2601.19275v1 📥 PDF

作者: Tatsuya Kamijo, Mai Nishimura, Cristian C. Beltran-Hernandez, Nodoka Shibasaki, Masashi Hamaya

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-01-27

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出TaMeSo-bot，通过触觉记忆实现软机器人安全鲁棒的物体插入

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 触觉记忆 软机器人 物体插入 Transformer 掩码预测 机器人控制 时空建模

📋 核心要点

  1. 现有方法在不确定性下进行物体插入等接触密集型任务时，缺乏足够的触觉反馈利用和记忆能力。
  2. TaMeSo-bot系统通过软手腕进行安全探索，并利用Masked Tactile Trajectory Transformer (MAT$^ ext{3}$)进行触觉记忆和轨迹预测。
  3. 实验表明，MAT$^ ext{3}$在销钉插入任务中，相比基线方法，在各种条件下都取得了更高的成功率，并具备良好的泛化能力。

📝 摘要（中文）

本文提出了一种名为TaMeSo-bot的触觉记忆软机器人系统，旨在解决不确定性下的物体插入等接触密集型任务。该系统集成了软手腕和基于触觉检索的控制方法，以实现安全和鲁棒的操作。软手腕允许在数据收集期间进行安全的接触探索，而触觉记忆通过检索重用过去的演示，从而灵活地适应未见过的场景。系统的核心是Masked Tactile Trajectory Transformer (MAT$^ ext{3}$)，它联合建模机器人动作、分布式触觉反馈、力/扭矩测量和本体感受信号之间的时空交互。通过掩码token预测，MAT$^ ext{3}$通过从上下文中推断缺失的感官信息来学习丰富的时空表示，自主提取任务相关的特征，无需显式的子任务分割。在真实的机器人实验中，我们验证了该方法在不同销钉和条件下的销钉插入任务中的有效性。广泛的评估表明，MAT$^ ext{3}$在所有条件下都比基线方法实现了更高的成功率，并展示了适应未见过的销钉和条件的卓越能力。

🔬 方法详解

问题定义：论文旨在解决在不确定性环境下，机器人进行物体插入等接触密集型任务时，如何安全、鲁棒地利用触觉信息进行操作的问题。现有方法通常依赖于精确的建模或复杂的控制策略，难以适应真实世界中存在的各种变化和噪声。

核心思路：论文的核心思路是利用触觉记忆，通过学习过去成功的操作经验，使机器人能够根据当前的触觉反馈，自主地调整动作，从而适应未知的环境和物体。软手腕的设计保证了安全探索，而MAT$^ ext{3}$则负责学习和利用触觉信息。

技术框架：TaMeSo-bot系统的整体框架包括数据采集、触觉记忆学习和操作执行三个阶段。首先，通过软手腕进行安全探索，收集各种条件下的触觉数据。然后，利用MAT$^ ext{3}$模型学习触觉记忆，建立触觉反馈与机器人动作之间的映射关系。最后，在操作执行阶段，机器人根据当前的触觉反馈，从触觉记忆中检索相似的经验，并执行相应的动作。

关键创新：MAT$^ ext{3}$模型是该论文的关键创新点。它通过masked-token prediction的方式，联合建模机器人动作、触觉反馈、力/扭矩测量和本体感受信号之间的时空交互。这种方法能够自主地提取任务相关的特征，无需显式的子任务分割，从而提高了模型的泛化能力和鲁棒性。

关键设计：MAT$^ ext{3}$模型基于Transformer架构，采用masked-token prediction作为训练目标。具体来说，模型随机mask掉一部分输入token（包括触觉、力/扭矩、动作等），然后通过上下文信息预测被mask掉的token。这种训练方式能够使模型学习到丰富的时空表示，并提高其对缺失信息的鲁棒性。损失函数包括masked token prediction loss和trajectory prediction loss，共同优化模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAT$^ ext{3}$在销钉插入任务中取得了显著的性能提升。在各种销钉和条件下，MAT$^ ext{3}$的成功率均高于基线方法，并且能够很好地适应未见过的销钉和条件。例如，在某些条件下，MAT$^ ext{3}$的成功率比最佳基线方法提高了15%以上，证明了其优越的性能和泛化能力。

🎯 应用场景

该研究成果可应用于各种需要精细操作和触觉反馈的机器人任务中，例如装配、医疗手术、家庭服务等。通过触觉记忆，机器人能够更好地适应复杂和不确定的环境，提高操作的成功率和安全性。未来，该技术有望在自动化生产线、远程医疗和智能家居等领域发挥重要作用。

📄 摘要（原文）

Tactile memory, the ability to store and retrieve touch-based experience, is critical for contact-rich tasks such as key insertion under uncertainty. To replicate this capability, we introduce Tactile Memory with Soft Robot (TaMeSo-bot), a system that integrates a soft wrist with tactile retrieval-based control to enable safe and robust manipulation. The soft wrist allows safe contact exploration during data collection, while tactile memory reuses past demonstrations via retrieval for flexible adaptation to unseen scenarios. The core of this system is the Masked Tactile Trajectory Transformer (MAT$^\text{3}$), which jointly models spatiotemporal interactions between robot actions, distributed tactile feedback, force-torque measurements, and proprioceptive signals. Through masked-token prediction, MAT$^\text{3}$ learns rich spatiotemporal representations by inferring missing sensory information from context, autonomously extracting task-relevant features without explicit subtask segmentation. We validate our approach on peg-in-hole tasks with diverse pegs and conditions in real-robot experiments. Our extensive evaluation demonstrates that MAT$^\text{3}$ achieves higher success rates than the baselines over all conditions and shows remarkable capability to adapt to unseen pegs and conditions.