ViTac-Tracing: Visual-Tactile Imitation Learning of Deformable Object Tracing
作者: Yongqiang Zhao, Haining Luo, Yupeng Wang, Emmanouil Spyrakos Papastavridis, Yiannis Demiris, Shan Luo
分类: cs.RO
发布日期: 2026-03-19
备注: The paper has been accepted by ICRA2026
💡 一句话要点
ViTac-Tracing：提出视觉-触觉模仿学习方法，解决柔性物体追踪问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 柔性物体追踪 视觉触觉融合 模仿学习 机器人操作 深度学习
📋 核心要点
- 现有柔性物体追踪方法泛化性不足，或难以在真实世界中可靠完成任务，主要原因是依赖特定物体建模或模拟到真实的迁移。
- 本文提出一种视觉-触觉模仿学习方法，从局部和全局角度设计，利用加权损失优化局部动作，追踪任务损失规范全局进度。
- 实验结果表明，该方法在多种1D和2D柔性物体追踪任务中表现出色，已见物体成功率达80%，未见物体达65%。
📝 摘要（中文）
本文提出了一种新颖的视觉-触觉模仿学习方法，用于实现一维（1D）和二维（2D）柔性物体的追踪，并使用统一的模型。该方法从局部和全局角度出发，结合视觉和触觉感知进行设计。在局部层面，引入了一种加权损失，强调保持触觉图像中心附近接触的动作，从而改进了精细调整。在全局层面，提出了一种追踪任务损失，帮助策略规范任务进度。在硬件方面，为了弥补视觉信息提取特征的局限性，我们将触觉感知集成到一个低成本的遥操作系统中，同时考虑了遥操作员和机器人。在各种1D和2D柔性物体上进行的大量消融和对比实验证明了该方法的有效性，在已见物体上实现了平均80%的成功率，在未见物体上实现了65%的成功率。
🔬 方法详解
问题定义：现有柔性物体追踪方法通常需要针对特定物体进行建模，或者依赖于从模拟环境到真实环境的迁移学习。这导致了两个主要问题：一是模型难以泛化到不同类别的柔性物体上；二是由于模拟环境与真实环境的差异，模型在真实世界中的表现往往不够稳定和可靠。因此，如何设计一种能够泛化到多种柔性物体，并且能够在真实环境中稳定执行的追踪方法是一个重要的挑战。
核心思路：本文的核心思路是利用视觉和触觉信息，通过模仿学习的方式训练一个能够执行柔性物体追踪任务的策略。该策略同时考虑局部和全局的信息。局部信息用于精细调整机器人的动作，以保持与物体的接触；全局信息用于指导机器人完成整个追踪任务。通过结合视觉和触觉信息，并使用模仿学习的方法，可以有效地解决现有方法泛化性不足和真实环境适应性差的问题。
技术框架：该方法的技术框架主要包括以下几个模块：1) 视觉感知模块：用于从摄像头获取图像信息，提取物体的视觉特征。2) 触觉感知模块：用于从触觉传感器获取触觉信息，提取触觉特征。3) 策略网络：用于根据视觉和触觉特征，生成机器人的动作指令。4) 模仿学习模块：用于通过模仿专家轨迹，训练策略网络。5) 损失函数：包括加权损失和追踪任务损失，用于优化策略网络的参数。整体流程是：首先，机器人通过视觉和触觉传感器获取环境信息；然后，策略网络根据这些信息生成动作指令；最后，机器人执行动作，并根据损失函数更新策略网络的参数。
关键创新：本文最重要的技术创新点在于将视觉和触觉信息融合到模仿学习框架中，并设计了针对柔性物体追踪任务的加权损失和追踪任务损失。与现有方法相比，该方法不需要针对特定物体进行建模，也不需要进行模拟到真实的迁移学习，因此具有更好的泛化性和真实环境适应性。此外，该方法还通过加权损失来强调保持触觉图像中心附近接触的动作，从而提高了追踪的精度。
关键设计：在局部层面，使用了加权损失函数，该损失函数对触觉图像中心附近的动作赋予更高的权重，从而鼓励策略网络学习更精确的动作。在全局层面，设计了一个追踪任务损失，该损失函数用于衡量机器人完成追踪任务的程度，从而引导策略网络学习更有效的追踪策略。此外，为了弥补视觉信息的不足，作者还设计了一个低成本的遥操作系统，将触觉感知集成到该系统中，从而提高了机器人的感知能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多种1D和2D柔性物体追踪任务中取得了显著的成果。在已见物体上，该方法实现了平均80%的成功率，相比于其他基线方法有显著提升。更重要的是，在未见物体上，该方法也实现了65%的成功率，这表明该方法具有良好的泛化能力。消融实验也验证了加权损失和追踪任务损失的有效性。
🎯 应用场景
该研究成果可应用于各种需要操作柔性物体的场景，例如医疗手术中的缝合、服装制造中的布料整理、食品加工中的面团处理等。通过提高机器人操作柔性物体的能力，可以实现自动化生产，提高生产效率，降低人工成本，并减少人为误差。未来，该技术有望应用于更复杂的柔性物体操作任务，例如柔性机器人的控制、智能家居中的物品整理等。
📄 摘要（原文）
Deformable objects often appear in unstructured configurations. Tracing deformable objects helps bringing them into extended states and facilitating the downstream manipulation tasks. Due to the requirements for object-specific modeling or sim-to-real transfer, existing tracing methods either lack generalizability across different categories of deformable objects or struggle to complete tasks reliably in the real world. To address this, we propose a novel visual-tactile imitation learning method to achieve one-dimensional (1D) and two-dimensional (2D) deformable object tracing with a unified model. Our method is designed from both local and global perspectives based on visual and tactile sensing. Locally, we introduce a weighted loss that emphasizes actions maintaining contact near the center of the tactile image, improving fine-grained adjustment. Globally, we propose a tracing task loss that helps the policy to regulate task progression. On the hardware side, to compensate for the limited features extracted from visual information, we integrate tactile sensing into a low-cost teleoperation system considering both the teleoperator and the robot. Extensive ablation and comparative experiments on diverse 1D and 2D deformable objects demonstrate the effectiveness of our approach, achieving an average success rate of 80% on seen objects and 65% on unseen objects.