SimShear: Sim-to-Real Shear-based Tactile Servoing

📄 arXiv: 2508.20561v1 📥 PDF

作者: Kipp McAdam Freud, Yijiong Lin, Nathan F. Lepora

分类: cs.RO

发布日期: 2025-08-28

备注: 2025 Conference on Robot Learning (CoRL)

💡 一句话要点

SimShear：基于GAN的触觉伺服Sim-to-Real迁移，解决剪切力模拟难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 触觉伺服 Sim-to-Real 剪切力 GAN 机器人控制

📋 核心要点

  1. 动态物体交互任务中，剪切力信息至关重要，但现有方法难以在模拟环境中准确建模剪切动力学。
  2. SimShear提出了一种基于GAN的sim-to-real流程，通过shPix2pix网络将无剪切模拟图像转换为包含剪切信息的真实图像。
  3. 实验表明，SimShear在触觉跟踪和协作提升任务中表现出色，接触误差控制在1-2mm，验证了该方法的可行性。

📝 摘要（中文）

本文提出了SimShear，一个用于触觉控制的sim-to-real流程，它能够在不显式地在模拟中建模剪切动力学的情况下使用剪切信息。剪切力产生于接触表面上的横向运动，对于涉及动态对象交互的任务至关重要，但模拟仍然具有挑战性。为了解决这个问题，我们引入了shPix2pix，一个剪切条件U-Net GAN，它将缺乏剪切的模拟触觉图像与编码剪切信息的向量一起转换成具有剪切变形的真实等效图像。该方法在模拟触觉图像和姿态/剪切预测方面优于基线pix2pix方法。我们将SimShear应用于两个控制任务，使用一对配备了基于视觉的触觉传感器的低成本桌面机器人手臂：（i）触觉跟踪任务，其中跟随者手臂跟踪由引导者手臂移动的表面，以及（ii）协作共同提升任务，其中两个手臂共同保持一个物体，而引导者遵循规定的轨迹。我们的方法在剪切感应至关重要的各种轨迹中，将接触误差保持在1到2毫米以内，验证了使用刚体模拟器进行sim-to-real剪切建模的可行性，并为触觉机器人技术中的模拟开辟了新的方向。

🔬 方法详解

问题定义：现有方法在触觉控制中，难以准确模拟剪切力，导致Sim-to-Real迁移效果不佳。尤其是在动态交互任务中，剪切力对稳定控制至关重要，而传统的刚体模拟器难以捕捉复杂的剪切变形。

核心思路：SimShear的核心在于利用GAN学习模拟图像到真实图像的映射，并显式地将剪切信息作为条件输入。通过这种方式，即使在模拟环境中没有精确的剪切力模型，也能生成包含真实剪切变形的触觉图像，从而提高控制策略的泛化能力。

技术框架：SimShear包含以下主要模块：1) 刚体模拟器，用于生成不包含剪切信息的触觉图像；2) shPix2pix网络，一个剪切条件U-Net GAN，用于将模拟图像和剪切信息向量转换为真实图像；3) 触觉伺服控制器，利用转换后的触觉图像进行控制决策。整个流程实现了从模拟环境到真实环境的触觉控制策略迁移。

关键创新：SimShear的关键创新在于shPix2pix网络，它是一种剪切条件GAN，能够显式地将剪切信息融入到图像生成过程中。与传统的pix2pix方法相比，shPix2pix能够更好地模拟剪切变形，从而提高Sim-to-Real迁移的准确性。

关键设计：shPix2pix网络采用U-Net结构，并使用对抗损失和L1损失进行训练。剪切信息向量被concat到U-Net的编码器和解码器的中间层，以引导图像生成过程。具体的参数设置和损失函数权重需要在实验中进行调整，以达到最佳的生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SimShear在触觉跟踪和协作提升任务中均取得了显著的性能提升。与基线pix2pix方法相比，SimShear能够将接触误差控制在1到2毫米以内，证明了其在Sim-to-Real剪切建模方面的有效性。该方法在不同轨迹下的鲁棒性也得到了验证。

🎯 应用场景

SimShear技术可应用于各种需要精确触觉反馈的机器人任务，例如：精密装配、物体抓取、表面跟踪、医疗手术等。通过降低对复杂触觉动力学建模的需求，该方法有望加速触觉机器人的开发和部署，使其能够在更广泛的实际场景中应用。

📄 摘要（原文）

We present SimShear, a sim-to-real pipeline for tactile control that enables the use of shear information without explicitly modeling shear dynamics in simulation. Shear, arising from lateral movements across contact surfaces, is critical for tasks involving dynamic object interactions but remains challenging to simulate. To address this, we introduce shPix2pix, a shear-conditioned U-Net GAN that transforms simulated tactile images absent of shear, together with a vector encoding shear information, into realistic equivalents with shear deformations. This method outperforms baseline pix2pix approaches in simulating tactile images and in pose/shear prediction. We apply SimShear to two control tasks using a pair of low-cost desktop robotic arms equipped with a vision-based tactile sensor: (i) a tactile tracking task, where a follower arm tracks a surface moved by a leader arm, and (ii) a collaborative co-lifting task, where both arms jointly hold an object while the leader follows a prescribed trajectory. Our method maintains contact errors within 1 to 2 mm across varied trajectories where shear sensing is essential, validating the feasibility of sim-to-real shear modeling with rigid-body simulators and opening new directions for simulation in tactile robotics.