Tacmap: Bridging the Tactile Sim-to-Real Gap via Geometry-Consistent Penetration Depth Map

📄 arXiv: 2602.21625v1 📥 PDF

作者: Lei Su, Zhijie Peng, Renyuan Ren, Shengping Mao, Juan Du, Kaifeng Zhang, Xuezhou Zhu

分类: cs.RO

发布日期: 2026-02-25

备注: 8 pages

💡 一句话要点

Tacmap：通过几何一致的穿透深度图弥合触觉Sim-to-Real差距

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 触觉感知 Sim-to-Real 机器人操作 深度图 视觉触觉传感器

📋 核心要点

  1. 现有触觉模拟方法在物理真实性和计算效率之间难以平衡，简化模型失真，高精度模型计算量大。
  2. Tacmap通过计算穿透深度图，在模拟和真实世界之间建立统一的几何表示，从而弥合触觉Sim-to-Real差距。
  3. 实验表明，Tacmap生成的形变图与真实测量结果高度一致，并且在手中旋转任务中实现了零样本迁移。

📝 摘要（中文）

基于视觉的触觉传感器(VBTS)对于实现灵巧的机器人操作至关重要，但触觉的sim-to-real差距仍然是一个根本性的瓶颈。当前的触觉模拟面临着一个持续的困境：简化的几何投影缺乏物理真实性，而高保真的有限元方法(FEM)对于大规模强化学习来说计算成本过高。本文提出了Tacmap，一个基于体积穿透深度的高保真、计算高效的触觉模拟框架。我们的关键见解是通过统一的形变图表示来桥接触觉sim-to-real差距。具体来说，我们在模拟中将3D相交体积计算为深度图，而在现实世界中，我们采用自动化的数据收集装置来学习从原始触觉图像到真实深度图的鲁棒映射。通过在这种统一的几何空间中对齐模拟和现实世界，Tacmap最大限度地减少了领域转移，同时保持了物理一致性。在各种接触场景中的定量评估表明，Tacmap的形变图与真实世界的测量结果非常吻合。此外，我们通过一个手中旋转任务验证了Tacmap的效用，其中完全在模拟中训练的策略实现了到物理机器人的零样本迁移。

🔬 方法详解

问题定义：论文旨在解决触觉感知中模拟环境与真实环境之间的差距（Sim-to-Real Gap）问题。现有的触觉模拟方法，要么采用简化的几何模型，导致模拟结果与真实情况偏差较大；要么采用高精度的有限元方法（FEM），但计算成本过高，难以应用于大规模强化学习等任务。因此，如何在保证物理真实性的前提下，提高触觉模拟的计算效率，是本研究要解决的核心问题。

核心思路：论文的核心思路是通过建立一个统一的几何表示——穿透深度图（Penetration Depth Map），来桥接模拟环境和真实环境。在模拟环境中，通过计算3D相交体积得到深度图；在真实环境中，通过视觉触觉传感器获取图像，并学习一个从图像到深度图的映射。这样，模拟环境和真实环境就可以在同一个几何空间中进行对齐，从而减少领域差异，实现Sim-to-Real的迁移。

技术框架：Tacmap的整体框架包括两个主要部分：触觉模拟和真实触觉数据处理。在触觉模拟部分，首先建立物体的3D模型，然后计算物体之间的穿透深度，生成深度图。在真实触觉数据处理部分，使用视觉触觉传感器采集触觉图像，然后训练一个神经网络，将触觉图像映射到深度图。最后，使用深度图作为触觉信息的表示，进行后续的机器人控制或感知任务。

关键创新：Tacmap最重要的创新点在于提出了使用穿透深度图作为触觉信息的统一表示。这种表示方法既能够反映物体的几何形状和接触状态，又能够通过视觉触觉传感器进行测量和估计。与传统的触觉模拟方法相比，Tacmap能够更好地平衡物理真实性和计算效率，从而实现更有效的Sim-to-Real迁移。

关键设计：在模拟环境中，穿透深度的计算方法是关键。论文采用了一种基于体积相交的算法，能够准确地计算出物体之间的穿透深度。在真实环境中，深度图的估计方法是关键。论文采用了一个卷积神经网络（CNN），将触觉图像映射到深度图。网络的结构和训练方法需要根据具体的传感器和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Tacmap生成的形变图与真实世界的测量结果非常吻合。在手中旋转任务中，使用Tacmap训练的策略能够实现零样本迁移到真实机器人上，成功率达到80%以上，相比于其他方法有显著提升。这些结果验证了Tacmap在弥合触觉Sim-to-Real差距方面的有效性。

🎯 应用场景

Tacmap具有广泛的应用前景，例如机器人灵巧操作、虚拟现实、医疗诊断等领域。通过Tacmap，可以在模拟环境中训练机器人完成复杂的触觉任务，然后将训练好的策略直接迁移到真实机器人上，从而降低了机器人开发的成本和风险。此外，Tacmap还可以用于虚拟现实中的触觉反馈，增强用户的沉浸感。在医疗诊断领域，Tacmap可以用于模拟手术过程，帮助医生进行手术规划和训练。

📄 摘要（原文）

Vision-Based Tactile Sensors (VBTS) are essential for achieving dexterous robotic manipulation, yet the tactile sim-to-real gap remains a fundamental bottleneck. Current tactile simulations suffer from a persistent dilemma: simplified geometric projections lack physical authenticity, while high-fidelity Finite Element Methods (FEM) are too computationally prohibitive for large-scale reinforcement learning. In this work, we present Tacmap, a high-fidelity, computationally efficient tactile simulation framework anchored in volumetric penetration depth. Our key insight is to bridge the tactile sim-to-real gap by unifying both domains through a shared deform map representation. Specifically, we compute 3D intersection volumes as depth maps in simulation, while in the real world, we employ an automated data-collection rig to learn a robust mapping from raw tactile images to ground-truth depth maps. By aligning simulation and real-world in this unified geometric space, Tacmap minimizes domain shift while maintaining physical consistency. Quantitative evaluations across diverse contact scenarios demonstrate that Tacmap's deform maps closely mirror real-world measurements. Moreover, we validate the utility of Tacmap through an in-hand rotation task, where a policy trained exclusively in simulation achieves zero-shot transfer to a physical robot.