TacSE3: Equivariant SE(3) Motion Estimation from Low-Texture Visuotactile Images for In-Gripper Tracking and Compensation

📄 arXiv: 2605.17929v1 📥 PDF

作者: Zhongyuan Liao, Junzhe Wang, Qingyang Liu, Zhenmin Huang, Jun Ma, Yi Cai, Fei Meng, Haobo Liang, Michael Yu Wang

分类: cs.RO

发布日期: 2026-05-18

💡 一句话要点

TacSE3：基于低纹理触觉图像的SE(3)等变运动估计，用于夹持器内跟踪与补偿

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 触觉感知 运动估计 SE(3)空间 机器人手内操作 低纹理图像 力场 DM-Tac传感器

📋 核心要点

  1. 传统视觉或几何匹配方法难以处理低纹理视觉触觉图像，导致手内操作中物体运动跟踪面临挑战。
  2. TacSE3将视觉触觉观测转化为解耦的三维力场，从而估计SE(3)空间上的刚体运动，实现精确跟踪。
  3. 实验表明，TacSE3能有效减少平移-旋转模糊性，提升抗干扰能力，且无需重新训练操作策略。

📝 摘要（中文）

本文提出了一种触觉运动估计流程TacSE3，用于解决机器人手内操作中视觉遮挡下可靠物体运动跟踪的问题。该方法将低纹理的视觉触觉观测转换为解耦的三维力场，并在SE(3)空间上估计增量刚体运动。TacSE3从接触质心的运动中推导出平面平移，并主要从与剪切相关的触觉响应中估计旋转，从而为夹持器内跟踪和补偿提供了一个物理上可解释的信号。使用成对DM-Tac指尖传感器的实验表明，双传感器感知减少了平移-旋转的模糊性，支持跨轴和物体几何形状的旋转跟踪，并提供了一种轻量级的补偿信号，提高了下游操作任务中的抗干扰能力，而无需重新训练基础策略。

🔬 方法详解

问题定义：论文旨在解决机器人手内操作中，由于频繁的视觉遮挡和低纹理的视觉触觉图像，导致传统方法难以准确跟踪物体运动的问题。现有方法依赖于稳定的图像或几何特征匹配，但在低纹理环境下，这些特征往往缺失或不稳定，从而影响跟踪精度。

核心思路：TacSE3的核心思路是将视觉触觉信息转化为可解释的三维力场，并在此基础上估计物体在SE(3)空间中的刚体运动。通过解耦平移和旋转的估计，利用接触质心运动推导平面平移，并利用剪切相关的触觉响应估计旋转，从而提高运动估计的鲁棒性和准确性。

技术框架：TacSE3包含以下主要模块：1) 视觉触觉数据采集：使用DM-Tac传感器获取指尖的视觉和触觉信息。2) 力场转换：将视觉触觉观测转换为解耦的三维力场。3) 运动估计：基于力场信息，估计物体在SE(3)空间中的增量刚体运动，包括平移和旋转。4) 运动补偿：将估计的运动信息用于补偿下游操作任务中的干扰。

关键创新：TacSE3的关键创新在于：1) 将低纹理视觉触觉信息转化为可解释的三维力场，克服了传统方法在低纹理环境下的局限性。2) 解耦平移和旋转的估计，利用不同的触觉响应分别估计平移和旋转，提高了运动估计的精度和鲁棒性。3) 提供了一种轻量级的补偿信号，可以直接用于提高下游操作任务的抗干扰能力，而无需重新训练基础策略。

关键设计：论文中关键的设计包括：1) 使用DM-Tac传感器获取高质量的视觉触觉数据。2) 设计了合适的力场转换方法，将视觉触觉信息转化为可解释的三维力场。3) 采用了合适的运动估计方法，基于力场信息准确估计物体在SE(3)空间中的增量刚体运动。4) 实验中，使用了成对的DM-Tac指尖传感器，以减少平移-旋转的模糊性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TacSE3能够有效减少平移-旋转的模糊性，支持跨轴和物体几何形状的旋转跟踪。此外，TacSE3提供的轻量级补偿信号能够显著提高下游操作任务的抗干扰能力，而无需重新训练基础策略，验证了该方法在实际应用中的有效性。

🎯 应用场景

TacSE3在机器人手内操作、精密装配、医疗手术等领域具有广泛的应用前景。该方法能够提高机器人在复杂环境下的操作精度和鲁棒性，降低对环境纹理的依赖，并为机器人提供更可靠的运动跟踪和补偿能力，从而实现更智能、更灵活的机器人操作。

📄 摘要（原文）

Robotic in-hand manipulation requires reliable object-motion tracking under frequent visual occlusion, yet low-texture visuotactile images provide few stable correspondences for conventional image- or geometry-matching methods. This paper presents TacSE3, a tactile motion-estimation pipeline that converts low-texture visuotactile observations into a decoupled three-dimensional force field and estimates incremental rigid-body motion on SE(3). The method derives planar translation from contact-centroid motion and estimates rotation primarily from shear-related tactile responses, yielding a physically interpretable signal for in-gripper tracking and compensation. Experiments with paired DM-Tac fingertip sensors show that dual-sensor sensing reduces translation-rotation ambiguity, supports rotation tracking across axes and object geometries, and provides a lightweight compensation signal that improves disturbance tolerance in downstream manipulation tasks without retraining the base policy.