Diffusion-based Inverse Model of a Distributed Tactile Sensor for Object Pose Estimation

📄 arXiv: 2601.13250v1 📥 PDF

作者: Ante Marić, Giammarco Caroleo, Alessandro Albini, Julius Jankowski, Perla Maiolino, Sylvain Calinon

分类: cs.RO

发布日期: 2026-01-19

💡 一句话要点

提出基于扩散模型的触觉逆模型，用于物体姿态估计，提升采样效率和估计精度。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 触觉感知 姿态估计 扩散模型 逆模型 机器人操作

📋 核心要点

  1. 传统姿态估计方法在触觉感知中面临挑战，因为触觉数据具有部分可观测性，导致单个观测对应多个接触配置。
  2. 论文提出一种基于去噪扩散的触觉逆模型，通过学习触觉观测到物体姿态的映射来解决这一问题。
  3. 实验表明，该方法在模拟和真实环境中均能有效进行平面姿态估计，并提高了采样效率和估计精度。

📝 摘要（中文）

触觉传感为物体姿态估计提供了一种有前景的感知方式，尤其是在视觉信息因遮挡或环境影响而受限的操纵场景中。然而，由于触觉数据的部分可观测性，有效利用触觉数据进行估计仍然是一个挑战，因为单个观测可能对应于多个可能的接触配置。这限制了主要为视觉定制的传统估计方法。我们提出通过使用去噪扩散学习触觉逆传感器模型来应对这些挑战。该模型以来自分布式触觉传感器的触觉观测为条件，并使用基于有符号距离场的几何传感器模型在模拟中进行训练。在推理过程中，通过使用来自有符号距离场的距离和梯度信息的单步投影来强制执行接触约束。对于在线姿态估计，我们将逆模型与粒子滤波器集成，通过一种将生成的假设与来自先前置信度的粒子相结合的提议方案。我们的方法在模拟和真实世界的平面姿态估计设置中得到验证，无需访问视觉数据或严格的初始姿态先验。我们进一步评估了在推箱子场景中对未建模的接触和传感器动态的鲁棒性。与局部采样基线相比，逆传感器模型提高了采样效率和估计精度，同时保持了跨具有不同触觉可辨别性的物体的多模态置信度。

🔬 方法详解

问题定义：论文旨在解决在缺乏视觉信息或初始姿态先验的情况下，如何利用触觉传感器数据准确估计物体姿态的问题。现有方法在处理触觉数据的部分可观测性时存在困难，导致估计精度不高，采样效率低。

核心思路：论文的核心思路是学习一个触觉逆模型，该模型能够根据触觉观测推断出可能的物体姿态。通过使用去噪扩散模型，可以生成多个姿态假设，从而更好地处理触觉数据的多义性。同时，利用有符号距离场（SDF）来约束生成的姿态，使其与实际接触情况相符。

技术框架：整体框架包括以下几个主要模块：1) 基于有符号距离场的几何传感器模型，用于生成训练数据；2) 基于去噪扩散的触觉逆模型，用于根据触觉观测生成姿态假设；3) 基于SDF的接触约束模块，用于过滤不合理的姿态假设；4) 粒子滤波器，用于融合逆模型生成的假设和先验信息，进行在线姿态估计。

关键创新：最重要的创新点在于使用去噪扩散模型学习触觉逆模型。与传统的基于优化的方法相比，扩散模型能够更好地捕捉触觉数据的复杂分布，生成更多样化的姿态假设，从而提高估计精度和鲁棒性。此外，结合SDF进行接触约束，进一步提高了姿态估计的准确性。

关键设计：扩散模型使用U-Net结构，以触觉观测作为条件输入。损失函数采用标准的去噪扩散损失。SDF用于计算物体表面到触觉传感器的距离和梯度，用于在推理过程中进行单步投影，强制执行接触约束。粒子滤波器的提议分布结合了扩散模型生成的姿态和先验粒子的信息。

📊 实验亮点

论文在模拟和真实环境中进行了实验验证。结果表明，与局部采样基线相比，该方法提高了采样效率和估计精度，尤其是在触觉可辨别性较低的物体上。在推箱子场景中，该方法也表现出良好的鲁棒性，能够有效跟踪物体姿态。

🎯 应用场景

该研究成果可应用于机器人操作、装配、抓取等领域，尤其是在视觉信息受限的环境中。例如，在复杂装配任务中，机器人可以通过触觉感知来精确定位和调整零件姿态。此外，该方法还可以用于康复机器人，帮助患者进行精细动作训练。

📄 摘要（原文）

Tactile sensing provides a promising sensing modality for object pose estimation in manipulation settings where visual information is limited due to occlusion or environmental effects. However, efficiently leveraging tactile data for estimation remains a challenge due to partial observability, with single observations corresponding to multiple possible contact configurations. This limits conventional estimation approaches largely tailored to vision. We propose to address these challenges by learning an inverse tactile sensor model using denoising diffusion. The model is conditioned on tactile observations from a distributed tactile sensor and trained in simulation using a geometric sensor model based on signed distance fields. Contact constraints are enforced during inference through single-step projection using distance and gradient information from the signed distance field. For online pose estimation, we integrate the inverse model with a particle filter through a proposal scheme that combines generated hypotheses with particles from the prior belief. Our approach is validated in simulated and real-world planar pose estimation settings, without access to visual data or tight initial pose priors. We further evaluate robustness to unmodeled contact and sensor dynamics for pose tracking in a box-pushing scenario. Compared to local sampling baselines, the inverse sensor model improves sampling efficiency and estimation accuracy while preserving multimodal beliefs across objects with varying tactile discriminability.