ContactFusion: Stochastic Poisson Surface Maps from Visual and Contact Sensing

📄 arXiv: 2503.16592v1 📥 PDF

作者: Aditya Kamireddypalli, Joao Moura, Russell Buchanan, Sethu Vijayakumar, Subramanian Ramamoorthy

分类: cs.RO

发布日期: 2025-03-20

💡 一句话要点

ContactFusion：融合视觉与触觉信息的随机泊松表面地图，提升机器人装配精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人装配 视觉触觉融合 随机泊松表面地图 接触感知 力/扭矩传感

📋 核心要点

  1. 现有机器人场景理解的噪声过大，限制了高精度装配任务的成功率，尤其是在公差较小的情况下。
  2. ContactFusion融合视觉点云和力/扭矩传感信息，利用拒绝采样估计接触位置，并更新随机泊松表面地图(SPSMap)。
  3. 实验表明，ContactFusion在销钉插入孔任务中，通过融合接触信息，显著提高了孔位姿估计的准确性。

📝 摘要（中文）

本研究提出ContactFusion方法，旨在提高机器人装配的鲁棒性和精度，尤其是在高精度要求的部件插入任务中。该方法结合全局视觉信息和局部触觉信息，将点云数据与力/扭矩传感数据融合。ContactFusion采用基于拒绝采样的接触占用传感程序，通过腕部力/扭矩传感器估计末端执行器上的接触位置。该方法将接触信息与视觉信息融合到随机泊松表面地图(SPSMap)中，并使用随机泊松表面重建(SPSR)算法更新地图。实验首先在仿真环境中验证了接触占用传感器的性能，证明了其从力传感信息中检测机器人接触位置的能力。随后，在销钉插入孔任务中评估了该方法，结果表明融合接触信息后的SPSMap能够更准确地估计孔的位姿。

🔬 方法详解

问题定义：论文旨在解决机器人装配过程中，由于视觉感知噪声导致装配精度不足的问题，尤其是在高精度、小公差的部件插入任务中。现有方法依赖纯视觉信息，容易受到光照、遮挡等因素的影响，导致场景理解不准确，进而影响装配成功率。

核心思路：论文的核心思路是将视觉信息与触觉信息融合，利用触觉信息弥补视觉感知的不足。通过力/扭矩传感器感知机器人与环境的接触，精确估计接触位置，并将这些接触信息融入到全局的场景地图中，从而提高场景理解的准确性和鲁棒性。

技术框架：ContactFusion方法主要包含以下几个阶段：1) 视觉感知：利用视觉传感器获取场景的点云数据。2) 接触感知：通过腕部力/扭矩传感器获取力/扭矩数据，并使用基于拒绝采样的接触占用传感程序估计末端执行器上的接触位置。3) 地图融合：将视觉点云数据和接触位置信息融合到随机泊松表面地图(SPSMap)中。4) 地图更新：使用随机泊松表面重建(SPSR)算法更新SPSMap，从而获得更准确的场景模型。

关键创新：该方法最重要的创新点在于融合了视觉和触觉信息，并提出了一种基于拒绝采样的接触占用传感方法。与传统的仅依赖视觉信息的方法相比，ContactFusion能够利用触觉信息提供更准确的局部几何信息，从而提高场景理解的精度。此外，将接触信息融入到SPSMap中，能够有效地利用全局和局部信息，提高地图的鲁棒性。

关键设计：接触占用传感程序是关键设计之一，它基于拒绝采样，通过模拟不同接触位置下的力/扭矩分布，并与实际测量值进行比较，从而估计最可能的接触位置。SPSMap的更新采用SPSR算法，该算法能够有效地处理噪声数据，并重建出高质量的表面模型。具体的参数设置和损失函数等细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在销钉插入孔任务中验证了ContactFusion方法的有效性。实验结果表明，通过融合接触信息，孔位姿估计的准确性得到了显著提高。具体的性能数据和提升幅度在摘要中未明确给出，属于未知信息。仿真实验验证了接触占用传感器的性能，证明了其从力传感信息中检测机器人接触位置的能力。

🎯 应用场景

ContactFusion方法可应用于各种需要高精度装配的机器人应用场景，例如电子产品组装、汽车零部件装配、航空航天部件装配等。通过提高装配精度和鲁棒性，该方法可以减少装配失败率，提高生产效率，并降低生产成本。未来，该方法还可以扩展到更复杂的装配任务中，例如柔性部件装配、多部件协同装配等。

📄 摘要（原文）

Robust and precise robotic assembly entails insertion of constituent components. Insertion success is hindered when noise in scene understanding exceeds tolerance limits, especially when fabricated with tight tolerances. In this work, we propose ContactFusion which combines global mapping with local contact information, fusing point clouds with force sensing. Our method entails a Rejection Sampling based contact occupancy sensing procedure which estimates contact locations on the end-effector from Force/Torque sensing at the wrist. We demonstrate how to fuse contact with visual information into a Stochastic Poisson Surface Map (SPSMap) - a map representation that can be updated with the Stochastic Poisson Surface Reconstruction (SPSR) algorithm. We first validate the contact occupancy sensor in simulation and show its ability to detect the contact location on the robot from force sensing information. Then, we evaluate our method in a peg-in-hole task, demonstrating an improvement in the hole pose estimate with the fusion of the contact information with the SPSMap.