NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors

📄 arXiv: 2412.09617v2 📥 PDF

作者: Hung-Jui Huang, Michael Kaess, Wenzhen Yuan

分类: cs.RO

发布日期: 2024-12-12 (更新: 2025-03-18)

备注: 8 pages, published in 2024 RA-L, website link: https://joehjhuang.github.io/normalflow

期刊: IEEE Robotics and Automation Letters ( Volume: 10, Issue: 1, January 2025)

DOI: 10.1109/LRA.2024.3505815

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

NormalFlow：基于视觉触觉的快速、鲁棒、精确的物体6DoF位姿跟踪

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 触觉感知 6DoF位姿跟踪 视觉触觉传感器 表面法向量 机器人操作

📋 核心要点

  1. 触觉在机器人灵巧操作中至关重要，而基于触觉的物体跟踪是操作、手内操作和3D重建等任务的基础。
  2. NormalFlow利用视觉触觉传感器提供的精确表面法向量信息，通过最小化法向量差异来估计物体的6DoF位姿变化。
  3. 实验表明，NormalFlow在低纹理物体跟踪和长时程跟踪中表现出色，并实现了高精度的触觉3D重建。

📝 摘要（中文）

本文提出了一种快速、鲁棒、实时的基于触觉的6DoF跟踪算法NormalFlow。该算法利用视觉触觉传感器精确的表面法向量估计，通过最小化触觉导出的表面法向量之间的差异来确定物体的运动。实验结果表明，NormalFlow始终优于其他基线方法，并且可以跟踪诸如桌面等低纹理物体。在长时程跟踪中，当传感器围绕珠子滚动360度时，NormalFlow保持2.5度的旋转跟踪误差。此外，本文还展示了最先进的基于触觉的3D重建结果，突出了NormalFlow的高精度。我们相信NormalFlow为高精度感知和操作任务开辟了新的可能性，这些任务涉及用手与物体进行交互。

🔬 方法详解

问题定义：现有方法在基于触觉的6DoF物体位姿跟踪中，可能存在速度慢、鲁棒性差、精度不足等问题，尤其是在处理低纹理物体或进行长时程跟踪时。这些问题限制了机器人灵巧操作的性能和应用范围。

核心思路：NormalFlow的核心思路是利用视觉触觉传感器提供的精确表面法向量信息，将6DoF位姿跟踪问题转化为最小化触觉导出的表面法向量差异的问题。通过优化位姿参数，使得传感器感知到的表面法向量与物体表面的法向量尽可能一致，从而实现精确的位姿估计。这种方法避免了直接处理复杂的触觉图像或点云数据，简化了计算过程。

技术框架：NormalFlow算法主要包含以下几个阶段：1) 触觉数据采集：利用视觉触觉传感器获取接触点的表面法向量信息。2) 位姿预测：基于上一时刻的位姿和运动模型，预测当前时刻的位姿。3) 法向量匹配：将预测位姿下的物体表面法向量与传感器感知到的法向量进行匹配。4) 位姿优化：通过最小化法向量差异，优化位姿参数，得到最终的位姿估计。5) 位姿更新：将估计的位姿传递到下一时刻，用于位姿预测。

关键创新：NormalFlow的关键创新在于利用视觉触觉传感器提供的精确表面法向量信息，直接进行位姿估计，避免了复杂的特征提取和匹配过程。与传统的基于触觉图像或点云的跟踪方法相比，NormalFlow更加高效和鲁棒，尤其是在处理低纹理物体时。

关键设计：NormalFlow使用迭代最近点（ICP）算法的变体来最小化法向量差异。损失函数设计为传感器测量法向量与物体表面法向量之间的角度误差的平方和。算法采用高斯-牛顿法进行优化，并使用卡尔曼滤波器对位姿进行平滑处理。为了提高鲁棒性，算法还采用了RANSAC算法来剔除异常值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NormalFlow在实验中表现出色，优于其他基线方法，尤其是在低纹理物体（如桌面）的跟踪上。在长时程跟踪实验中，当传感器围绕珠子滚动360度时，NormalFlow保持了2.5度的旋转跟踪误差。此外，该算法还实现了最先进的基于触觉的3D重建结果，证明了其高精度。

🎯 应用场景

NormalFlow在机器人灵巧操作、手内操作、3D重建等领域具有广泛的应用前景。例如，可以用于机器人抓取和操作未知物体，实现高精度的装配任务，或者用于构建物体的三维模型。该算法还可以应用于虚拟现实和增强现实等领域，为用户提供更加真实的触觉反馈。

📄 摘要（原文）

Tactile sensing is crucial for robots aiming to achieve human-level dexterity. Among tactile-dependent skills, tactile-based object tracking serves as the cornerstone for many tasks, including manipulation, in-hand manipulation, and 3D reconstruction. In this work, we introduce NormalFlow, a fast, robust, and real-time tactile-based 6DoF tracking algorithm. Leveraging the precise surface normal estimation of vision-based tactile sensors, NormalFlow determines object movements by minimizing discrepancies between the tactile-derived surface normals. Our results show that NormalFlow consistently outperforms competitive baselines and can track low-texture objects like table surfaces. For long-horizon tracking, we demonstrate when rolling the sensor around a bead for 360 degrees, NormalFlow maintains a rotational tracking error of 2.5 degrees. Additionally, we present state-of-the-art tactile-based 3D reconstruction results, showcasing the high accuracy of NormalFlow. We believe NormalFlow unlocks new possibilities for high-precision perception and manipulation tasks that involve interacting with objects using hands. The video demo, code, and dataset are available on our website: https://joehjhuang.github.io/normalflow.