Simultaneous Extrinsic Contact and In-Hand Pose Estimation via Distributed Tactile Sensing
作者: Mark Van der Merwe, Kei Ota, Dmitry Berenson, Nima Fazeli, Devesh K. Jha
分类: cs.RO
发布日期: 2025-12-29
备注: 8 pages. IEEE Robotics and Automation Letters, 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于分布式触觉感知的物体姿态与外部接触同步估计方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 触觉感知 姿态估计 外部接触估计 因子图 机器人灵巧操作
📋 核心要点
- 仅依赖触觉进行物体姿态和外部接触估计是病态问题，视觉信息易受噪声和遮挡影响。
- 提出一种结合触觉局部观测与物理约束的方法，利用因子图进行高效估计。
- 实验表明，该方法优于现有的几何和接触信息估计方法，尤其是在仅有触觉信息时。
📝 摘要（中文）
精确的灵巧自主操作，如插销、工具使用或装配，需要精确地理解物体在手中的姿态以及交互过程中产生的外部接触。准确估计姿态和接触是具有挑战性的。触觉传感器可以提供传感器处的局部几何和关于抓取的力信息，但感知的局部性意味着仅从触觉解决姿态和接触通常是一个不适定的问题，因为多种配置可能与观测结果一致。添加视觉反馈可以帮助解决歧义，但可能会受到噪声和遮挡的影响。在这项工作中，我们提出了一种将来自传感的局部观测与接触的物理约束相结合的方法。我们提出了一组因子，以确保与触觉观测的局部一致性，并强制执行物理合理性，即估计的姿态和接触必须尊重准静态刚体交互的运动学和力约束。我们将问题形式化为因子图，从而实现高效估计。在我们的实验中，我们证明了我们的方法优于现有的几何和接触信息估计流程，尤其是在只有触觉信息可用时。
🔬 方法详解
问题定义：论文旨在解决灵巧操作中，仅依靠触觉信息难以准确估计物体在手中的姿态以及与环境的外部接触的问题。现有方法要么依赖视觉信息，但易受噪声和遮挡影响，要么单独使用触觉信息，但由于触觉感知的局部性，导致问题不适定，存在多种可能的姿态和接触配置与观测一致。
核心思路：论文的核心思路是将触觉传感器的局部观测与物体接触的物理约束相结合。通过引入物理约束，缩小可行解空间，从而解决仅依靠触觉信息估计的不适定性问题。具体来说，就是确保估计的姿态和接触满足准静态刚体交互的运动学和力约束。
技术框架：论文将问题建模为一个因子图。因子图包含多种因子，用于表示不同的约束关系：1) 触觉观测因子，确保估计的接触位置与触觉传感器读数一致；2) 运动学约束因子，确保物体姿态满足运动学约束；3) 力约束因子，确保物体受力满足准静态平衡条件。通过优化因子图，可以同时估计物体姿态和外部接触。
关键创新：论文的关键创新在于将物理约束显式地融入到触觉感知的姿态估计问题中。与传统方法仅依赖几何信息或启发式规则不同，该方法利用了准静态刚体交互的物理规律，从而提高了估计的准确性和鲁棒性。此外，使用因子图进行建模，可以方便地融合多种约束，并实现高效的优化。
关键设计：论文中，触觉观测因子通常基于触觉传感器的几何模型和力/力矩读数进行设计。运动学约束因子则基于物体的运动学模型。力约束因子则需要根据具体的接触类型（如点接触、面接触）进行设计，通常涉及到摩擦锥、力矩平衡等概念。因子图的优化可以使用现成的优化库，如g2o或ceres solver。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在仅有触觉信息的情况下，姿态估计的准确性显著优于现有的几何和接触信息估计方法。具体性能数据和对比基线未在摘要中明确给出，但论文强调了其方法在触觉信息受限场景下的优越性。视频结果可在 https://tacgraph.github.io/ 找到。
🎯 应用场景
该研究成果可应用于机器人灵巧操作、自动化装配、工具使用等领域。通过精确估计物体姿态和外部接触，机器人可以更好地理解操作环境，从而实现更稳定、更可靠的操作。例如，在自动化装配线上，机器人可以利用该方法精确地将零件插入到指定位置，提高装配效率和质量。未来，该技术有望应用于医疗机器人、服务机器人等领域。
📄 摘要（原文）
Prehensile autonomous manipulation, such as peg insertion, tool use, or assembly, require precise in-hand understanding of the object pose and the extrinsic contacts made during interactions. Providing accurate estimation of pose and contacts is challenging. Tactile sensors can provide local geometry at the sensor and force information about the grasp, but the locality of sensing means resolving poses and contacts from tactile alone is often an ill-posed problem, as multiple configurations can be consistent with the observations. Adding visual feedback can help resolve ambiguities, but can suffer from noise and occlusions. In this work, we propose a method that pairs local observations from sensing with the physical constraints of contact. We propose a set of factors that ensure local consistency with tactile observations as well as enforcing physical plausibility, namely, that the estimated pose and contacts must respect the kinematic and force constraints of quasi-static rigid body interactions. We formalize our problem as a factor graph, allowing for efficient estimation. In our experiments, we demonstrate that our method outperforms existing geometric and contact-informed estimation pipelines, especially when only tactile information is available. Video results can be found at https://tacgraph.github.io/.