Pose and shear-based tactile servoing
作者: John Lloyd, Nathan F. Lepora
分类: cs.RO
发布日期: 2023-12-13
备注: Accepted in International Journal of Robotics Research (IJRR). 29 pages, 20 figures. Related technical report: arXiv:2306.08560. Video: https://www.youtube.com/watch?v=xVs4hd34ek0
💡 一句话要点
提出基于触觉的位姿与剪切力伺服控制，用于提升机器人非抓取操作的精度和适应性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 触觉伺服 位姿估计 剪切力 贝叶斯滤波 高斯密度神经网络 机器人操作 非抓取操作
📋 核心要点
- 现有触觉伺服控制在处理包含剪切力引起的滑动数据时，位姿估计容易出错，影响控制精度。
- 提出一种结合高斯密度神经网络和判别贝叶斯滤波器的触觉伺服控制方法，利用机器人运动学信息提升位姿估计的准确性。
- 通过实验验证，该系统能够完成物体跟踪、表面跟随、单/双臂物体推动等多种非抓取操作任务，展示了良好的适应性。
📝 摘要（中文）
触觉伺服控制是一项重要的技术，它使机器人能够在实时适应环境变化的同时，精确地操纵物体。一种利用高分辨率软触觉传感器进行触觉伺服控制的方法是使用卷积神经网络（CNN）估计相对于物体表面的接触位姿，并将其作为反馈信号。本文研究了如何扩展表面位姿估计模型以包含剪切力，并利用这些组合的位姿-剪切力模型开发了一种触觉机器人系统，该系统可以被编程用于各种非抓取操作任务，例如物体跟踪、表面跟随、单臂物体推动和双臂物体推动。为此，必须克服两个技术挑战。首先，包含剪切力引起的滑动的触觉数据可能导致不准确的估计，不适合精确控制，因此我们将CNN修改为高斯密度神经网络，并使用判别贝叶斯滤波器，利用机器人运动学状态动态模型来改进预测。其次，为了在与物体交互时实现3D空间中的平滑机器人运动，我们使用了基于SE(3)速度的伺服控制，这需要使用李群理论重新推导贝叶斯滤波器更新方程，因为许多标准假设不适用于在非欧几里德流形上定义的状态变量。我们相信，基于位姿和剪切力的触觉伺服控制将能够实现许多物体操纵任务，并充分利用多指触觉机器人手的灵活性。
🔬 方法详解
问题定义：论文旨在解决机器人触觉伺服控制中，由于剪切力引起的滑动导致位姿估计不准确的问题。现有方法在处理包含滑动的数据时，容易产生误差，从而影响机器人操作的精度和稳定性。特别是在非抓取操作中，精确的位姿估计至关重要。
核心思路：论文的核心思路是将位姿估计模型扩展到包含剪切力信息，并利用高斯密度神经网络和判别贝叶斯滤波器来提高位姿估计的鲁棒性。通过引入机器人运动学模型作为状态动态模型，可以有效地过滤掉由滑动引起的噪声，从而获得更准确的位姿估计。
技术框架：该触觉机器人系统的整体框架包括以下几个主要模块：1) 高分辨率软触觉传感器获取触觉数据；2) 高斯密度神经网络（GDNN）用于从触觉数据中估计位姿和剪切力；3) 判别贝叶斯滤波器，结合GDNN的输出和机器人运动学模型，对位姿进行滤波和优化；4) 基于SE(3)速度的伺服控制器，根据滤波后的位姿信息控制机器人的运动。
关键创新：论文的关键创新在于：1) 将剪切力信息融入到位姿估计模型中，提高了对复杂接触情况的适应性；2) 使用高斯密度神经网络来处理触觉数据中的不确定性；3) 引入判别贝叶斯滤波器，并结合机器人运动学模型，有效地抑制了滑动带来的误差；4) 将贝叶斯滤波器更新方程推广到非欧几里德流形（SE(3)），从而实现了3D空间中的平滑机器人运动。
关键设计：论文中，高斯密度神经网络的结构和训练方式未知。判别贝叶斯滤波器的具体实现细节，包括状态转移矩阵和观测矩阵的设计，以及噪声模型的选择也未知。基于SE(3)速度的伺服控制器的具体参数设置和控制策略也未知。
📊 实验亮点
论文通过实验验证了该系统在物体跟踪、表面跟随、单臂物体推动和双臂物体推动等任务中的有效性。虽然论文中没有给出具体的性能数据和对比基线，但实验结果表明，该系统能够实现平滑、稳定的机器人运动，并能够有效地适应环境变化，证明了该方法在实际应用中的潜力。
🎯 应用场景
该研究成果可应用于各种需要精确触觉反馈的机器人操作任务，例如：自动化装配、精密加工、医疗手术、以及在复杂环境中进行物体操作。通过提高机器人对接触状态的感知和控制能力，可以显著提升其在非结构化环境中的适应性和操作效率，具有重要的实际应用价值和广阔的未来发展前景。
📄 摘要（原文）
Tactile servoing is an important technique because it enables robots to manipulate objects with precision and accuracy while adapting to changes in their environments in real-time. One approach for tactile servo control with high-resolution soft tactile sensors is to estimate the contact pose relative to an object surface using a convolutional neural network (CNN) for use as a feedback signal. In this paper, we investigate how the surface pose estimation model can be extended to include shear, and utilize these combined pose-and-shear models to develop a tactile robotic system that can be programmed for diverse non-prehensile manipulation tasks, such as object tracking, surface following, single-arm object pushing and dual-arm object pushing. In doing this, two technical challenges had to be overcome. Firstly, the use of tactile data that includes shear-induced slippage can lead to error-prone estimates unsuitable for accurate control, and so we modified the CNN into a Gaussian-density neural network and used a discriminative Bayesian filter to improve the predictions with a state dynamics model that utilizes the robot kinematics. Secondly, to achieve smooth robot motion in 3D space while interacting with objects, we used SE(3) velocity-based servo control, which required re-deriving the Bayesian filter update equations using Lie group theory, as many standard assumptions do not hold for state variables defined on non-Euclidean manifolds. In future, we believe that pose and shear-based tactile servoing will enable many object manipulation tasks and the fully-dexterous utilization of multi-fingered tactile robot hands. Video: https://www.youtube.com/watch?v=xVs4hd34ek0