A Cranial-Feature-Based Registration Scheme for Robotic Micromanipulation Using a Microscopic Stereo Camera System

📄 arXiv: 2410.18630v1 📥 PDF

作者: Xiaofeng Lin, Saúl Alexis Heredia Pérez, Kanako Harada

分类: cs.CV, cs.RO

发布日期: 2024-10-24

备注: Accepted by Advanced Robotics, Vol. 38, Issue 21

DOI: 10.1080/01691864.2024.2415092

💡 一句话要点

提出基于颅骨特征的配准方案，用于显微立体视觉引导的机器人微操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人微操作 显微立体视觉 颅骨配准 卷积神经网络 三维重建

📋 核心要点

  1. 生物样本的尺寸和形状差异大，导致机器人微操作难以精确控制，尤其是在颅骨开窗等任务中。
  2. 提出一种基于颅骨特征的配准方案，利用CNN进行约束和彩色化配准，提升配准精度和鲁棒性。
  3. 实验表明，所提出的MSCS具有高精度和实时性，配准方案在连续帧上实现了较低的平移和旋转误差。

📝 摘要（中文）

生物样本在尺寸和形状上存在显著差异，给自主机器人操作带来挑战。本文以小鼠颅骨开窗任务为例，阐述了这些挑战。研究引入了一种由线性模型增强深度感知的显微立体相机系统（MSCS）。同时，针对部分暴露的小鼠颅骨表面，开发了一种精确的配准方案，该方案采用基于CNN的约束和彩色化配准策略。这些方法与MSCS集成，用于机器人微操作任务。MSCS在阶跃高度实验中表现出0.10 mm $\pm$ 0.02 mm的高精度，并在3D重建中实现了30 FPS的实时性能。配准方案的平移误差为1.13 mm $\pm$ 0.31 mm，旋转误差为3.38$^{\circ}$ $\pm$ 0.89$^{\circ}$，在105个连续帧上进行了测试，平均速度为1.60 FPS，证明了其精度。本研究展示了MSCS和一种新型配准方案在提高科学和外科环境中机器人微操作的精度和准确性方面的应用。本文提出的创新为处理微观操作的挑战提供了自动化方法，为微观外科和科学研究的各个领域中更准确、高效和更少侵入性的手术铺平了道路。

🔬 方法详解

问题定义：论文旨在解决机器人微操作中，由于生物样本（特别是小鼠颅骨）的形状和尺寸差异带来的配准难题。现有方法难以精确地将机器人操作臂与目标生物组织对齐，导致操作精度不足，甚至可能造成损伤。

核心思路：论文的核心思路是利用显微立体相机系统（MSCS）获取小鼠颅骨表面的三维信息，并设计一种基于颅骨特征的配准方案，将MSCS获取的图像与预先建立的颅骨模型进行精确配准。通过精确配准，可以确定机器人操作臂相对于颅骨的精确位置和姿态，从而实现精确的微操作。

技术框架：整体框架包括以下几个主要模块：1) 显微立体相机系统（MSCS）：用于获取小鼠颅骨表面的立体图像，并进行三维重建。2) 基于CNN的特征提取：利用卷积神经网络提取颅骨表面的特征点。3) 约束和彩色化配准：利用提取的特征点，结合约束条件和彩色信息，进行精确的配准。4) 机器人控制：根据配准结果，控制机器人操作臂进行微操作。

关键创新：论文的关键创新在于提出了一种基于CNN的约束和彩色化配准策略。传统的配准方法通常只依赖于几何特征，容易受到噪声和遮挡的影响。而该方法结合了CNN提取的深度特征和彩色信息，并引入约束条件，提高了配准的鲁棒性和精度。

关键设计：在配准过程中，使用了特定的损失函数来优化配准参数，例如，最小化特征点之间的距离误差和颜色差异。CNN的网络结构也经过精心设计，以提取对配准有用的特征。此外，还使用了RANSAC等鲁棒估计方法来处理异常值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究提出的MSCS在阶跃高度实验中实现了0.10 mm $\pm$ 0.02 mm的精度，并在3D重建中达到了30 FPS的实时性能。配准方案在105个连续帧上的测试中，实现了1.13 mm $\pm$ 0.31 mm的平移误差和3.38$^{\circ}$ $\pm$ 0.89$^{\circ}$的旋转误差，平均速度为1.60 FPS。这些结果表明，该方法具有较高的精度和实时性，能够满足机器人微操作的需求。

🎯 应用场景

该研究成果可应用于多种需要高精度机器人微操作的领域，例如：神经科学研究中的颅骨开窗、药物递送、细胞注射等；眼科手术中的视网膜操作；以及其他需要精确操作的微创手术。该技术有望提高手术的精度和效率，减少患者的创伤。

📄 摘要（原文）

Biological specimens exhibit significant variations in size and shape, challenging autonomous robotic manipulation. We focus on the mouse skull window creation task to illustrate these challenges. The study introduces a microscopic stereo camera system (MSCS) enhanced by the linear model for depth perception. Alongside this, a precise registration scheme is developed for the partially exposed mouse cranial surface, employing a CNN-based constrained and colorized registration strategy. These methods are integrated with the MSCS for robotic micromanipulation tasks. The MSCS demonstrated a high precision of 0.10 mm $\pm$ 0.02 mm measured in a step height experiment and real-time performance of 30 FPS in 3D reconstruction. The registration scheme proved its precision, with a translational error of 1.13 mm $\pm$ 0.31 mm and a rotational error of 3.38$^{\circ}$ $\pm$ 0.89$^{\circ}$ tested on 105 continuous frames with an average speed of 1.60 FPS. This study presents the application of a MSCS and a novel registration scheme in enhancing the precision and accuracy of robotic micromanipulation in scientific and surgical settings. The innovations presented here offer automation methodology in handling the challenges of microscopic manipulation, paving the way for more accurate, efficient, and less invasive procedures in various fields of microsurgery and scientific research.