Physics-Informed Machine Learning with Adaptive Grids for Optical Microrobot Depth Estimation

📄 arXiv: 2509.02343v1 📥 PDF

作者: Lan Wei, Lou Genoud, Dandan Zhang

分类: cs.RO

发布日期: 2025-09-02

备注: 2025 IEEE International Conference on Cyborg and Bionic Systems (CBS 2025)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于自适应网格的物理信息机器学习方法，用于光镊微型机器人的深度估计。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光镊微型机器人 深度估计 物理信息机器学习 自适应网格 生物医学应用

📋 核心要点

  1. 传统深度学习方法在微型机器人深度估计中面临透明性、低对比度和数据标注成本高等挑战。
  2. 该方法结合卷积特征提取与基于物理的聚焦度量，并采用自适应网格策略优化计算效率。
  3. 实验结果表明，该方法在数据有限的情况下，显著降低了均方误差，并提高了决定系数。

📝 摘要（中文）

本文提出了一种基于物理信息的、数据高效的光学微型机器人深度估计框架。光学镊子驱动的光学微型机器人具有巨大的生物医学应用潜力，例如细胞操作和微尺度组装。这些任务需要精确的三维感知，以确保在复杂和动态的生物环境中进行精确控制。然而，微型机器人的透明性和低对比度的显微成像对传统的深度学习方法提出了挑战，这些方法还需要大量昂贵的标注数据集。该方法利用卷积特征提取，并结合基于物理的聚焦度量，如熵、高斯拉普拉斯算子和梯度锐度，这些度量使用自适应网格策略计算。该策略在微型机器人区域分配更精细的网格，在背景区域分配更粗糙的网格，从而提高深度敏感性，同时降低计算复杂度。在多种微型机器人类型上评估了该框架，结果表明，与基线模型相比，该方法有显著改进，均方误差（MSE）降低了60%以上，决定系数（R^2）在所有测试用例中均得到提高。即使仅使用20%的可用数据进行训练，该模型也优于使用完整数据集训练的ResNet50，突出了其在有限数据条件下的鲁棒性。代码已开源。

🔬 方法详解

问题定义：论文旨在解决光学微型机器人在生物医学应用中精确三维深度估计的问题。现有深度学习方法在处理透明、低对比度的微型机器人图像时，需要大量标注数据，且泛化能力受限。传统方法难以有效利用图像中的物理信息，导致深度估计精度不高。

核心思路：论文的核心思路是将物理信息融入到深度学习模型中，利用图像的聚焦特性来辅助深度估计。通过计算基于物理的聚焦度量（如熵、高斯拉普拉斯算子和梯度锐度），提取图像中的深度相关信息。同时，采用自适应网格策略，在微型机器人区域使用更精细的网格，在背景区域使用更粗糙的网格，以提高计算效率和深度敏感性。

技术框架：整体框架包含以下几个主要模块：1) 图像输入：输入显微镜下拍摄的微型机器人图像。2) 特征提取：使用卷积神经网络（CNN）提取图像的视觉特征。3) 物理信息计算：基于自适应网格策略，计算图像的聚焦度量，包括熵、高斯拉普拉斯算子和梯度锐度。4) 特征融合：将CNN提取的视觉特征与物理信息融合。5) 深度估计：使用回归模型，根据融合后的特征估计微型机器人的深度。

关键创新：最重要的技术创新点在于将物理信息与深度学习相结合，并提出了自适应网格策略。与传统深度学习方法相比，该方法能够更有效地利用图像中的深度相关信息，提高深度估计的精度和鲁棒性。自适应网格策略能够在保证精度的前提下，降低计算复杂度。

关键设计：自适应网格策略根据图像内容动态调整网格大小，在微型机器人区域使用更小的网格，以提高深度敏感性，在背景区域使用更大的网格，以减少计算量。损失函数采用均方误差（MSE），用于衡量估计深度与真实深度之间的差异。网络结构方面，可以使用各种常见的CNN架构，如ResNet等，作为特征提取器。

📊 实验亮点

实验结果表明，该方法在多种微型机器人类型上均取得了显著的性能提升。与基线模型相比，均方误差（MSE）降低了60%以上，决定系数（R^2）在所有测试用例中均得到提高。更重要的是，即使仅使用20%的可用数据进行训练，该模型也优于使用完整数据集训练的ResNet50，突出了其在有限数据条件下的鲁棒性。

🎯 应用场景

该研究成果可应用于生物医学领域，例如细胞操作、微尺度组装、药物递送等。精确的深度估计能够帮助实现对微型机器人的精确控制，从而在复杂和动态的生物环境中执行各种任务。该方法还有潜力扩展到其他需要三维感知的微型机器人应用场景。

📄 摘要（原文）

Optical microrobots actuated by optical tweezers (OT) offer great potential for biomedical applications such as cell manipulation and microscale assembly. These tasks demand accurate three-dimensional perception to ensure precise control in complex and dynamic biological environments. However, the transparent nature of microrobots and low-contrast microscopic imaging challenge conventional deep learning methods, which also require large annotated datasets that are costly to obtain. To address these challenges, we propose a physics-informed, data-efficient framework for depth estimation of optical microrobots. Our method augments convolutional feature extraction with physics-based focus metrics, such as entropy, Laplacian of Gaussian, and gradient sharpness, calculated using an adaptive grid strategy. This approach allocates finer grids over microrobot regions and coarser grids over background areas, enhancing depth sensitivity while reducing computational complexity. We evaluate our framework on multiple microrobot types and demonstrate significant improvements over baseline models. Specifically, our approach reduces mean squared error (MSE) by over 60% and improves the coefficient of determination (R^2) across all test cases. Notably, even when trained on only 20% of the available data, our model outperforms ResNet50 trained on the full dataset, highlighting its robustness under limited data conditions. Our code is available at: https://github.com/LannWei/CBS2025.