MicroHookACT: Monocular Microscopic Vision Guided Visuomotor Policy for Flexible Microelectrode Hooking
作者: Yitong Chen, Fangbo Qin, Yang Wang, Ruihua Hu, Kui Zhang, Shan Yu
分类: cs.RO
发布日期: 2026-09-18
💡 一句话要点
提出MicroHookACT以解决灵活微电极植入中的自动化钩针问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 微电极植入 自动化钩针 模仿学习 视觉运动策略 显微视觉 机器人手术 深度学习
📋 核心要点
- 现有方法在灵活微电极植入过程中，自动化钩针的精确性和效率仍存在挑战。
- MicroHookACT通过模仿学习和视觉运动策略，利用散焦线索和光轴引导，实现无触诊的精确钩取。
- 实验结果显示，MicroHookACT在多种难度设置下成功率达到96.7%，显著提高了操作效率。
📝 摘要（中文）
自动化针环钩取是灵活微电极植入中的关键步骤。本文提出了MicroHookACT，这是一种基于模仿学习的视觉运动策略，能够在单目显微视觉下实现自动化的三维钩取。首先，单向钩取策略利用散焦线索和光轴引导，实现无触诊的精确对齐和丰富接触的穿线。其次，基于冻结的ViT骨干网构建的动作监督对象注意模块，能够直接从人类示范中学习关注微针尖和微环，而无需手动视觉标注进行训练。最后，注意力中心的全局粗特征和局部细特征根据预测的动作进度动态加权，使得单一的ACT策略能够适应操作过程中变化的散焦模糊和视觉需求。在实验中，视觉运动策略在60个示范上进行训练，并在五种不同难度的设置下进行评估。我们的MicroHookACT框架实现了96.7%的最高成功率，平均执行时间为11.5秒。这些结果展示了视觉运动策略学习在微米级控制下的潜力。
🔬 方法详解
问题定义：本文旨在解决灵活微电极植入过程中自动化钩针的精确性和效率问题。现有方法在操作中常常依赖于人工触诊，导致对齐和穿线的准确性不足。
核心思路：MicroHookACT通过模仿学习的方法，结合视觉运动策略，利用散焦线索和光轴引导，实现无触诊的精确对齐和钩取。该设计旨在减少人工干预，提高操作的自动化水平。
技术框架：MicroHookACT的整体架构包括三个主要模块：单向钩取策略、动作监督对象注意模块和动态加权特征模块。单向钩取策略负责引导操作，动作监督模块学习人类示范，动态加权模块根据操作进度调整特征权重。
关键创新：该研究的关键创新在于引入了动作监督对象注意模块，能够在无需手动标注的情况下，直接从人类示范中学习关注目标。这一方法显著提高了模型的适应性和精确性。
关键设计：在技术细节上，使用了冻结的ViT骨干网作为基础，设计了特定的损失函数以优化注意力模块的学习过程。此外，动态加权机制使得模型能够在不同的操作阶段自适应调整特征，提升了整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MicroHookACT在60个示范训练后，成功率达96.7%，平均执行时间为11.5秒。这一性能显著优于现有方法，展示了在不同操作条件下的强大适应能力和高效性。
🎯 应用场景
MicroHookACT的研究成果在医疗领域具有广泛的应用潜力，尤其是在微创手术和神经科学研究中。通过提高微电极植入的自动化程度和精确性，该技术能够减少手术时间和风险，提升患者的安全性和舒适度。未来，该方法还可能扩展到其他类型的微操作任务中，推动机器人手术的发展。
📄 摘要（原文）
Automated needle-loop hooking is a critical step in flexible microelectrode (FME) implantation. This paper presents MicroHookACT, an imitation learning-based visuomotor policy for automated 3D hooking under monocular microscopic vision. First, a unidirectional hooking strategy exploits defocus cues and optical-axis guidance to enable palpation-free precise alignment and contact-rich threading. Second, an action-supervised object attention module built on a frozen ViT backbone learns to focus on the micro-needle tip and micro-loop directly from human demonstrations, without requiring manual visual annotations for training. Third, attention-centered global coarse and local fine features are dynamically weighted according to predicted action progress, enabling a single ACT policy to adapt to changing defocus blur and visual requirements throughout the operation. In the experiments, visuomotor policies were trained on 60 human demonstrations and evaluated under five setups with varying difficulties. Our MicroHookACT framework achieved the highest overall success rate of 96.7\% with an average execution time of 11.5 s. These results demonstrate the potential of visuomotor policy learning for micron-level control under varying operating conditions.