From Freehand Demonstrations to Autonomous Robotic Ultrasound: An Anatomy-Anchored Learning Framework
作者: Yuan Bi, Fangxu Han, Ye Su, Yiping Zhou, Zhongliang Jiang, Nassir Navab
分类: cs.RO
发布日期: 2026-10-23
💡 一句话要点
提出解剖锚定模仿学习框架以实现自主机器人超声成像
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 超声成像 模仿学习 机器人技术 解剖结构 自主导航 多模态融合 医疗机器人 深度学习
📋 核心要点
- 现有超声成像方法高度依赖操作员，难以实现一致性和准确性，尤其是在复杂的解剖结构下。
- 提出的解剖锚定模仿学习框架结合了解剖引导的探头放置与学习的超声导航，能够有效提高机器人超声成像的自主性和准确性。
- 在实验中，针对未见参与者的任务成功率达到96%，相较于基线模型，腹部任务成功率提升10-42个百分点，且时间和接触力均有所降低。
📝 摘要（中文）
超声成像高度依赖操作员，促使开发能够一致再现专家扫描技能的机器人系统。这些技能涉及解剖标志、超声图像和探头-组织交互的协调解读，难以通过手工设计的控制策略编码。本文提出了一种解剖锚定的模仿学习框架，结合了解剖引导的探头放置与学习的超声导航。该框架通过外部视觉观察识别任务特定的解剖起始点，并建立初始探头姿态作为扫描的参考框架。流基策略生成基于锚点相对探头姿态、超声图像、探头安装摄像头视图和接触力的扫描动作，同时终止头预测任务完成情况。实验结果显示，在16名未见参与者中，任务成功率分别为96%、94%、88%和94%。
🔬 方法详解
问题定义：本文旨在解决超声成像中操作员依赖性强、技能再现困难的问题。现有方法难以有效编码解剖结构与超声图像之间的复杂关系，导致机器人在执行任务时的准确性和一致性不足。
核心思路：提出的解剖锚定模仿学习框架通过结合解剖引导的探头放置与学习的超声导航，能够更好地反映解剖结构的特征，从而提升机器人在超声成像中的表现。
技术框架：该框架包括两个主要模块：解剖引导的探头放置模块和流基策略生成的扫描动作模块。探头放置模块通过外部视觉观察确定解剖起始点，流基策略则根据锚点相对探头姿态生成扫描动作。
关键创新：最重要的创新在于将解剖结构与模仿学习相结合，形成解剖锚定的学习框架。这一设计使得机器人能够在不依赖第三方视觉的情况下，基于解剖信息自主进行超声成像。
关键设计：在技术细节上，采用了流基策略生成扫描动作，结合了超声图像、探头视图和接触力等多模态信息。同时，设计了终止头以预测任务完成情况，确保扫描过程的高效性。实验中通过消融实验验证了解剖锚定、以自我为中心的视觉和力反馈的互补作用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在16名未见参与者中，针对肾脏、胆囊、肝脏标准平面采集和放射动脉扫查的任务成功率分别达到96%、94%、88%和94%。与精细调优的基线模型相比，腹部任务成功率提升了10-42个百分点，同时降低了目标时间、峰值接触力和轨迹抖动。
🎯 应用场景
该研究的潜在应用领域包括医疗超声成像、机器人辅助手术和远程医疗等。通过提高机器人在超声成像中的自主性和准确性，能够有效减轻医生的工作负担，提升患者的诊断效率和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Ultrasound imaging is highly operator-dependent, motivating robotic systems that reproduce expert scanning skills consistently. These skills involve coordinated interpretation of anatomical landmarks, ultrasound images, and probe-tissue interactions that are difficult to encode in hand-designed control strategies. Imitation learning offers an alternative, but its observation and action representations should reflect the anatomically structured nature of scanning. We propose an anatomy-anchored imitation-learning framework that combines anatomy-guided probe placement with learned ultrasound navigation. The placement module identifies a task-specific anatomical starting point from external visual observations and establishes the initial probe pose as the reference frame for scanning. A flow-based policy then generates scanning motions from anchor-relative probe poses, ultrasound images, probe-mounted camera views, and contact forces, while a termination head predicts task completion. This avoids continuous reliance on third-person vision and reduces dependence on the robot-patient configuration. A handheld acquisition platform enables multimodal demonstrations to be collected during natural freehand scanning without a robot. On 16 unseen participants, task success reaches 96%, 94%, 88%, and 94% for kidney, gallbladder, and liver standard-plane acquisition and radial artery sweeping, respectively. Compared with a fine-tuned pi_0 model, success on the abdominal tasks improves by 10-42 percentage points, with lower time-to-target, peak contact force, and trajectory jerk. Ablations support the complementary roles of anatomical anchoring, egocentric vision, and force feedback. End-to-end trials with automatic placement achieve 90-100% success, and the policies transfer without retraining to a second robot with 83-100% success.