Action-Conditioned World Model for Goal Plane Probe Guidance in Robotic Ultrasound
作者: Siqi Fan, Mingcong Chen, Ran Liu, Zixuan Yang, Xiaoyu Fu, Xiaoqing Gao, Yunhui Liu, Hongbin Liu
分类: cs.RO
发布日期: 2026-07-24
💡 一句话要点
提出基于动作条件的世界模型以解决机器人超声引导问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人超声 目标导向导航 模型学习 超声动态 医疗机器人 深度学习 时间变换器
📋 核心要点
- 现有的自主超声任务需要大量的探头运动轨迹进行训练，收集高质量演示非常困难且劳动密集。
- 本文提出的解决方案是一个两阶段的模型学习管道，利用潜在条件扩散世界模型和目标条件的时间变换器进行超声引导。
- 实验结果显示，该框架在实际应用中取得了颈动脉和甲状腺引导的高成功率，证明了学习超声动态的潜力。
📝 摘要（中文）
本文提出了一种基于动作条件的世界模型框架，用于机器人超声中的目标平面探头引导，特别关注颈部超声扫描。自主超声任务通常需要大量探头运动轨迹进行训练，但高质量演示的收集劳动密集且显式模拟器难以构建，因为超声图像依赖于接触、组织变形和视角相关的声学伪影。我们通过两阶段的模型学习管道解决了这一问题。首先，潜在条件扩散世界模型根据最近的上下文帧、探头运动和时间偏移预测未来的超声观察。其次，目标条件的时间变换器预测有序的探头运动，并利用冻结的世界模型进行微调。实验结果表明，该框架在颈动脉引导中成功率达到70.0%，在甲状腺引导中达到65.0%。
🔬 方法详解
问题定义：本文旨在解决机器人超声引导中的高质量演示收集困难和显式模拟器构建挑战。现有方法在处理超声图像时，难以应对接触、组织变形和视角相关的声学伪影。
核心思路：论文提出了一种两阶段的模型学习管道，首先通过潜在条件扩散世界模型预测未来超声观察，然后利用目标条件的时间变换器生成有序探头运动。这样的设计旨在减少对高质量演示的依赖，同时提高探头导航的准确性。
技术框架：整体架构分为两个主要模块：第一阶段是潜在条件扩散世界模型，负责从上下文帧和探头运动中预测超声观察；第二阶段是目标条件的时间变换器，负责生成探头运动并通过奖励进行微调。
关键创新：最重要的技术创新在于结合了潜在条件扩散模型与目标条件时间变换器，能够有效捕捉超声图像的动态变化，并在无须大量高质量演示的情况下进行训练。
关键设计：在模型设计中，采用了特定的损失函数来优化预测精度，并通过冻结的世界模型进行奖励微调，以确保生成的探头运动符合实际超声扫描的需求。该方法在参数设置上也进行了细致调整，以适应不同的超声扫描任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该框架在颈动脉引导中成功率达到70.0%，在甲状腺引导中成功率为65.0%。这些结果表明，学习的超声动态在目标导向的机器人探头导航中具有显著的潜力，较传统方法有明显提升。
🎯 应用场景
该研究的潜在应用领域包括医疗超声引导、机器人手术和远程医疗等。通过提高机器人超声的自主导航能力，可以显著减少对专业人员的依赖，提升医疗服务的效率和可及性。未来，该技术有望扩展到其他类型的医疗成像和诊断任务中。
📄 摘要（原文）
We present an action-conditioned world model framework for goal plane probe guidance in robotic ultrasound, with a focus on neck ultrasound scanning. Autonomous ultrasound tasks often require large numbers of probe-motion trajectories for training, but collecting high-quality demonstrations is labor-intensive and explicit simulators are difficult to build because ultrasound appearance depends on contact, tissue deformation, and view-dependent acoustic artifacts. We address this problem with a two-stage model-based learning pipeline. First, a latent conditional diffusion world model predicts future ultrasound observations from recent context frames, probe motions and temporal offset. Second, a goal-conditioned temporal transformer predicts ordered probe motions and is fine-tuned using rewards from the frozen world model. Experiments on the self-collected dataset show that the world model preserves action-dependent anatomical structure on target-directed scans. In real-world closed loop experiments, the framework achieves success rates of 70.0\% for carotid guidance and 65.0\% for thyroid guidance. These results demonstrate the potential of learned ultrasound dynamics for training goal-directed robotic probe navigation.