Ultrasound Operator Guidance Using World Modeling and Retrieval Based Action Planning
作者: Noortje I. P. Schueler, Hans van Gorp, Ruud J. G. van Sloun
分类: cs.LG, cs.CV
发布日期: 2026-10-05
备注: 11 pages, 8 figures, 5 tables
💡 一句话要点
提出基于世界建模和检索的超声操作指导方法以提升成像质量
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 超声成像 操作指导 世界建模 检索驱动 多步规划 非参数模型 医疗应用
📋 核心要点
- 现有超声成像方法依赖于操作员的专业知识，导致成像质量不稳定，且受训技师供给不足。
- 论文提出了一种基于检索的潜在转移模型，通过世界模型实现超声操作指导，支持多步规划。
- 实验结果显示，该方法在颈动脉超声中达到86%的目标视图达成率，显著优于传统方法。
📝 摘要（中文）
超声成像广泛应用，但其质量严重依赖操作员的知识和经验。由于受训超声技师的供给无法满足需求，操作指导系统旨在通过指导较少训练的用户如何移动探头以获取目标视图。本文提出了一种基于检索的潜在转移模型，利用世界模型进行超声操作指导，将其形式化为多步规划和检索。使用V-JEPA 2.1骨干网络，观察结果首先被编码到潜在空间中，解剖相关视图彼此靠近。然后，从包含编码潜在状态及相应探头位置和方向的参考数据库中检索相似视图。通过直接使用数据库中的物理执行转移，建立了非参数的检索驱动转移模型，支持回退视野规划。在实际应用中，仅通过实时超声图像流生成指导，无需探头跟踪硬件。应用于颈动脉超声时，该规划器在86%的回顾性闭环实验中达到目标视图，显著优于52%和43%的基线方法。
🔬 方法详解
问题定义：本文旨在解决超声成像中因操作员经验不足导致的成像质量问题。现有方法通常依赖于经验丰富的技师，难以满足日益增长的超声检查需求。
核心思路：提出了一种检索驱动的潜在转移模型，通过世界模型实现超声操作指导，允许较少训练的用户有效获取目标视图。该方法通过编码观察结果并在潜在空间中检索相似视图来实现指导。
技术框架：整体架构包括观察结果编码、潜在空间构建、相似视图检索和基于检索的转移模型。首先，使用V-JEPA 2.1骨干网络对观察结果进行编码，然后从参考数据库中检索相似视图，最后通过物理执行转移建立非参数模型。
关键创新：最重要的创新在于不再学习参数化转移函数，而是直接利用数据库中的物理执行转移，建立了支持回退视野规划的非参数检索驱动转移模型。
关键设计：在参数设置上，采用了V-JEPA 2.1作为骨干网络，损失函数设计为支持潜在空间的紧凑性，确保解剖相关视图在潜在空间中相互靠近。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的规划器在颈动脉超声中达到86%的目标视图达成率，显著优于52%和43%的基线方法，展示了在复杂视图下的优越性能，尤其是在纵向内外颈动脉视图中。
🎯 应用场景
该研究的潜在应用领域包括医疗超声成像、术中监测和随访检查等。通过提供有效的操作指导，能够帮助未受过专业训练的用户进行高质量的超声检查，提升医疗服务的可及性和效率。
📄 摘要（原文）
Ultrasound is widely used, but acquisition quality is heavily dependent on the operator's knowledge and expertise. With demand for examinations outpacing the supply of trained sonographers, operator-guidance systems aim to close this gap by instructing a less trained user how to move the probe toward a target view. In this paper, we propose a retrieval-induced latent transition model for ultrasound acquisition dynamics, formulating ultrasound operator guidance as multi-step planning and retrieval in a world model. Using a V-JEPA 2.1 backbone, observations are first encoded into a latent space where anatomically related views lie close together. We then retrieve similar views from a reference database containing encoded latent states and corresponding probe positions and orientations. Rather than learning a parametric transition function, we directly use physically executed transitions from the database to establish our nonparametric, retrieval-induced transition model that supports receding-horizon planning. At deployment, guidance is generated from the live ultrasound image feed alone, without any probe tracking hardware. Applied to carotid ultrasound, the proposed planner reaches the target view in 86% of retrospective closed-loop episodes, versus 52% and 43% for representative baselines, outperforming both on every target view, including the challenging longitudinal internal and external carotid artery views. A prospective feasibility study on unseen volunteers, run in real time on a CPU using distillation, reaches 83% target-view reachability. Because planning is driven by proximity to any encodable goal latent, the same world model can navigate back to any previously acquired, patient-specific frame, supporting reproducible longitudinal imaging for e.g. perioperative or follow-up monitoring.