UltraWorld: Learning Interactive Ultrasound World Models from Untracked Clinical Videos with Acoustic Sampling Map
作者: Keke Yang, Erqi Wang, Sainan Guan, Hongliang Ren
分类: cs.CV, cs.RO
发布日期: 2026-10-07
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出UltraWorld以解决无追踪临床视频中的超声世界模型学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 超声成像 世界模型 自蒸馏 动作跟随 声学采样图 临床视频 无追踪学习
📋 核心要点
- 现有方法依赖于同步视频-姿态对，难以在临床环境中大规模收集，限制了超声扫描的自主性。
- UltraWorld通过自蒸馏技术，从无追踪的临床视频中学习超声世界模型，避免了对真实动作注释的依赖。
- 实验结果显示，UltraWorld在预测精度和动作跟随方面显著提升，减少了目标距离和方向误差。
📝 摘要（中文）
世界模型能够通过预测探头运动的结果来实现自主超声扫描。现有方法通常依赖于同步的视频-姿态对，这在临床记录中难以获取。本文提出UltraWorld，通过自蒸馏方法将临床超声视频中的先验知识转移到交互式世界模型中，无需真实的动作注释。我们利用视频基础模型生成超声图像，并通过可编程轨迹采样的解剖掩膜提供空间指导，合成动作-视频对。最终，UltraWorld在九个模拟闭环局部规划实验中，较视觉伺服法分别减少了29%的最终距离和38%的方向误差。
🔬 方法详解
问题定义：本文旨在解决在无追踪临床视频中学习超声世界模型的问题。现有方法依赖于同步的视频-姿态对，这在临床环境中难以获取，限制了模型的应用。
核心思路：UltraWorld的核心思路是通过自蒸馏技术，将临床超声视频中的先验知识转移到交互式世界模型中，从而实现无需真实动作注释的学习。
技术框架：整体架构包括视频基础模型的适配、超声图像生成、动作-视频对的合成以及最终的世界模型自蒸馏。主要模块包括解剖掩膜的生成和合成过程。
关键创新：最重要的技术创新在于引入了声学采样图（AsMap），它将探头姿态和成像设置表示为像素级的3D采样位置、波束方向和深度，从而提高了动作跟随的精度。
关键设计：在模型设计中，采用了可编程轨迹采样的解剖掩膜，结合合成的动作-视频对进行自蒸馏，优化了损失函数和网络结构，确保了模型在推理时不依赖于解剖掩膜或其他3D资产。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UltraWorld在九个模拟闭环局部规划实验中，较视觉伺服法减少了29%的最终距离和38%的方向误差，显示出显著的性能提升，验证了模型的有效性和实用性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在医疗超声成像领域。通过实现自主超声扫描，UltraWorld可以提高临床操作的效率和准确性，减少对专业人员的依赖，未来可能在远程医疗和自动化诊断中发挥重要作用。
📄 摘要（原文）
World models can enable autonomous ultrasound scanning by predicting the outcomes of probe motions from local observations. Learning this action--observation relationship typically relies on synchronized video--pose pairs, which are costly to collect at scale and largely unavailable in routine clinical recordings. Reliable action following further requires modeling ultrasound's cross-sectional sampling geometry. We present UltraWorld, a self-distillation recipe that transfers priors from clinical ultrasound videos into interactive world models without real action annotations. Starting from clinical videos, we adapt a video foundation model into an ultrasound generator conditioned on reference images and anatomical masks. Anatomical masks sampled along programmable trajectories through 3D anatomy provide spatial guidance for synthesizing action--video pairs. We then use these synthetic pairs to self-distill the generator into a world model that predicts future observations from local observations and actions, without requiring anatomical masks or other 3D assets at inference time. To further improve action following, we introduce the Acoustic Sampling Map (AsMap), which represents probe poses and imaging settings as pixel-wise 3D sampling positions, beam directions, and depths. Experiments demonstrate improved prediction fidelity and action following. Across nine simulated closed-loop local planning episodes, UltraWorld reduces the mean final distance to the goal and orientation error by 29\% and 38\%, respectively, compared with visual servoing. Project Page: https://ultraworld-project.github.io/.