SonoWorld: Towards Interactive Pose-Controllable Ultrasound World Models
作者: Zefan Yang, Zheyuan Zhang, Boris Maihe, Yikang Liu, Hang Yu, Ankush Mukherjee, Xiao Chen, Pingkun Yan, Terrence Chen, Shanhui Sun
分类: cs.CV
发布日期: 2026-10-14
💡 一句话要点
提出SonoWorld以解决超声图像控制环境不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 超声图像 因果模型 视频动态学习 机器人控制 临床应用 自回归生成 动作区分 多模态学习
📋 核心要点
- 现有的超声图像采集方法缺乏真实、可控的仿真环境，限制了策略学习的有效性。
- SonoWorld通过从未标记的临床视频中学习视频动态，并结合EM传感器实现6自由度控制，提供了一种新的解决方案。
- 实验结果表明，SonoWorld在姿态跟随和动作区分方面表现优异，最高可达74.8%的正确率，显著提升了超声图像控制的可行性。
📝 摘要（中文）
机器人超声可以标准化图像采集并减少操作员的工作负担和变异性，但由于缺乏真实、可控的仿真环境，策略学习仍然受到限制。现有方法依赖于机器人跟踪姿态和潜在空间预测，但未能直接生成交互控制所需的观察。我们提出了SonoWorld，一个因果超声世界模型，它从未标记的临床视频中学习视频动态，并通过少量自由手临床扫描与EM传感器进行6自由度控制。SonoWorld经过三个阶段的训练：在约690万帧未标记的多脏器超声图像上预训练潜在动作条件的视频扩散模型；将学习到的视频动态与小型EM跟踪的甲状腺数据集的度量探头姿态相结合；并应用分布匹配蒸馏以实现因果、长时间自回归生成。我们通过姿态跟随保真度、往返一致性和轴特定控制等指标评估可控性，并通过用户研究进一步验证。SonoWorld在模型驱动的动作区分中，在高达74.8%的试验中正确排名目标导向的探头运动。
🔬 方法详解
问题定义：本论文旨在解决超声图像采集中的控制环境不足问题。现有方法依赖于机器人跟踪姿态和潜在空间预测，无法直接生成所需的观察，导致交互控制的局限性。
核心思路：我们提出的SonoWorld模型通过从未标记的临床视频中学习视频动态，并结合少量自由手扫描数据，实现在6自由度下的控制。这种设计使得模型能够在真实场景中进行有效的超声图像生成和控制。
技术框架：SonoWorld的训练分为三个阶段：首先，在690万帧未标记的多脏器超声图像上预训练潜在动作条件的视频扩散模型；其次，利用小型EM跟踪的甲状腺数据集将学习到的视频动态与探头姿态进行结合；最后，应用分布匹配蒸馏技术以实现因果、长时间的自回归生成。
关键创新：SonoWorld是首个主要从自由手临床视频中学习的因果、姿态可控超声世界模型。与现有方法相比，它能够更好地处理小探头运动引起的大幅外观变化，提供了更高的交互性。
关键设计：在模型设计中，我们采用了潜在动作条件的视频扩散模型，并在训练过程中使用了特定的损失函数和参数设置，以确保模型在生成过程中能够有效捕捉视频动态特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SonoWorld在模型驱动的动作区分任务中，能够在高达74.8%的试验中正确区分目标导向的探头运动，相较于对立运动表现出显著的优势。这一结果验证了模型在姿态跟随和控制方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人超声图像采集、医学影像分析和临床决策支持。通过提供一个数据驱动的交互环境，SonoWorld能够帮助医生更高效地进行超声检查，并为机器人系统的策略评估提供支持，未来可能在医疗领域产生深远影响。
📄 摘要（原文）
Robotic ultrasound can standardize image acquisition and reduce operator workload and variability, but policy learning remains limited by the lack of realistic, controllable simulation environments. While controllable world models have advanced rapidly in natural-image domains, ultrasound world modeling remains challenging because each frame captures only a cross-section of unobserved 3D anatomy, causing small probe motions to induce large appearance changes. Existing approaches rely on robot-tracked poses and latent-space prediction, but do not directly generate the observations required for interactive control. We propose SonoWorld, a causal ultrasound world model that learns video dynamics from unlabeled clinical videos and grounds them to 6-DoF control using a small set of freehand clinical scans tracked with an EM sensor. SonoWorld is trained in three stages: pretraining a latent-action-conditioned video diffusion model on around 6.9 million unlabeled multi-organ ultrasound frames; grounding the learned video dynamics to metric probe poses with a small EM-tracked thyroid dataset; and applying distribution matching distillation to enable causal, long-horizon autoregressive generation with selectively caching eviction tokens at inference time. We evaluate controllability through pose-following fidelity, round-trip consistency, and axis-specific control under synthetic actions on held-out tracked scans, and further validate it with a user study. In model-based action discrimination, SonoWorld correctly ranks the target-directed probe motion over an equal-magnitude opposite motion in up to 74.8% of trials. To our knowledge, SonoWorld is the first causal, pose-controllable ultrasound world model learned primarily from freehand clinical videos, providing a data-driven interactive environment for robotic ultrasound data acquisition and policy evaluation.