UltrasODM: A Dual Stream Optical Flow Mamba Network for 3D Freehand Ultrasound Reconstruction

📄 arXiv: 2512.07756v1 📥 PDF

作者: Mayank Anand, Ujair Alam, Surya Prakash, Priya Shukla, Gora Chand Nandi, Domenec Puig

分类: cs.CV, cs.RO

发布日期: 2025-12-08

🔗 代码/项目: GITHUB

💡 一句话要点

UltrasODM：用于3D自由手超声重建的双流光流Mamba网络

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自由手超声重建 光流估计 Mamba网络 人机交互 不确定性估计

📋 核心要点

  1. 自由手超声重建易受探头运动和亮度变化影响，导致重建精度下降，影响临床应用。
  2. UltrasODM利用双流网络，结合光流和Mamba模块进行姿态估计，并引入人机交互的不确定性反馈。
  3. 实验表明，UltrasODM在漂移、距离误差和Hausdorff距离上均优于UltrasOM，提升了重建可靠性。

📝 摘要（中文）

临床超声采集高度依赖操作者，快速的探头运动和亮度波动常导致重建误差，降低了临床信任度和实用性。本文提出了UltrasODM，一个双流框架，通过校准的逐帧不确定性、基于显著性的诊断和可操作的提示来辅助超声医师进行采集。UltrasODM集成了：（i）一个对比排序模块，通过运动相似性对帧进行分组；（ii）一个光流流，与双Mamba时间模块融合，用于鲁棒的6自由度姿态估计；（iii）一个人在环（HITL）层，结合贝叶斯不确定性、临床医生校准的阈值和突出低置信度区域的显著性图。当不确定性超过阈值时，系统会发出不显眼的警报，建议采取纠正措施，例如重新扫描突出显示的区域或减慢扫描速度。在临床自由手超声数据集上评估，UltrasODM相对于UltrasOM，漂移减少了15.2%，距离误差减少了12.1%，Hausdorff距离减少了10.1%，同时生成逐帧不确定性和显著性输出。通过强调透明度和临床医生反馈，UltrasODM提高了重建可靠性，并支持更安全、更值得信赖的临床工作流程。代码已公开。

🔬 方法详解

问题定义：自由手超声重建旨在从一系列超声图像中恢复三维结构。现有方法容易受到探头快速运动和图像亮度变化的影响，导致姿态估计不准确，进而影响重建质量。这些误差降低了临床医生对重建结果的信任度，限制了超声技术的应用。

核心思路：UltrasODM的核心思路是利用光流信息增强姿态估计的鲁棒性，并结合Mamba模型捕捉时间依赖性。此外，引入人机交互（HITL）机制，通过不确定性估计和显著性分析，为临床医生提供实时反馈，指导其调整扫描策略，从而提高重建质量。

技术框架：UltrasODM包含三个主要模块：(1) 对比排序模块，用于根据运动相似性对帧进行分组，提高后续光流估计的准确性；(2) 双流网络，包含一个光流流和一个图像流，其中光流流与双Mamba时间模块融合，用于鲁棒的6自由度姿态估计；(3) 人在环（HITL）层，结合贝叶斯不确定性、临床医生校准的阈值和显著性图，当不确定性超过阈值时，向临床医生发出警报，并建议纠正措施。

关键创新：UltrasODM的关键创新在于以下几点：(1) 提出了一种双流光流Mamba网络，能够更准确地估计探头的姿态；(2) 引入了人机交互机制，通过不确定性估计和显著性分析，为临床医生提供实时反馈；(3) 结合对比排序模块，提高了光流估计的准确性。与现有方法相比，UltrasODM更注重姿态估计的鲁棒性和重建结果的可靠性。

关键设计：UltrasODM的关键设计包括：(1) 使用对比损失函数训练对比排序模块，以提高运动相似性分组的准确性；(2) 在光流流中引入双Mamba时间模块，以捕捉时间依赖性；(3) 使用贝叶斯神经网络估计逐帧不确定性；(4) 基于梯度反向传播计算显著性图，突出显示低置信度区域；(5) 设计了清晰的用户界面，向临床医生展示不确定性信息和建议的纠正措施。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UltrasODM在临床自由手超声数据集上进行了评估，实验结果表明，相对于UltrasOM，UltrasODM的漂移减少了15.2%，距离误差减少了12.1%，Hausdorff距离减少了10.1%。此外，UltrasODM能够生成逐帧不确定性和显著性输出，为临床医生提供有价值的反馈信息，从而提高重建质量。

🎯 应用场景

UltrasODM可应用于各种需要自由手超声重建的临床场景，例如肿瘤检测、血管成像、肌肉骨骼评估等。该系统能够提高重建的准确性和可靠性，增强临床医生对超声图像的信任度，从而辅助诊断和治疗决策。未来，UltrasODM可以集成到便携式超声设备中，实现更便捷、更高效的临床应用。

📄 摘要（原文）

Clinical ultrasound acquisition is highly operator-dependent, where rapid probe motion and brightness fluctuations often lead to reconstruction errors that reduce trust and clinical utility. We present UltrasODM, a dual-stream framework that assists sonographers during acquisition through calibrated per-frame uncertainty, saliency-based diagnostics, and actionable prompts. UltrasODM integrates (i) a contrastive ranking module that groups frames by motion similarity, (ii) an optical-flow stream fused with Dual-Mamba temporal modules for robust 6-DoF pose estimation, and (iii) a Human-in-the-Loop (HITL) layer combining Bayesian uncertainty, clinician-calibrated thresholds, and saliency maps highlighting regions of low confidence. When uncertainty exceeds the threshold, the system issues unobtrusive alerts suggesting corrective actions such as re-scanning highlighted regions or slowing the sweep. Evaluated on a clinical freehand ultrasound dataset, UltrasODM reduces drift by 15.2%, distance error by 12.1%, and Hausdorff distance by 10.1% relative to UltrasOM, while producing per-frame uncertainty and saliency outputs. By emphasizing transparency and clinician feedback, UltrasODM improves reconstruction reliability and supports safer, more trustworthy clinical workflows. Our code is publicly available at https://github.com/AnandMayank/UltrasODM.