STUNet-Fusion: Spatiotemporal Needle-Tip Localization in Ultrasound Video via Multi-Channel Motion Fusion

📄 arXiv: 2609.18546v1 📥 PDF

作者: Chia-Chi Hsu, Chia-Hsuan Hsu, Che-Chou Shen

分类: cs.CV

发布日期: 2026-09-16

💡 一句话要点

提出STUNet-Fusion以解决超声视频中针尖定位问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 超声成像 针尖定位 时空融合 深度学习 医学图像处理 ConvLSTM U-Net ResNet

📋 核心要点

  1. 现有超声针尖定位方法面临针尖弱、间断或部分不可见等问题，且成像伪影与解剖结构可能导致误判。
  2. STUNet-Fusion通过三通道时空融合张量，结合空间特征和时间依赖性，提出了一种新的针尖定位方法。
  3. 实验结果显示，STUNet-Fusion在针尖定位的鲁棒性上显著优于传统方法，提升了定位精度。

📝 摘要（中文）

超声视频中的针尖定位仍然面临挑战，因为针尖可能出现弱、间断或部分不可见的情况，同时成像伪影和解剖结构可能产生类似的响应。为了解决这个问题，本文提出了STUNet-Fusion，一个用于超声视频中针尖定位的时空框架。该方法将输入形式化为一个三通道时空融合张量，包括灰度外观、基于网格的运动特征和原始帧差异。通过共享的ResNet-34编码器提取空间特征，ConvLSTM集成时间依赖性，U-Net解码器重建密集概率热图。最终坐标通过soft-argmax操作提取，以实现亚像素定位精度。实验结果表明，该时空融合策略显著提高了定位的鲁棒性，相较于传统基线方法表现更佳。

🔬 方法详解

问题定义：本文旨在解决超声视频中针尖定位的挑战，现有方法在针尖弱、间断或部分不可见时表现不佳，且容易受到成像伪影和解剖结构的干扰。

核心思路：STUNet-Fusion的核心思路是将输入数据构建为一个三通道的时空融合张量，结合灰度图像、运动特征和帧差异，以增强针尖的可识别性和定位精度。

技术框架：该方法的整体架构包括三个主要模块：首先，使用共享的ResNet-34编码器提取空间特征；其次，利用ConvLSTM集成时间依赖性；最后，通过U-Net解码器重建密集概率热图，最终通过soft-argmax操作获得精确坐标。

关键创新：STUNet-Fusion的主要创新在于其三通道时空融合策略，这种设计使得模型能够更好地处理针尖在超声视频中的不连续性和模糊性，显著提高了定位的鲁棒性。

关键设计：在网络结构上，采用ResNet-34作为特征提取器，ConvLSTM用于捕捉时间信息，U-Net用于生成热图，损失函数设计为优化定位精度，确保最终输出的坐标具有亚像素级别的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STUNet-Fusion在针尖定位任务中显著优于传统基线方法，具体性能提升幅度达到XX%（具体数据未知），显示出其在复杂场景下的强大鲁棒性和准确性。

🎯 应用场景

该研究在医学超声成像领域具有重要应用潜力，尤其是在精确定位针尖以辅助医疗操作（如注射、活检等）方面。通过提高针尖定位的准确性和鲁棒性，STUNet-Fusion能够帮助医生在复杂的解剖环境中更安全、有效地进行操作，未来可能推动超声技术在临床应用中的广泛采用。

📄 摘要（原文）

Needle-tip localization in ultrasound remains challenging because the needle may appear weak, discontinuous, or partially invisible, while imaging artifacts and anatomical structures can produce similar responses. To address this problem, we propose STUNet-Fusion, a spatiotemporal framework for needle-tip localization in ultrasound videos. The proposed method formulates the input as a tri-channel spatio-temporal fusion tensor, comprising grayscale appearance, grid-based motion feature, and raw frame difference. A shared ResNet-34 encoder extracts spatial features, ConvLSTM integrates temporal dependencies, and a U-Net decoder reconstructs a dense probability heatmap. The final coordinates are extracted via a soft-argmax operation to achieve sub-pixel localization accuracy. Experimental results demonstrate that this spatiotemporal fusion strategy significantly improves localization robustness compared to conventional baselines.