DINOMotion: advanced robust tissue motion tracking with DINOv2 in 2D-Cine MRI-guided radiotherapy

📄 arXiv: 2508.10260v1 📥 PDF

作者: Soorena Salari, Catherine Spino, Laurie-Anne Pharand, Fabienne Lathuiliere, Hassan Rivaz, Silvain Beriault, Yiming Xiao

分类: eess.IV, cs.AI, cs.CV

发布日期: 2025-08-14

备注: Accepted to IEEE Transactions on Biomedical Engineering (TMBE), 14 pages

💡 一句话要点

DINOMotion：基于DINOv2的鲁棒2D-Cine MRI引导放疗组织运动追踪

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 组织运动追踪 DINOv2 MRI引导放疗 图像配准 深度学习 低秩适应 医学影像 实时追踪

📋 核心要点

  1. 现有基于图像配准的组织运动追踪方法在处理大错位和缺乏可解释性方面存在挑战。
  2. DINOMotion利用DINOv2的强大特征提取能力和LoRA的参数高效微调，实现鲁棒且高效的运动追踪。
  3. 实验结果表明，DINOMotion在多种器官的运动追踪上优于现有方法，尤其擅长处理大错位情况。

📝 摘要（中文）

本文提出了一种名为DINOMotion的深度学习框架，该框架基于DINOv2和低秩适应(LoRA)层，用于实现鲁棒、高效且可解释的运动追踪，应用于2D-Cine MRI引导的放射治疗。DINOMotion自动检测对应landmark以推导最佳图像配准，通过提供连续图像之间的显式视觉对应关系来增强可解释性。LoRA层的集成减少了可训练参数，提高了训练效率，而DINOv2强大的特征表示提供了对大错位的鲁棒性。与基于迭代优化的方法不同，DINOMotion在测试时直接计算图像配准。在志愿者和患者数据集上的实验表明，该方法在估计线性和非线性变换方面均有效，肾脏、肝脏和肺的Dice系数分别为92.07%、90.90%和95.23%，对应的Hausdorff距离分别为5.47 mm、8.31 mm和6.72 mm。DINOMotion处理每次扫描大约需要30ms，并且始终优于最先进的方法，尤其是在处理大错位时。这些结果突出了其作为2D-Cine MRI引导放射治疗中实时运动追踪的鲁棒且可解释的解决方案的潜力。

🔬 方法详解

问题定义：论文旨在解决2D-Cine MRI引导放射治疗中精确组织运动追踪的问题。现有方法在处理图像间的大错位时鲁棒性不足，且缺乏可解释性，难以提供图像配准过程中的明确视觉对应关系。这限制了其在临床环境中的应用。

核心思路：DINOMotion的核心思路是利用DINOv2预训练模型的强大特征提取能力，结合LoRA进行参数高效的微调，从而实现对组织运动的鲁棒追踪。通过自动检测图像间的对应landmark，提供可解释的配准结果。

技术框架：DINOMotion框架主要包含以下几个阶段：首先，使用DINOv2提取连续MRI图像的特征表示。然后，利用LoRA对DINOv2进行微调，使其适应特定的组织运动追踪任务。接着，基于提取的特征，自动检测图像间的对应landmark。最后，利用这些landmark推导出最佳的图像配准参数，实现组织运动的追踪。

关键创新：DINOMotion的关键创新在于将DINOv2预训练模型引入到组织运动追踪任务中，并结合LoRA进行高效微调。与传统的基于迭代优化的方法不同，DINOMotion在测试时直接计算图像配准，无需迭代过程，从而提高了效率。此外，通过landmark的显式对应关系，增强了模型的可解释性。

关键设计：DINOMotion的关键设计包括：使用DINOv2作为特征提取器，利用其在自监督学习中获得的强大特征表示能力；采用LoRA进行参数高效的微调，避免了对整个DINOv2模型进行训练，降低了计算成本；设计了自动landmark检测模块，用于建立图像间的对应关系；使用Dice系数和Hausdorff距离作为评估指标，衡量配准的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DINOMotion在志愿者和患者数据集上取得了显著的成果。在肾脏、肝脏和肺的运动追踪中，Dice系数分别达到了92.07%、90.90%和95.23%，Hausdorff距离分别为5.47 mm、8.31 mm和6.72 mm。与现有方法相比，DINOMotion在处理大错位时表现出更强的鲁棒性，并且处理每次扫描仅需约30ms，具有实时性。

🎯 应用场景

DINOMotion在2D-Cine MRI引导的放射治疗中具有广泛的应用前景，可以提高治疗的准确性和安全性。该方法能够实时追踪组织运动，从而允许医生在治疗过程中动态调整放射剂量，减少对健康组织的损伤。此外，该方法还可以应用于其他医学影像领域，如心脏运动分析和呼吸运动监测。

📄 摘要（原文）

Accurate tissue motion tracking is critical to ensure treatment outcome and safety in 2D-Cine MRI-guided radiotherapy. This is typically achieved by registration of sequential images, but existing methods often face challenges with large misalignments and lack of interpretability. In this paper, we introduce DINOMotion, a novel deep learning framework based on DINOv2 with Low-Rank Adaptation (LoRA) layers for robust, efficient, and interpretable motion tracking. DINOMotion automatically detects corresponding landmarks to derive optimal image registration, enhancing interpretability by providing explicit visual correspondences between sequential images. The integration of LoRA layers reduces trainable parameters, improving training efficiency, while DINOv2's powerful feature representations offer robustness against large misalignments. Unlike iterative optimization-based methods, DINOMotion directly computes image registration at test time. Our experiments on volunteer and patient datasets demonstrate its effectiveness in estimating both linear and nonlinear transformations, achieving Dice scores of 92.07% for the kidney, 90.90% for the liver, and 95.23% for the lung, with corresponding Hausdorff distances of 5.47 mm, 8.31 mm, and 6.72 mm, respectively. DINOMotion processes each scan in approximately 30ms and consistently outperforms state-of-the-art methods, particularly in handling large misalignments. These results highlight its potential as a robust and interpretable solution for real-time motion tracking in 2D-Cine MRI-guided radiotherapy.