Benchmarking Intra-Patient 3D Deformable Multimodal Image Registration

📄 arXiv: 2609.15669v1 📥 PDF

作者: Matteo Barbieri, Giammarco La Barbera, Juan Pablo De La Plata, Sabine Sarnacki, Isabelle Bloch, Pietro Gori

分类: cs.CV, cs.AI

发布日期: 2026-09-14

备注: Preprint Under Review

💡 一句话要点

提出全面基准测试以解决多模态图像配准挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像配准 深度学习 优化方法 医学影像 基准测试 解剖结构 性能评估

📋 核心要点

  1. 多模态图像配准面临的核心问题是不同模态下解剖结构的图像强度差异，导致配准效果不佳。
  2. 本研究通过对多种方法进行基准测试，评估了经典优化和现代学习方法在不同数据集上的表现。
  3. 实验结果表明，学习方法在合成数据集上表现优越，但在真实场景中改进有限，且不同度量之间存在不一致性。

📝 摘要（中文）

多模态图像配准是许多临床工作流程的关键组成部分，但由于不同模态下解剖结构的图像强度差异，配准仍然具有挑战性。本研究对三种不同解剖区域和难度级别的数据集进行了全面的基准测试，评估了经典优化方法和现代学习方法的表现。结果显示，学习方法在大型合成基准上表现优越，但在真实的盆腔配准中仅有有限的改进。此外，几何度量与基于图像的相似性度量之间的一致性差异揭示了重叠改善并不一定意味着更好的全局多模态对应。整体而言，当前方法在不同解剖和模态下均未实现稳健性能，表明多标准评估仍然是一个开放问题。

🔬 方法详解

问题定义：本研究旨在解决多模态图像配准中的挑战，尤其是不同模态下解剖结构的图像强度差异导致的配准困难。现有方法在真实临床场景中的表现往往不尽如人意。

核心思路：通过全面基准测试不同的配准方法，包括经典的优化方法和现代的学习方法，来评估其在多模态图像配准中的有效性。研究强调了多标准评估的重要性，尤其是在解剖结构的多样性和模态间的差异性方面。

技术框架：研究采用了三种不同的数据集，涵盖不同的解剖区域和难度级别。评估指标包括平均Dice相似系数、95百分位Hausdorff距离和基于MIND自相似上下文的结构相似性度量。

关键创新：本研究的关键创新在于揭示了几何度量与图像相似性度量之间的一致性差异，强调了重叠改善并不一定意味着全局多模态对应的改善。

关键设计：在实验中，采用了多种学习方法和经典优化方法，设置了不同的参数和损失函数，以便全面评估其在不同数据集上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，学习方法在大型合成基准上表现优越，平均Dice相似系数和Hausdorff距离的改进幅度明显。然而，在真实盆腔配准中，仅观察到有限的性能提升，且几何度量与图像相似性度量之间存在显著不一致性，提示需要多标准评估。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、肿瘤检测与治疗规划、以及个性化医疗等。通过提高多模态图像配准的准确性，可以更好地支持临床决策，提升患者的治疗效果。未来，该研究可能推动新算法的开发，以实现更高效的图像配准技术。

📄 摘要（原文）

Multimodal image registration is a key component of many clinical workflows, yet it remains challenging because corresponding anatomical structures often exhibit substantially different image intensities across modalities. In this work, we present a comprehensive benchmark of intra-patient 3D multimodal deformable registration methods across three datasets covering different anatomical regions and difficulty levels, including both synthetic deformation recovery and real clinical scenarios. We evaluate classical optimization-based approaches and modern learning-based methods, including recent deep learning and foundation models, using complementary metrics: Average Dice similarity coefficient (DSC), average 95th-percentile Hausdorff distance (HD95), and a modality-independent structural similarity measure based on the MIND self-similarity context (MIND-SSC). Results show high variability across datasets, with learning-based methods demonstrating superior performance on large synthetic benchmarks, while only limited improvements are observed in real pelvic registration. A key finding of this study is the consistent disagreement between geometric metrics (DSC, HD95) and image-based similarity metrics (MIND-SSC), highlighting that improved overlap does not necessarily imply better global multimodal correspondence. Furthermore, anatomy-guided approaches achieve the highest overlap scores but exhibit degraded performance outside of segmented regions, revealing a trade-off between label-driven alignment and global structural coherence. Overall, our results indicate that no current method achieves robust performance across anatomies and modalities. We demonstrate that intra-patient 3D multimodal registration requires multi-criteria evaluation, including deformation-based metrics, and remains an open problem.