Evaluating Transformation Models for pCLE Mosaic Registration
作者: Ahmed Aboelela, Johannes Barcsay, Jana Friedhof, Miguel Gonçalves, Alexander Hann, Katharina Breininger
分类: cs.CV
发布日期: 2026-09-21
💡 一句话要点
提出新的变换模型以提高pCLE图像拼接精度
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 共聚焦激光内镜 图像拼接 变换模型 目标配准误差 特征匹配 薄板样条 医学成像
📋 核心要点
- 现有的图像拼接方法在组织变形情况下表现不足，难以保证几何准确性。
- 本文提出通过建立包含手动标注的帧对数据集，结合目标配准误差（TRE）来评估变换模型的有效性。
- 实验结果显示，TPS模型在标记点对齐方面表现最佳，而RoMa学习匹配器在未调优情况下也展现出一定优势。
📝 摘要（中文）
共聚焦激光内镜（CLE）能够提供实时的细胞分辨率光学活检，但其视野较窄，图像拼接可以扩展视野以提供解剖背景。由于逐行采集、探头运动和探头与组织的相互作用，帧对齐通常需要非线性变换，其准确性难以量化。本文建立了一个包含132对帧的数据库，以便使用目标配准误差（TRE）作为几何基础的补充指标。研究表明，随着变换模型自由度的增加，薄板样条（TPS）在标记点对齐方面表现最佳，而在学习匹配器中，RoMa在未调优的情况下提供了相对稳健的优势。最终，拼接质量需直接评估，而非依赖于成对指标推断。
🔬 方法详解
问题定义：本文旨在解决共聚焦激光内镜图像拼接中，现有方法在组织变形情况下的不足，尤其是如何量化非线性变换的准确性。
核心思路：通过建立一个包含132对帧的数据库，利用手动标注的地标对应关系，结合目标配准误差（TRE）作为几何准确性的补充指标，评估不同变换模型的效果。
技术框架：研究分为几个阶段：首先收集和标注数据集，然后评估不同自由度的变换模型，从平移到薄板样条（TPS），最后比较六种特征匹配后端的性能。
关键创新：最重要的创新在于通过TRE提供了一种新的几何准确性评估方法，克服了传统基于外观的指标（如NCC）可能导致的误导性结果。
关键设计：在实验中，采用了多种特征匹配算法，包括经典的Shi-Tomasi和Lucas-Kanade，以及学习型的SuperPoint、SuperGlue、LightGlue、LoFTR和RoMa，特别关注TPS模型的随机采样策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TPS模型在标记点对齐方面的表现优于其他模型，尤其是在组织变形情况下，RoMa学习匹配器在未调优的情况下提供了相对稳健的优势。整体拼接质量的评估表明，成对注册质量并不能可靠预测最终拼接质量。
🎯 应用场景
该研究的潜在应用领域包括医学成像、内窥镜手术和生物医学研究，能够为实时细胞级别的组织分析提供更准确的解剖信息，提升临床诊断的准确性和效率。未来，该方法可能在其他类型的医学成像技术中得到推广和应用。
📄 摘要（原文）
Confocal Laser Endomicroscopy (CLE) provides real-time, cellular-resolution optical biopsy but has a narrow field of view, which image mosaicing can extend to provide anatomical context. Because of line-by-line acquisition, probe motion, and probe-tissue interaction, frame alignment generally requires a non-linear transformation whose accuracy is difficult to quantify: flexible transformation models can fit intensity features and noise, so appearance-based metrics such as Normalized Cross-Correlation (NCC) can improve without a genuine gain in geometric accuracy. We therefore establish a dataset of 132 frame pairs across fourteen pCLE sequences from 4 patients with manually annotated landmark correspondences, so that Target Registration Error (TRE) can serve as a geometrically grounded complement to NCC. We assess the effect of progressively increasing the transformation model's degrees of freedom, from translation to Thin Plate Spline (TPS), and of six feature-matching backends spanning classical (Shi-Tomasi, Lucas-Kanade) and learned (SuperPoint, SuperGlue, LightGlue, LoFTR, RoMa) approaches. Translation and rigid models prove insufficient under tissue deformation, while TPS with random sampling achieves the strongest landmark-derived alignment of the evaluated configurations; among the learned matchers, used without fine-tuning, only RoMa offers a robust, if modest, advantage over other methods. At the sequence level, pairwise registration quality proved an unreliable predictor of final mosaic quality, so mosaic quality must be evaluated directly rather than inferred from pairwise metrics.