Temporally-Aware Supervised Contrastive Learning for Polyp Counting in Colonoscopy
作者: Luca Parolari, Andrea Cherubini, Lamberto Ballan, Carlo Biffi
分类: cs.CV, cs.AI
发布日期: 2025-07-03
备注: Accepted at MICCAI 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出时序感知监督对比学习以解决结肠镜下息肉计数问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 息肉计数 结肠镜 监督对比学习 时序感知 聚类算法 自动化医疗 计算机视觉
📋 核心要点
- 现有息肉计数方法主要依赖视觉特征，忽视了时间关系，导致聚类效果不佳。
- 本文提出了一种时序感知的监督对比损失，增强了对息肉内部变异性的捕捉和息肉间的区分能力。
- 实验结果显示，采用新方法后，碎片化率较之前方法降低了2.2倍，验证了时序感知的重要性。
📝 摘要（中文）
自动化的息肉计数在结肠镜检查中是自动化程序报告和质量控制的重要步骤，旨在提高结肠镜筛查的成本效益。现有的息肉计数方法主要依赖自监督学习，侧重于视觉外观，忽视了轨迹特征学习和聚类阶段的时间关系。本文提出了一种监督对比损失，结合时序感知的软目标，捕捉息肉内部的变异性，同时保持息肉之间的可区分性，从而实现更稳健的聚类。此外，我们通过整合时间邻接约束来改善轨迹聚类，减少在视觉上相似但时间上距离较远的轨迹之间的误关联。实验结果表明，与之前的方法相比，碎片化率降低了2.2倍，强调了时序感知在息肉计数中的重要性，建立了新的最先进水平。
🔬 方法详解
问题定义：本文旨在解决结肠镜下息肉计数中的聚类准确性问题。现有方法过于依赖视觉特征，未能有效利用时间信息，导致聚类效果不理想。
核心思路：我们提出了一种新的监督对比损失函数，结合时序感知的软目标，旨在增强对息肉内部变异性的捕捉，同时保持息肉之间的可区分性，从而提高聚类的稳健性。
技术框架：整体方法包括轨迹特征学习和聚类两个主要阶段。在特征学习阶段，通过时序感知的监督对比损失来优化模型；在聚类阶段，结合时间邻接约束以减少误关联。
关键创新：本研究的核心创新在于引入时序感知的监督对比损失和时间邻接约束，这与现有方法的主要区别在于同时考虑了时间和视觉特征的影响。
关键设计：损失函数设计中，采用了时序感知的软目标，确保了对息肉内部变异性的有效捕捉；在聚类过程中，设置了时间邻接约束，以减少视觉上相似但时间上不相近的轨迹之间的误关联。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用时序感知的监督对比学习方法后，碎片化率较之前的基线方法降低了2.2倍，显著提升了聚类的准确性，验证了时序信息在息肉计数中的重要性。
🎯 应用场景
该研究在结肠镜检查中具有广泛的应用潜力，能够提高息肉计数的准确性和效率，进而提升自动化报告和质量控制的水平。未来，该方法可能扩展到其他医学影像分析领域，推动自动化医疗技术的发展。
📄 摘要（原文）
Automated polyp counting in colonoscopy is a crucial step toward automated procedure reporting and quality control, aiming to enhance the cost-effectiveness of colonoscopy screening. Counting polyps in a procedure involves detecting and tracking polyps, and then clustering tracklets that belong to the same polyp entity. Existing methods for polyp counting rely on self-supervised learning and primarily leverage visual appearance, neglecting temporal relationships in both tracklet feature learning and clustering stages. In this work, we introduce a paradigm shift by proposing a supervised contrastive loss that incorporates temporally-aware soft targets. Our approach captures intra-polyp variability while preserving inter-polyp discriminability, leading to more robust clustering. Additionally, we improve tracklet clustering by integrating a temporal adjacency constraint, reducing false positive re-associations between visually similar but temporally distant tracklets. We train and validate our method on publicly available datasets and evaluate its performance with a leave-one-out cross-validation strategy. Results demonstrate a 2.2x reduction in fragmentation rate compared to prior approaches. Our results highlight the importance of temporal awareness in polyp counting, establishing a new state-of-the-art. Code is available at https://github.com/lparolari/temporally-aware-polyp-counting.