The Predictability Bias of Joint-Embedding Predictive Learning in Medical Imaging

📄 arXiv: 2610.13237v1 📥 PDF

作者: Fabian Drexel, Bernhard Kainz, Jakob N. Kather, Daniel Rueckert, Lisa C. Adams, Keno K. Bressem, Cosmin I. Bercea

分类: eess.IV, cs.CV, cs.LG

发布日期: 2026-10-09

备注: 45 pages, 6 figures

💡 一句话要点

提出TAP-JEPA以解决医学影像中的可预测性偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 医学影像 联合嵌入预测 计算机断层扫描 深度学习 病理识别 模型审计 临床决策支持

📋 核心要点

  1. 现有的联合嵌入预测架构在处理医学影像时，存在可预测性偏差，无法有效捕捉临床相关的病理信息。
  2. 论文提出了TAP-JEPA，通过在大规模CT数据集上训练，增强了模型对病理和解剖结构的预测能力。
  3. 实验结果显示，TAP-JEPA在扫描级分类中表现出色，尤其是在处理病理信息时，预测性能有所提升。

📝 摘要（中文）

联合嵌入预测架构（JEPAs）通过从可见上下文预测被遮挡区域的教师表示进行学习。点预测总结了条件目标分布，但无法重现上下文未能解决的变异。我们称这种约束为可预测性偏差。在计算机断层扫描（CT）中，重复的解剖结构可以从上下文中预测，而决定临床解读的偶发、局部病理往往无法预测。我们提出了TAP-JEPA，这是一种在113,611个CT体积上训练的ViT-B/3D模型，在扫描级分类中与最先进的编码器（COLIPRI、Merlin、VoxelFM）具有竞争力。我们审计了学习到的预测路径，结果表明，预测降低了病理的平均技能值，而对解剖结构的影响较小。这些结果表明，上下文可预测性并不足以作为医学表示学习中的临床相关性的代理。

🔬 方法详解

问题定义：本论文旨在解决联合嵌入预测架构在医学影像中存在的可预测性偏差问题。现有方法在处理局部病理时，往往无法有效捕捉其临床相关性。

核心思路：论文提出的TAP-JEPA模型通过在大规模CT数据集上进行训练，旨在保留诊断特征，即使这些特征在上下文中不可预测。

技术框架：TAP-JEPA采用了ViT-B/3D架构，主要流程包括数据预处理、教师表示生成、预测路径审计等模块，确保模型能够有效学习到重要的医学特征。

关键创新：最重要的创新点在于引入了对预测路径的审计机制，能够分析模型在训练过程中如何处理不同的上下文信息，从而揭示可预测性偏差的影响。

关键设计：模型的训练过程中，采用了特定的损失函数来平衡解剖结构和病理信息的预测，确保最终输出能够反映临床相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TAP-JEPA在病理预测的平均技能值从0.388降低至0.271，而解剖结构的技能值仅从0.921降低至0.873，表明模型在处理病理信息时的有效性。此外，移除最终层的病理标记在四个扫描级探针中最多减少决策边际0.45%。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在医学影像分析领域。通过改进模型的预测能力，TAP-JEPA能够帮助医生更准确地识别和解读病理信息，从而提高临床决策的质量。未来，该方法还可能扩展到其他医学影像类型的分析中，推动智能医疗的发展。

📄 摘要（原文）

Joint-embedding predictive architectures (JEPAs) learn by predicting teacher representations of masked regions from visible context. Point prediction summarizes the conditional target distribution and cannot reproduce variation that the context does not resolve. We call this constraint predictability bias. In computed tomography (CT), recurrent anatomy is predictable from context, whereas the sporadic, localized pathology that determines clinical interpretation often is not. We introduce TAP-JEPA, a ViT-B/3D trained on 113,611 CT volumes that is competitive with state-of-the-art encoders (COLIPRI, Merlin, VoxelFM) in scan-level classification. We then audit the learned predictive pathway by replaying the exact masking, teacher, and predictor computations used during training. Prediction lowers the mean Skill (prevalence-normalized average precision) from 0.388 to 0.271 for pathology, but only from 0.921 to 0.873 for anatomy. Along the teacher direction, separating pathology from matched control regions in the same organ, prediction moves pathology 34.7% toward the controls and controls 13.6% toward pathology, with larger shifts farther from visible context. Replacing visible matched-control representations increases surrounding-target prediction loss more than fully replacing pathology representations across four pathology categories. Downstream, removing all final-layer pathology tokens reduces the decision margin by at most 0.45% in four of seven scan-level probes. Together, these results show that contextual predictability is not a sufficient proxy for clinical relevance in medical representation learning. Training objectives should therefore retain diagnostic features regardless of their predictability from surrounding anatomy.