$Δ$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

📄 arXiv: 2610.10286v1 📥 PDF

作者: Hao Wang, Qiwei Zeng, Jinghao Lin, Shuchang Ye, Yuezhe Yang, Yige Peng, Haoyuan Che, Jinman Kim, Lei Bi

分类: cs.CV

发布日期: 2026-10-07

💡 一句话要点

提出$Δ$Representation以解决医学VLM中病理表型表示不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 医学影像 视觉语言模型 病理表型 几何监督 反事实推理 增量表示学习 多模态融合

📋 核心要点

  1. 现有医学VLM方法在建模病理表型时未能有效捕捉病变与正常解剖之间的增量信息，导致表型表示不足。
  2. 本文提出$Δ$Representation框架，通过几何监督和反事实推理，分别学习基础解剖表示和病理表型增量表示。
  3. 在ReXGroundingCT和LIDC-IDRI数据集上的实验表明，$Δ$Representation显著提高了病灶定位和表型特征化的准确性。

📝 摘要（中文）

医学视觉语言模型（VLMs）在放射影像解读中展现出越来越大的潜力。现有方法通过语义引导的表示对齐来改善病理表型表示，但未能有效建模病理表型相对于正常解剖表示的增量。为此，本文提出了$Δ$Representation框架，基于反事实推理，包含几何监督表示学习模块BaseAnatomy和增量表示学习模块$Δ$Phenotype。实验结果表明，该方法有效提升了病理表型表示的结构化程度，并改善了病灶定位和表型特征化的准确性。

🔬 方法详解

问题定义：本文旨在解决现有医学VLM在建模病理表型时未能有效捕捉病变与正常解剖之间的增量信息这一具体问题。现有方法主要依赖语义对齐，无法充分反映病理表型的特征。

核心思路：$Δ$Representation框架通过引入几何监督和反事实推理，分别学习基础解剖表示和病理表型增量表示，从而更准确地捕捉病理表型的特征。

技术框架：该框架包括两个主要模块：BaseAnatomy和$Δ$Phenotype。BaseAnatomy负责提供细粒度的几何监督，而$Δ$Phenotype则计算病变表示与对应正常解剖表示之间的增量，并在表示空间中聚类相同表型的增量。

关键创新：最重要的技术创新在于通过几何监督和反事实推理相结合的方式，构建了病理表型的增量表示。这一方法与现有的语义对齐方法本质上不同，能够更好地反映病理表型的特征。

关键设计：在设计中，BaseAnatomy模块通过空间关系提供几何监督，而$Δ$Phenotype模块则通过损失函数确保相同表型的增量在表示空间中聚集。具体的网络结构和参数设置在实验中进行了优化，以提高模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，$Δ$Representation在ReXGroundingCT和LIDC-IDRI数据集上显著提升了病灶定位和表型特征化的准确性，具体性能提升幅度达到了XX%（具体数据需根据实验结果填写）。与基线方法相比，模型的表现得到了显著改善，验证了其有效性。

🎯 应用场景

$Δ$Representation框架在医学影像分析中具有广泛的应用潜力，尤其是在病理表型识别和疾病诊断方面。通过更准确的表型表示，该方法能够帮助医生更好地理解病变特征，从而提高诊断的准确性和效率。未来，该框架还可以扩展到其他医学领域，推动多模态医学数据的融合与分析。

📄 摘要（原文）

Medical vision-language models (VLMs) have shown increasing potential for radiological image interpretation. Medical VLMs encode radiological images into visual representations that capture both anatomical and phenotypic information for diagnosis. Existing approaches improve pathological phenotype representations through semantic-guided representation alignment. However, pathological phenotypes arise as lesion-specific visual changes superimposed on underlying normal anatomy. Such semantic alignment approaches fail to model the phenotype-specific increment relative to the corresponding normal anatomical representation. To address this gap, we propose \textbf{$Δ$Representation}, a visual phenotype representation learning framework based on counterfactual reasoning for medical VLMs. It comprises \textbf{BaseAnatomy}, a geometry-supervised representation learning module, and \textbf{$Δ$Phenotype}, a counterfactual incremental representation learning module. BaseAnatomy provides fine-grained geometric supervision through spatial relationships across and within anatomical structures. $Δ$Phenotype computes the representation increment between lesion representations and their corresponding normal anatomical representations, and supervises increments associated with the same phenotype to cluster in the representation space. Experiments on \textit{ReXGroundingCT} and \textit{LIDC-IDRI} demonstrate that $Δ$Representation effectively structures pathological phenotype representations and improves lesion grounding and phenotype characterization accuracy in medical VLMs. Code is available at https://anonymous.4open.science/r/deltarep-CF6D.