FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

📄 arXiv: 2609.27710v1 📥 PDF

作者: Anh-Tien Nguyen, Trung DQ. Dang, Nghiem Tuong Diep, Bui Ngoc Han Nguyen, Tan-Ha Mai, Miriam Cindy Maurer, Phuong Hoa Nguyen, Thi Thuy Uyen Nguyen, Youngjun Park, Daniel Sonntag, Duy Minh Ho Nguyen, Anne-Christin Hauschild

分类: cs.CV, cs.LG

发布日期: 2026-09-23

💡 一句话要点

提出FFM-CP以解决病理图像少样本学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理图像分析 少样本学习 多模态融合 视觉-语言模型 机器学习 医学影像

📋 核心要点

  1. 现有病理视觉-语言模型在不同任务中的表现不均，且缺乏足够的标注数据进行有效的任务适应。
  2. FFM-CP框架通过对异构模型进行对齐和信息交换，提升少样本学习的效果，克服了数据稀缺的挑战。
  3. 在六个组织病理数据集上进行的实验显示，FFM-CP在50个比较中超越了每个融合集的最强单独适应模型。

📝 摘要（中文）

病理视觉-语言基础模型在不同疾病和任务中的表现差异较大，且缺乏一致的最佳模型。专家病理注释的高成本限制了任务特定适应的数据量。为此，本文提出了少样本融合基础模型FFM-CP，旨在结合多个病理视觉-语言模型。该框架通过正交普罗克鲁斯特斯变换对异构表示进行对齐，保持模型内部特征几何形状，并在对齐空间内通过统一图实现信息交换。实验表明，FFM-CP在多个数据集上表现优于单独适应的模型，显示出在注释有限的情况下，融合预训练表示的潜力。

🔬 方法详解

问题定义：本文旨在解决病理图像分类中少样本学习的挑战，现有方法在不同疾病和任务中表现不一，且缺乏足够的标注数据进行有效适应。

核心思路：FFM-CP框架通过对多个病理视觉-语言模型的表示进行对齐和融合，利用少量标注样本提升模型性能，旨在充分利用预训练模型的互补特性。

技术框架：该框架首先使用闭式正交普罗克鲁斯特斯变换对异构表示进行对齐，随后在对齐空间内构建统一图，以便支持图像特征和视觉、文本类原型的共同优化。

关键创新：最重要的创新在于通过对齐和信息交换机制，避免了训练额外的对齐网络，从而保持了模型内部特征的几何形状，提升了少样本学习的效果。

关键设计：框架中设计了文本原型和案例检索分支，分别捕捉语义类知识和类内视觉变异，且每个分支能够结合所有有序骨干模型的预测，增强了模型的综合推理能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在六个组织病理数据集的实验中，FFM-CP在每个类的4、8和16个样本条件下，平均宏F1分数超过了每个融合集的最强单独适应模型，在54次比较中有50次表现优异，显示出其在少样本学习中的有效性。

🎯 应用场景

FFM-CP的研究成果在医学图像分析、尤其是病理学领域具有重要应用潜力。通过提升少样本学习的能力，该方法可以帮助医生在缺乏大量标注数据的情况下，快速准确地进行疾病诊断，进而改善临床决策和患者护理。未来，该框架还可扩展到其他医疗影像分析任务中，推动智能医疗的发展。

📄 摘要（原文）

Pathology vision-language foundation models vary in performance across diseases and tasks, with no single model consistently performing best. The high cost of expert pathology annotation can also limit the labeled data available for task-specific adaptation. Combining complementary pretrained representations is a potential approach to these limitations, yet learning an effective fusion from few labeled examples remains challenging. We introduce Few-shot Fusion Foundation Models of Computational Pathology (FFM-CP), which is a framework that combines multiple pathology vision-language models in the few-shot learning setting. The framework first aligns heterogeneous representations using a closed-form Orthogonal Procrustes transformation estimated from corresponding support images. This alignment preserves within-model feature geometry without training an additional alignment network. Within the aligned space, a unified graph enables information exchange across backbones by jointly refining support-image features and visual and textual class prototypes. These refined representations support complementary text-prototype and case-retrieval branches that capture semantic class knowledge and within-class visual variation, respectively. Each branch learns to combine predictions from all ordered backbone pairs, allowing queries encoded by one model to draw on evidence represented by another. We evaluate three backbone combinations on six histopathology datasets at 4, 8, and 16 shots per class. FFM-CP achieves higher mean macro-F1 than the strongest individually adapted member of each fused set in 50 of 54 comparisons. These findings suggest that combining complementary pretrained representations can improve histopathological classification when annotations are limited.