FedSSMCoOp: SSM Encoders for light-weight Federated Prompt Learning for Few-shot Classification

📄 arXiv: 2610.09907v1 📥 PDF

作者: Ankita Das, Ambarish Parthasarathy, Sumohana S. Channappayya, C. Krishna Mohan

分类: cs.CV

发布日期: 2026-10-07

💡 一句话要点

提出FedSSMCoOp以解决生物医学领域的联邦少样本分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 少样本分类 多模态学习 生物医学图像 数据隐私 特征对齐 视觉-语言模型

📋 核心要点

  1. 现有方法在生物医学领域面临数据共享限制和标记数据稀缺的问题，导致统计异质性显著。
  2. FedSSMCoOp框架通过优化软提示和通信提示更新，实现了联邦少样本图像分类，支持多模态学习。
  3. 该框架在多个生物医学图像数据集上表现稳定，平均性能比基线轻1.96倍，显示出显著的计算和性能优势。

📝 摘要（中文）

视觉-语言模型（VLMs）在多种视觉任务中表现出色，但大多数方法依赖于余弦相似度度量，无法有效捕捉标记级结构和跨模态交互。尤其在生物医学应用中，数据共享受限，标记数据稀缺且存在显著的统计异质性。为此，本文提出了FedSSMCoOp，一个联邦少样本图像分类框架，支持多模态学习并保护数据隐私。通过优化软提示和通信提示更新，该框架在计算和性能上均有所提升，且无需外部大型语言模型进行特征对齐。实验结果表明，该框架在多个生物医学图像数据集上表现稳定，平均比基线轻1.96倍。

🔬 方法详解

问题定义：本文旨在解决生物医学领域中联邦学习环境下的少样本图像分类问题。现有方法依赖于余弦相似度度量，无法有效捕捉跨模态的细粒度交互，尤其在数据共享受限的情况下，标记数据稀缺且存在统计异质性。

核心思路：FedSSMCoOp框架通过引入SSM（Soft-Similarity Matching）编码器，优化软提示和通信提示的更新，避免了对外部大型语言模型的依赖，从而实现高效的特征对齐和分类。

技术框架：该框架主要由SSM-based Vision Mamba和Cross Mamba模块组成，支持多模态学习。通过联邦学习的方式，各参与方在不共享数据的情况下进行模型训练。

关键创新：FedSSMCoOp的核心创新在于其独特的SSM编码器设计，能够在保持数据隐私的前提下，有效捕捉跨模态特征的相似性，显著提升了分类性能。

关键设计：框架中采用了优化的软提示和通信提示更新策略，确保了计算效率和模型性能的平衡。具体的损失函数和网络结构设计细节将在后续的代码中提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个生物医学图像数据集上的实验结果显示，FedSSMCoOp框架的性能相较于基线方法平均提升了1.96倍，且在计算资源的使用上显著降低，展现了其在联邦学习环境下的有效性和高效性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、疾病诊断和生物医学研究等。通过在保护患者隐私的前提下实现高效的图像分类，FedSSMCoOp能够促进不同医疗机构之间的合作与数据共享，推动个性化医疗的发展。未来，该框架的应用可能会扩展到其他需要保护隐私的领域，如金融和社交网络分析等。

📄 摘要（原文）

Vision-Language Models (VLMs) have shown strong performance across a wide range of downstream vision tasks, thanks to the complementary information contained in the respective domains. Despite the performance gains, most of these approaches rely on aligning these domains using the cosine similarity metric, which fails to capture token-level structure and cross-modal interactions prior to the classification stage. This is especially critical in biomedical applications under federated constraints, where data sharing is restricted, labeled data is scarce at each site, and it differs widely across institutions, leading to substantial statistical heterogeneity. To overcome this issue, we propose FedSSMCoOp, a federated few-shot image classification framework that enables multimodal learning while preserving data privacy. With the help of the SSM-based Vision Mamba and Cross Mamba blocks, and by optimizing only the soft-prompt and communication-prompt updates in the federated setting, the framework prioritizes both computation and performance. Importantly, this eliminates the need to use an external Large Language Model (LLM) for feature alignment. The framework is further trained and evaluated on various biomedical image datasets, and its performance is assessed. The proposed framework delivers stable performance relative to the baselines and is, on average, 1.96 times lighter. The corresponding script will be made available soon.