FedSocket: Recipient-Executable Knowledge Exchange for Heterogeneous Multimodal Federated Learning

📄 arXiv: 2609.37582v1 📥 PDF

作者: Xinyuan Zhao

分类: cs.CV, cs.AI

发布日期: 2026-09-29

备注: 17 figures

💡 一句话要点

提出FedSocket以解决异构多模态联邦学习中的知识交换问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 多模态 知识交换 模型共享 异构系统

📋 核心要点

  1. 现有的联邦学习方法在处理异构模态和私有架构时，难以实现有效的知识共享与利用。
  2. FedSocket通过设计接收者可执行的模型交换，确保不同模态的接收者能够有效利用共享知识。
  3. 在多个数据集上，FedSocket显著提高了缺失模态接收者的准确性，验证了其有效性和实用性。

📝 摘要（中文）

联邦知识必须能够被不同模态、私有架构和任务的接收者所使用。本文提出了FedSocket，将接收者执行作为交换模型的设计要求。共享的Q结合了接收者可计算的输入、任务拥有的输出和关注所有权的聚合，通过一个共同的预测接口连接异构私有模型。私有模型教导本地Q副本；返回的Q支持本地学习和联合推理，仅交换Q参数和计数。在六个数据集上，FedSocket在缺失模态接收者的准确性上相较于本地方法提高了14.44和15.51个百分点。联合推理在匹配推理能力下，UCF-51的准确性比独立集成提高了11.06个百分点，Flickr30k的平均双向R@1提高了4.87个百分点。

🔬 方法详解

问题定义：本文旨在解决异构多模态联邦学习中知识交换的有效性问题。现有方法在不同模态和私有架构下，难以实现知识的有效共享和利用，导致接收者的性能下降。

核心思路：FedSocket的核心思路是将接收者执行作为模型交换的设计要求，通过共享的Q连接异构私有模型，使得接收者能够直接利用交换的知识进行推理和学习。

技术框架：FedSocket的整体架构包括三个主要模块：接收者可计算的输入、任务拥有的输出和关注所有权的聚合。通过这些模块，私有模型可以教导本地Q副本，并通过返回的Q支持本地学习和联合推理。

关键创新：FedSocket的主要创新在于将接收者执行纳入设计要求，使得交换的知识能够直接用于推理。这一设计与现有方法的本质区别在于强调了知识的可用性和执行性。

关键设计：在技术细节上，FedSocket仅交换Q参数和计数，避免了大规模模型参数的传输，降低了通信成本。同时，设计了教师控制、共享路径干预和组件因子等机制，以明确监督、共享和部署的角色。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在六个数据集上，FedSocket在缺失模态接收者的准确性上相较于本地方法提高了14.44和15.51个百分点，联合推理在UCF-51的准确性上比独立集成提高了11.06个百分点，显示出其在多模态学习中的显著优势。

🎯 应用场景

FedSocket的研究成果在多个领域具有潜在应用价值，包括医疗、金融和智能交通等需要处理异构数据的场景。通过有效的知识交换，能够提升不同模态系统的协同工作能力，推动智能系统的进一步发展。

📄 摘要（原文）

Federated knowledge must remain usable by recipients with different modalities, private architectures, and tasks. We present FedSocket, which makes recipient execution a design requirement of the exchanged model. A shared Q combines recipient-computable inputs, task-owned outputs, and ownership-aware aggregation, connecting heterogeneous private models through a common prediction interface. Private models teach local Q copies; the returned Q supports local learning and Joint inference, with only Q parameters and counts exchanged. Across six datasets, FedSocket improves missing-modality recipient accuracy over Local by 14.44 and 15.51 percentage points on MELD and UCF-51. Under matched inference capacity, Joint exceeds independent ensembles by 11.06 points in UCF-51 accuracy and 4.87 points in mean bidirectional Flickr30k R@1. Joint also improves over Q alone on all four heterogeneous endpoints, demonstrating the value of combining local and exchanged predictions. Teacher controls, sharing-path interventions, and component factorials identify the roles of supervision, sharing, and deployment. FedSocket makes exchanged knowledge directly usable from federated training to recipient inference.