FedGraph: Defending Federated Large Language Model Fine-Tuning Against Backdoor Attacks via Graph-Based Aggregation

📄 arXiv: 2610.18430v1 📥 PDF

作者: Xi Chen, Chunyi Zhou, Rui Zeng, Xiaogang Xu, Zhe Liu, Shouling Ji

分类: cs.CR, cs.AI

发布日期: 2026-10-13

备注: Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI. This is an author-owned preprint, not the official proceedings version

💡 一句话要点

提出FedGraph以解决联邦大语言模型微调中的后门攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 后门攻击 大语言模型 图结构 聚合框架 安全性 隐私保护

📋 核心要点

  1. 现有的联邦学习防御方法通常依赖于高维参数空间中的直接异常检测，难以处理纠缠的LLM更新，导致对后门攻击的防御效果不佳。
  2. 本文提出FedGraph，通过将客户端视为节点并动态构建图，提取结构特征以区分恶意和良性更新，从而增强聚合过程的安全性。
  3. 实验结果表明，FedGraph在后门防御方面表现优异，攻击成功率低于10%，检测准确率平均达到95.5%，假阳性率仅为2.33%。

📝 摘要（中文）

联邦大语言模型（LLMs）的微调允许多个客户端在不共享原始数据的情况下协作调整模型，提供了强大的隐私保护。然而，这种设置对后门攻击高度敏感，恶意客户端通过操控更新来诱导特定行为，同时在良性输入上保持正常性能。本文提出FedGraph，一个基于图的聚合框架，明确建模客户端更新之间的关系，通过动态构建的图表示客户端，并提取结构特征以有效区分恶意和良性行为。实验表明，FedGraph显著提升了后门防御能力，攻击成功率降至10%以下，检测准确率达到95.5%，假阳性率仅为2.33%，远超现有的联邦学习防御方法。

🔬 方法详解

问题定义：本文旨在解决联邦大语言模型微调中的后门攻击问题。现有方法在高维参数空间中进行异常检测，难以有效识别恶意客户端的更新，导致防御效果不理想。

核心思路：FedGraph的核心思路是利用图结构建模客户端更新之间的关系，通过提取结构特征来区分恶意和良性行为，从而增强聚合过程的安全性。

技术框架：FedGraph的整体架构包括动态构建的图、节点表示和结构特征提取模块。客户端作为图中的节点，更新作为边，通过图的结构特征进行聚合。

关键创新：FedGraph的主要创新在于通过图结构明确建模客户端之间的关系，利用结构特征有效分离恶意和良性更新。这一方法与现有的直接异常检测方法本质上不同，能够更好地处理复杂的更新模式。

关键设计：在设计中，FedGraph采用了动态图构建策略，节点之间的边表示更新的相似性，损失函数设计为优化恶意更新的抑制效果，同时确保良性更新的保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FedGraph在后门攻击防御方面表现卓越，攻击成功率降低至10%以下，检测准确率达到95.5%，假阳性率仅为2.33%。与现有的联邦学习防御方法相比，FedGraph在性能上有显著提升，展示了其有效性和可靠性。

🎯 应用场景

该研究的潜在应用场景包括联邦学习系统、隐私保护的机器学习应用以及需要高安全性的模型微调场景。FedGraph的防御机制可以有效保护模型免受恶意攻击，确保用户数据的隐私和安全，具有重要的实际价值和未来影响。

📄 摘要（原文）

Federated fine-tuning of large language models (LLMs) allows multiple clients to collaboratively adapt models without sharing raw data, offering strong privacy benefits. However, this setting is highly vulnerable to backdoor attacks, in which malicious clients manipulate their updates to induce targeted behaviors while maintaining normal performance on benign inputs. In this work, we make a key observation specific to federated LLM fine-tuning: malicious clients tend to exhibit strong consistency in their model updates, whereas benign clients produce more diverse and dispersed updates. This structural difference is not well captured by existing defense methods, which typically rely on direct anomaly detection in high-dimensional parameter space and therefore struggle in the presence of entangled LLM updates. Motivated by this observation, we propose FedGraph, a graph-based aggregation framework that explicitly models relationships among client updates. By representing clients as nodes in a dynamically constructed graph and extracting structural features that characterize their relative positions and interactions, FedGraph derives compact client representations that effectively separate malicious and benign behaviors. These representations are then used to identify and suppress malicious contributions during aggregation. Extensive experiments demonstrate that FedGraph significantly improves backdoor defense. It consistently reduces attack success rates to below 10% while achieving high detection accuracy (95.5% on average) and a low false positive rate (2.33%), substantially outperforming existing federated learning defenses.