Byzantine-Resilient Federated Large Language Model via Hypergraph Message Passing

📄 arXiv: 2610.12711v1 📥 PDF

作者: Kai Li, Hanlin Cai, Zihao Liu, Yichen Li, Jose Alcaraz Calero, Wei Ni, Falko Dressler, Özgür B. Akan

分类: cs.LG, cs.CR

发布日期: 2026-10-08

💡 一句话要点

提出超图消息传递框架以解决联邦大语言模型的拜占庭攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 拜占庭攻击 超图 消息传递 图自编码器 模型更新 语义一致性 隐私保护

📋 核心要点

  1. 现有的联邦学习方法在面对拜占庭攻击时，容易受到恶意模型更新的影响，导致语义一致性和事实韧性下降。
  2. 本文提出了一种超图消息传递图自编码器（HMP-GAE），通过构建超图来表示模型更新，并利用多代理之间的高阶关系进行信息传递。
  3. 实验结果显示，HMP-GAE在全球准确率上提高了1.21%，语义熵降低了44.08%，困惑度降低了13.34%，显著优于现有防御方法。

📝 摘要（中文）

联邦大语言模型（FedLLMs）在隐私保护和协作智能方面具有潜力，但其去中心化训练过程易受到拜占庭攻击，导致语义一致性和事实韧性受损。本文提出了一种新的韧性策略，防止语义损坏的知识在联邦聚合过程中传播。通过构建超图消息传递图自编码器（HMP-GAE），利用低秩模型更新作为超图中的节点，迭代消息传递以挖掘多代理之间的高阶语义关系。HMP-GAE在不访问私有本地数据的情况下，识别并抑制语义不一致的更新，同时保持知识对齐。实验结果表明，与现有防御方法相比，HMP-GAE在全球准确率上提高了1.21%，降低了最终模型分类的语义熵和困惑度。

🔬 方法详解

问题定义：本文旨在解决联邦大语言模型在去中心化训练过程中受到拜占庭攻击的问题。现有方法在处理恶意模型更新时，往往无法有效维护语义一致性和模型的整体准确性。

核心思路：提出的HMP-GAE框架通过超图结构来表示模型更新，利用高阶语义关系进行消息传递，从而识别和抑制语义不一致的更新，确保知识的可靠聚合。

技术框架：HMP-GAE的整体架构包括超图构建、消息传递和模型更新三个主要模块。首先，将低秩模型更新视为超图中的节点；其次，通过迭代消息传递来挖掘多代理之间的关系；最后，进行模型更新以增强全局准确性。

关键创新：HMP-GAE的核心创新在于使用超图结构和高阶语义关系进行消息传递，这与传统的图神经网络方法有本质区别，能够更有效地抑制恶意更新。

关键设计：在设计中，HMP-GAE利用历史检查点和跨代理关系推理，设置了特定的损失函数以平衡全局准确性与更新抑制，确保模型在训练过程中的知识对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HMP-GAE在实验中表现出色，相较于现有防御方法，全球准确率提高了1.21%，最终模型的分类语义熵降低了44.08%，困惑度降低了13.34%。与基于GAE的防御方法相比，准确率提升了1.39%，语义熵降低了54.5%，困惑度降低了35.5%。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和社交网络等需要保护用户隐私的场景。通过提高联邦学习模型的鲁棒性，HMP-GAE能够在不泄露用户数据的前提下，提供更可靠的协作智能服务，未来可能对隐私保护和安全性有深远影响。

📄 摘要（原文）

Federated Large Language Models (FedLLMs) are promising to deliver privacy-preserving, collaborative intelligence. The decentralized training process is vulnerable to Byzantine attacks that corrupt semantic consistency and factual resilience through malicious model updates. This paper presents a new resilience strategy that prevents semantically corrupted knowledge from propagating during federated aggregation. A defense problem is formulated to jointly maximize global accuracy and suppress manipulated model updates, enabling trustworthy knowledge aggregation without accessing private local data. To strengthen the resilience of FedLLMs, we develop a novel Hypergraph Message Passing Graph Autoencoder (HMP-GAE) framework, where low-rank model updates are represented as nodes in a hypergraph and high-order semantic relationships among multiple agents are exploited through iterative message passing. By leveraging historical checkpoints and cross-agent relational reasoning, HMP-GAE identifies and suppresses semantically inconsistent updates while preserving knowledge alignment among agents throughout federated training. HMP-GAE is implemented using Qwen-2.5 and Llama-3.2 as pretrained FedLLM backbones and evaluated on AG News and Yahoo! Answers datasets. Compared to existing defenses, HMP-GAE improves global accuracy by $1.21$\%, reduces final-model classification semantic entropy by $44.08$\%, and lowers perplexity by $13.34$\%. HMP-GAE outperforms the GAE-based defense by improving the accuracy $1.39$\%, reducing the semantic entropy by $54.5$\%, and lowering perplexity by $35.5$\%.