SOMP: Scalable Gradient Inversion for Large Language Models via Subspace-Guided Orthogonal Matching Pursuit

📄 arXiv: 2603.16761v1 📥 PDF

作者: Yibo Li, Qiongxiu Li

分类: cs.LG, cs.CL

发布日期: 2026-03-17

备注: 18 pages, 4 figures, 13 tables

💡 一句话要点

提出SOMP：通过子空间引导正交匹配追踪实现大规模语言模型的可扩展梯度反演

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 梯度反演 隐私攻击 大型语言模型 稀疏信号恢复 正交匹配追踪

📋 核心要点

  1. 现有梯度反演方法在大批量和长序列下，面临信号混合严重、计算成本高昂和重建质量下降等挑战。
  2. SOMP将文本恢复视为稀疏信号恢复问题，利用Transformer梯度的头部几何结构和样本稀疏性来解开混合信号。
  3. 实验表明，SOMP在多种LLM、模型规模和语言上，均优于现有方法，即使在极端聚合下也能恢复有意义的文本。

📝 摘要（中文）

梯度反演攻击揭示了可以从共享梯度中重建私有训练文本，从而对大型语言模型（LLM）构成隐私风险。虽然先前的方法在小批量设置中表现良好，但由于严重的信号混合、高计算成本和降低的保真度，扩展到更大的批量大小和更长的序列仍然具有挑战性。我们提出了SOMP（子空间引导正交匹配追踪），这是一个可扩展的梯度反演框架，它将从聚合梯度中恢复文本视为一个稀疏信号恢复问题。我们的关键见解是，聚合的Transformer梯度保留了可利用的头部几何结构以及样本级别的稀疏性。SOMP利用这些属性来逐步缩小搜索空间并解开混合信号，而无需穷举搜索。跨多个LLM系列、模型规模和五种语言的实验表明，SOMP在聚合梯度机制中始终优于先前的方法。对于批量大小B=16的长序列，SOMP实现了比强基线高得多的重建保真度，同时保持了计算竞争力。即使在极端聚合（高达B=128）下，SOMP仍然可以恢复有意义的文本，这表明隐私泄露可能在先前攻击效果不佳的情况下仍然存在。

🔬 方法详解

问题定义：梯度反演攻击旨在从共享的梯度信息中恢复训练数据，对大型语言模型的隐私构成威胁。现有方法在小批量设置下表现良好，但当批量大小增大或序列变长时，由于梯度信号的混合变得复杂，计算成本显著增加，并且重建的文本质量会急剧下降。因此，如何在大规模场景下高效且准确地进行梯度反演是亟待解决的问题。

核心思路：SOMP的核心思路是将梯度反演问题转化为一个稀疏信号恢复问题。作者观察到，即使在聚合梯度中，Transformer模型的梯度仍然保留了头部级别的几何结构和样本级别的稀疏性。利用这些特性，SOMP可以通过逐步缩小搜索空间，从而有效地解开混合的梯度信号，避免了传统方法中需要进行大量搜索的缺陷。

技术框架：SOMP框架主要包含以下几个阶段：1) 梯度预处理：对聚合梯度进行处理，提取头部级别的几何结构信息。2) 子空间选择：利用提取的几何结构信息，选择一个包含潜在文本信息的子空间。3) 正交匹配追踪：在选定的子空间内，使用正交匹配追踪算法迭代地选择与梯度最相关的文本片段。4) 文本重建：将选择的文本片段组合起来，重建原始的训练文本。

关键创新：SOMP的关键创新在于利用了Transformer梯度中的头部几何结构和样本稀疏性。通过子空间引导的正交匹配追踪，SOMP能够有效地解开混合的梯度信号，显著提高了在大规模场景下的梯度反演性能。与现有方法相比，SOMP避免了对整个搜索空间的穷举搜索，从而降低了计算复杂度，并提高了重建的文本质量。

关键设计：SOMP的关键设计包括：1) 头部几何结构提取：使用某种度量（具体方法未知）来衡量不同头部之间的相似性，从而构建头部之间的关系图。2) 子空间选择策略：基于头部关系图，选择一个包含最重要头部信息的子空间。3) 正交匹配追踪算法：使用标准的正交匹配追踪算法，但将其限制在选定的子空间内进行搜索。4) 损失函数：使用梯度差异作为损失函数，衡量重建文本与原始梯度之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SOMP在多个LLM家族、模型规模和五种语言上，均优于现有的梯度反演方法。对于批量大小B=16的长序列，SOMP实现了比强基线高得多的重建保真度，同时保持了计算竞争力。即使在极端聚合（高达B=128）下，SOMP仍然可以恢复有意义的文本，这表明即使在现有攻击效果不佳的情况下，隐私泄露仍然可能存在。

🎯 应用场景

SOMP的研究成果可应用于评估和增强大型语言模型的隐私保护能力。通过分析模型在不同聚合程度下的梯度泄露情况，可以更好地理解模型的隐私风险，并开发更有效的隐私保护机制，例如差分隐私训练或梯度裁剪等。该研究还有助于开发更安全的联邦学习系统，防止参与者的数据被恶意攻击者窃取。

📄 摘要（原文）

Gradient inversion attacks reveal that private training text can be reconstructed from shared gradients, posing a privacy risk to large language models (LLMs). While prior methods perform well in small-batch settings, scaling to larger batch sizes and longer sequences remains challenging due to severe signal mixing, high computational cost, and degraded fidelity. We present SOMP (Subspace-Guided Orthogonal Matching Pursuit), a scalable gradient inversion framework that casts text recovery from aggregated gradients as a sparse signal recovery problem. Our key insight is that aggregated transformer gradients retain exploitable head-wise geometric structure together with sample-level sparsity. SOMP leverages these properties to progressively narrow the search space and disentangle mixed signals without exhaustive search. Experiments across multiple LLM families, model scales, and five languages show that SOMP consistently outperforms prior methods in the aggregated-gradient regime.For long sequences at batch size B=16, SOMP achieves substantially higher reconstruction fidelity than strong baselines, while remaining computationally competitive. Even under extreme aggregation (up to B=128), SOMP still recovers meaningful text, suggesting that privacy leakage can persist in regimes where prior attacks become much less effective.