Scaling Influence Functions in LLMs through Eigenbasis-Corrected One-Bit Gradient Projection

📄 arXiv: 2609.37842v1 📥 PDF

作者: Jaeseung Heo, J Rosser, Dongwoo Kim

分类: cs.LG, cs.AI

发布日期: 2026-09-29

💡 一句话要点

提出EOGP以压缩LLM梯度存储成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 影响函数 大型语言模型 梯度压缩 一位量化 主成分分析 存储优化 计算效率

📋 核心要点

  1. 现有方法在LLM规模下存储完整梯度成本过高，影响函数计算效率低下。
  2. 提出特征基校正的一位梯度投影（EOGP），通过压缩梯度来保留影响估计。
  3. 在GPT-2上，EOGP以六分之一的存储成本实现了更高的预测准确性。

📝 摘要（中文）

影响函数用于估计单个训练样本对大型语言模型（LLMs）行为的影响。分析训练数据如何影响LLM的不同行为需要重复计算影响。虽然重用存储的训练梯度可以降低计算成本，但在LLM规模下存储完整梯度的成本过高。本文研究了如何在存储时未知的未来查询中压缩这些梯度，同时保留影响估计。通过最坏情况分析，我们表征了最佳固定维度线性表示，并提出了特征基校正的一位梯度投影（EOGP）以在规模上进行近似。EOGP使用EK-FAC减少梯度维度，然后在保留的子空间内应用PCA学习压缩方向。最后，我们对结果坐标应用一位量化，使得在固定存储预算内可以保留更多坐标。在GPT-2上，EOGP以每个样本仅使用六分之一的存储，预测重训练结果的准确性超过了评估的压缩基线。

🔬 方法详解

问题定义：本文旨在解决在大型语言模型（LLMs）中存储完整梯度的高成本问题。现有方法在计算影响函数时需要重复存储和计算梯度，导致效率低下和资源浪费。

核心思路：论文提出的EOGP方法通过压缩梯度来减少存储需求，同时保留对未来查询的影响估计。该方法利用特征基校正和一位量化技术，以降低存储成本并提高计算效率。

技术框架：EOGP的整体流程包括三个主要阶段：首先使用EK-FAC算法减少梯度的维度；其次在保留的子空间内应用主成分分析（PCA）来学习压缩方向；最后对得到的坐标进行一位量化，以在固定存储预算内保留更多信息。

关键创新：EOGP的核心创新在于结合了特征基校正和一位量化技术，显著提高了梯度存储的效率。与现有方法相比，EOGP在存储成本和影响预测准确性上具有明显优势。

关键设计：在EOGP中，EK-FAC用于梯度维度的减少，PCA用于学习压缩方向，最终通过一位量化实现存储优化。具体参数设置和损失函数设计在实验中经过验证，以确保模型性能的提升。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，EOGP在GPT-2上以每个样本仅使用六分之一的存储成本，预测重训练结果的准确性超过了其他评估的压缩基线。此外，在OLMo 2 SFT模型中，EOGP在存储效率上也表现出色，尽管基线模型的存储成本超过了100倍。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和优化，尤其是在资源受限的环境中。通过降低存储成本，EOGP可以使得更多的研究者和开发者能够在较小的硬件上进行大规模模型的训练和实验，推动自然语言处理领域的进一步发展。

📄 摘要（原文）

Influence functions estimate how individual training examples affect the behavior of large language models (LLMs). Analyzing how training data influence different behaviors of an LLM involves repeated influence computation. Reusing stored training gradients reduces the computational cost, but storing full gradients is prohibitively expensive at LLM scale. We study how to compress these gradients while preserving influence estimates for future queries that are unknown at storage time. Through a worst-case analysis, we characterize the optimal fixed-dimensional linear representation and propose eigenbasis-corrected one-bit gradient projection (EOGP) to approximate it at scale. Specifically, EOGP uses EK-FAC to reduce gradient dimensionality, then applies PCA within the retained subspace to learn compression directions from the training gradients. We then apply one-bit quantization to the resulting coordinates, allowing more coordinates to be retained within a fixed storage budget. On GPT-2, EOGP predicts retraining outcomes more accurately than the evaluated compression baselines while using one-sixteenth of their per-example storage. On OLMo 2 SFT models from 1B to 32B parameters, EOGP remains competitive with the baselines allocated over 100 times as much storage per example.