Scalable Multi-Stage Influence Function for Large Language Models via Eigenvalue-Corrected Kronecker-Factored Parameterization

📄 arXiv: 2505.05017v1 📥 PDF

作者: Yuntai Bao, Xuhong Zhang, Tianyu Du, Xinkui Zhao, Jiang Zong, Hao Peng, Jianwei Yin

分类: cs.CL

发布日期: 2025-05-08

备注: 9 pages, accepted by IJCAI 2025

期刊: Proceedings of the Thirty-Fourth International Joint Conference on Artificial Intelligence Main Track (2025) 8022-8030

DOI: 10.24963/ijcai.2025/892

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于EK-FAC的大规模多阶段影响函数，用于分析微调LLM对预训练数据的依赖

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 影响函数 可解释性 微调 预训练

📋 核心要点

  1. 现有影响函数方法难以计算大型语言模型微调过程中的多阶段影响，并且缺乏对十亿级参数模型的扩展性。
  2. 论文提出多阶段影响函数，将微调后LLM的预测归因于预训练数据，并采用EK-FAC参数化实现高效近似。
  3. 实验验证了EK-FAC近似的可扩展性，以及多阶段影响函数的有效性，并通过案例研究展示了其解释能力。

📝 摘要（中文）

预训练的大型语言模型（LLM）通常经过微调以适应下游任务。由于大部分知识是在预训练期间获得的，因此将微调后的LLM的预测归因于其预训练数据可能提供有价值的见解。影响函数已被提出作为一种基于训练数据解释模型预测的方法。然而，现有方法无法计算“多阶段”影响，并且缺乏对十亿级LLM的可扩展性。本文提出了多阶段影响函数，用于在全参数微调范式下，将微调后的LLM的下游预测归因于预训练数据。为了提高多阶段影响函数的效率和实用性，我们利用特征值校正的Kronecker分解（EK-FAC）参数化进行高效近似。实验结果验证了EK-FAC近似的卓越可扩展性和多阶段影响函数的有效性。此外，对真实LLM dolly-v2-3b 的案例研究证明了其解释能力，并通过示例说明了多阶段影响估计提供的见解。我们的代码已公开。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）微调后，如何将下游任务的预测结果追溯到预训练数据的问题。现有的影响函数方法在处理LLM时面临两个主要痛点：一是无法有效计算多阶段影响，即无法追踪微调过程中预训练数据对最终预测的间接影响；二是计算复杂度高，难以扩展到参数量巨大的LLM。

核心思路：论文的核心思路是利用多阶段影响函数来建模预训练数据对微调后模型预测的间接影响，并通过特征值校正的Kronecker分解（EK-FAC）参数化方法来降低计算复杂度，提高可扩展性。EK-FAC通过近似Hessian矩阵的逆来加速影响函数的计算。

技术框架：整体框架包含两个主要阶段：首先，计算多阶段影响函数，该函数考虑了预训练阶段和微调阶段的影响。其次，利用EK-FAC参数化方法近似计算Hessian矩阵的逆，从而加速影响函数的计算。具体流程包括：(1) 前向传播计算模型输出；(2) 反向传播计算梯度；(3) 利用EK-FAC近似计算Hessian逆；(4) 计算并分析多阶段影响。

关键创新：论文的关键创新在于提出了多阶段影响函数，能够更全面地评估预训练数据对微调后模型预测的影响。此外，利用EK-FAC参数化方法显著降低了计算复杂度，使得该方法能够应用于大规模LLM。与现有方法的本质区别在于，现有方法通常只考虑单阶段影响，并且缺乏对大规模模型的有效近似方法。

关键设计：EK-FAC参数化是关键设计之一，它通过将Hessian矩阵分解为Kronecker积的形式，并进行特征值校正，从而实现高效的近似计算。具体的参数设置包括Kronecker分解的块大小、特征值校正的阈值等。损失函数采用标准的交叉熵损失函数。网络结构采用预训练的LLM，如dolly-v2-3b。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EK-FAC近似方法能够显著提高计算效率，使得多阶段影响函数能够应用于dolly-v2-3b等大规模LLM。案例研究表明，该方法能够有效地识别对下游任务预测有重要影响的预训练数据，并提供有价值的解释。

🎯 应用场景

该研究成果可应用于分析LLM的知识来源，理解模型决策过程，识别有害或有偏见的训练数据，并改进模型的训练策略。例如，可以利用该方法识别对特定下游任务影响最大的预训练数据，从而指导数据选择和模型优化。此外，该方法还可以用于评估不同预训练数据集对模型性能的影响，从而指导预训练数据的构建。

📄 摘要（原文）

Pre-trained large language models (LLMs) are commonly fine-tuned to adapt to downstream tasks. Since the majority of knowledge is acquired during pre-training, attributing the predictions of fine-tuned LLMs to their pre-training data may provide valuable insights. Influence functions have been proposed as a means to explain model predictions based on training data. However, existing approaches fail to compute ``multi-stage'' influence and lack scalability to billion-scale LLMs. In this paper, we propose the multi-stage influence function to attribute the downstream predictions of fine-tuned LLMs to pre-training data under the full-parameter fine-tuning paradigm. To enhance the efficiency and practicality of our multi-stage influence function, we leverage Eigenvalue-corrected Kronecker-Factored (EK-FAC) parameterization for efficient approximation. Empirical results validate the superior scalability of EK-FAC approximation and the effectiveness of our multi-stage influence function. Additionally, case studies on a real-world LLM, dolly-v2-3b, demonstrate its interpretive power, with exemplars illustrating insights provided by multi-stage influence estimates. Our code is public at https://github.com/colored-dye/multi_stage_influence_function.