Large Language Models as Attribution Regularizers for Efficient Model Training
作者: Davor Vukadin, Marin Šilić, Goran Delač
分类: cs.LG, cs.AI
发布日期: 2025-02-27 (更新: 2025-07-25)
💡 一句话要点
提出基于LLM归因正则化的高效模型训练方法，提升小模型在少样本学习中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 特征归因 正则化 少样本学习 知识蒸馏 模型训练 表格数据
📋 核心要点
- 现有方法难以有效利用LLM的知识来训练小型下游模型，尤其是在表格数据等领域，小模型因其可解释性和效率而更受欢迎。
- 该论文提出一种归因匹配正则化方法，通过对齐小模型与LLM的特征归因，将LLM的知识融入小模型的训练中。
- 实验表明，该方法在少样本学习中表现优异，并能有效解决数据偏斜和偏差问题，提升模型的泛化能力和鲁棒性。
📝 摘要（中文）
大型语言模型（LLM）在各个领域都展现了卓越的性能。然而，如何有效地利用它们丰富的知识来训练更小的下游模型仍然是一个开放的挑战，尤其是在表格数据学习等领域，由于可解释性和效率的考虑，通常更倾向于使用更简单的模型。本文提出了一种新颖而直接的方法，将LLM生成的全局任务特征归因信息融入到较小网络的训练过程中。具体来说，我们提出了一个归因匹配正则化项，使较小模型的训练动态与LLM提供的见解对齐。通过这样做，我们的方法在少样本学习场景中产生了优越的性能。值得注意的是，我们的方法只需要对LLM进行黑盒API访问，使其易于集成到现有的训练流程中，且计算开销最小。此外，我们还展示了该方法如何用于解决现实世界数据集中的常见问题，如偏斜和偏差。通过整合来自LLM的高级知识，我们的方法提高了泛化能力，即使在训练数据有限或不平衡的情况下也是如此。我们通过多个任务的广泛实验验证了其有效性，证明了学习效率和模型鲁棒性的提高。
🔬 方法详解
问题定义：论文旨在解决如何有效利用大型语言模型（LLM）的知识来提升小型模型在特定任务（如表格数据学习）上的性能的问题。现有方法要么难以迁移LLM的知识，要么计算成本过高，无法满足实际应用的需求。尤其是在数据量有限或存在偏差的情况下，小模型的泛化能力会受到严重影响。
核心思路：论文的核心思路是利用LLM作为一种“教师”，通过学习LLM对特征重要性的判断（即特征归因），来指导小模型的训练。具体来说，就是让小模型学习LLM认为重要的特征，从而提高模型的性能和鲁棒性。这种方法避免了直接蒸馏LLM的参数，而是关注于知识的迁移。
技术框架：整体框架包含两个主要部分：首先，使用LLM对输入数据的特征进行归因分析，得到每个特征的重要性得分。然后，将这些得分作为正则化项，加入到小模型的训练损失函数中。小模型的训练目标不仅要最小化预测误差，还要尽可能地匹配LLM的特征归因。这个过程只需要对LLM进行黑盒API访问，无需修改LLM的内部结构。
关键创新：该方法最重要的创新点在于提出了“归因匹配正则化”的概念，将LLM的知识以特征归因的形式融入到小模型的训练中。与传统的知识蒸馏方法相比，该方法更加轻量级，易于实现，并且能够更好地利用LLM的全局知识。此外，该方法还能够有效解决数据偏斜和偏差问题，提高模型的泛化能力。
关键设计：关键设计包括：1) 使用SHAP或LIME等方法计算LLM的特征归因；2) 设计合适的损失函数，将归因匹配作为正则化项加入到总损失中，例如可以使用均方误差或KL散度来衡量小模型和LLM归因之间的差异；3) 调整正则化系数，平衡预测误差和归因匹配的重要性。论文中可能还涉及一些针对特定任务的特征工程或模型结构调整。
🖼️ 关键图片
📊 实验亮点
论文通过在多个任务上的实验验证了该方法的有效性。实验结果表明，与传统的训练方法相比，该方法能够显著提高小模型在少样本学习中的性能，并且能够有效解决数据偏斜和偏差问题。具体的性能提升幅度未知，但摘要中提到“improved learning efficiency and model robustness”，说明在学习效率和模型鲁棒性方面均有提升。
🎯 应用场景
该研究成果可广泛应用于各种需要使用小模型进行快速部署和推理的场景，例如金融风控、医疗诊断、推荐系统等。通过利用LLM的知识，可以显著提升小模型的性能，尤其是在数据稀缺或存在偏差的情况下。此外，该方法还可以用于模型的可解释性分析，帮助人们理解模型的决策过程。
📄 摘要（原文）
Large Language Models (LLMs) have demonstrated remarkable performance across diverse domains. However, effectively leveraging their vast knowledge for training smaller downstream models remains an open challenge, especially in domains like tabular data learning, where simpler models are often preferred due to interpretability and efficiency. In this paper, we introduce a novel yet straightforward method for incorporating LLM-generated global task feature attributions into the training process of smaller networks. Specifically, we propose an attribution-matching regularization term that aligns the training dynamics of the smaller model with the insights provided by the LLM. By doing so, our approach yields superior performance in few-shot learning scenarios. Notably, our method requires only black-box API access to the LLM, making it easy to integrate into existing training pipelines with minimal computational overhead. Furthermore, we demonstrate how this method can be used to address common issues in real-world datasets, such as skewness and bias. By integrating high-level knowledge from LLMs, our approach improves generalization, even when training data is limited or imbalanced. We validate its effectiveness through extensive experiments across multiple tasks, demonstrating improved learning efficiency and model robustness.