Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons
作者: Yongqi Leng, Deyi Xiong
分类: cs.CL, cs.LG
发布日期: 2024-07-09 (更新: 2025-01-12)
💡 一句话要点
通过检测任务特定神经元，理解LLM的多任务学习泛化能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多任务学习 持续学习 神经元分析 梯度归因
📋 核心要点
- 大型语言模型的多任务学习机制尚不明确，现有方法缺乏对神经元层面的深入理解。
- 通过梯度归因识别任务特定神经元，并分析其在泛化和灾难性遗忘中的作用。
- 提出神经元级别的持续微调方法，仅微调当前任务的特定神经元，提升持续学习效果。
📝 摘要（中文）
大型语言模型（LLM）展现出卓越的多任务能力，但理解其背后的学习机制仍然是一个具有挑战性的问题。本文尝试从神经元的角度理解这种机制。具体而言，我们通过任务特定数据的梯度归因来检测LLM中的任务敏感神经元。通过大量的去激活和微调实验，我们证明了检测到的神经元与给定的任务高度相关，我们称之为任务特定神经元。利用这些识别出的任务特定神经元，我们深入研究了多任务学习和持续学习中的两个常见问题：泛化和灾难性遗忘。我们发现任务特定神经元的重叠与跨任务的泛化和专业化密切相关。有趣的是，在LLM的某些层中，不同任务特定神经元的参数具有很高的相似性，并且这种相似性与泛化性能高度相关。受这些发现的启发，我们提出了一种神经元级别的持续微调方法，该方法仅在持续学习期间微调当前任务特定的神经元，并且大量的实验证明了该方法的有效性。我们的研究为多任务学习中LLM的可解释性提供了见解。
🔬 方法详解
问题定义：大型语言模型在多任务学习中表现出色，但其内在机制，特别是神经元层面的作用，仍然未知。现有方法难以解释模型如何实现跨任务的泛化和避免灾难性遗忘。因此，需要深入理解LLM中神经元与特定任务之间的关联。
核心思路：论文的核心思路是通过识别与特定任务高度相关的神经元（任务特定神经元），来理解LLM的多任务学习能力。通过分析这些神经元的行为和相互关系，揭示模型泛化和遗忘的内在机制。这种神经元层面的分析有助于设计更有效的多任务学习和持续学习方法。
技术框架：该研究的技术框架主要包含以下几个阶段：1) 任务特定神经元检测：利用任务特定数据的梯度归因方法，识别LLM中对特定任务敏感的神经元。2) 神经元分析：分析任务特定神经元的重叠程度，以及它们参数的相似性，研究其与泛化性能的关系。3) 持续微调：基于神经元分析的结果，提出一种神经元级别的持续微调方法，仅微调当前任务的特定神经元。4) 实验验证：通过去激活实验、微调实验和持续学习实验，验证任务特定神经元的重要性以及所提出方法的有效性。
关键创新：该论文的关键创新在于从神经元层面理解LLM的多任务学习机制。与以往关注模型整体性能的方法不同，该研究深入到神经元层面，揭示了任务特定神经元在泛化和遗忘中的作用。此外，提出的神经元级别持续微调方法，是一种针对性更强、效率更高的持续学习策略。
关键设计：在任务特定神经元检测中，使用了梯度归因方法，具体实现细节未知。在神经元分析中，使用了神经元重叠度和参数相似度等指标来量化神经元之间的关系。在神经元级别持续微调中，关键在于如何选择需要微调的神经元，以及如何平衡新任务的学习和旧任务的保持。具体的损失函数和网络结构细节未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，检测到的任务特定神经元与对应任务高度相关。神经元重叠度与任务泛化能力呈正相关，神经元参数相似度也与泛化性能相关。提出的神经元级别持续微调方法在持续学习任务上表现出显著的性能提升，具体提升幅度未知，但优于传统微调方法。
🎯 应用场景
该研究成果可应用于提升大型语言模型在多任务学习和持续学习场景下的性能。例如，可以利用任务特定神经元的知识，设计更有效的模型压缩和知识迁移方法。此外，该研究也有助于提高LLM的可解释性，为模型调试和优化提供更深入的理解。
📄 摘要（原文）
While large language models (LLMs) have demonstrated superior multi-task capabilities, understanding the learning mechanisms behind this is still a challenging problem. In this paper, we attempt to understand such mechanisms from the perspective of neurons. Specifically, we detect task-sensitive neurons in LLMs via gradient attribution on task-specific data. Through extensive deactivation and fine-tuning experiments, we demonstrate that the detected neurons are highly correlated with the given task, which we term as task-specific neurons. With these identified task-specific neurons, we delve into two common problems in multi-task learning and continuous learning: Generalization and Catastrophic Forgetting. We find that the overlap of task-specific neurons is strongly associated with generalization and specialization across tasks. Interestingly, at certain layers of LLMs, there is a high similarity in the parameters of different task-specific neurons, and such similarity is highly correlated with the generalization performance. Inspired by these findings, we propose a neuron-level continuous fine-tuning method that only fine-tunes the current task-specific neurons during continuous learning, and extensive experiments demonstrate the effectiveness of the proposed method. Our study provides insights into the interpretability of LLMs in multi-task learning.