Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models

📄 arXiv: 2410.20008v1 📥 PDF

作者: Zheng Zhao, Yftah Ziser, Shay B. Cohen

分类: cs.CL, cs.LG

发布日期: 2024-10-25

备注: Accepted to EMNLP 2024

💡 一句话要点

揭示指令调优LLM中多任务学习发生位置，探究任务特定知识的编码方式。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令调优 多任务学习 矩阵分析 知识表示

📋 核心要点

  1. 现有方法缺乏对指令调优后LLM内部如何存储和处理不同任务知识的深入理解。
  2. 通过矩阵分析工具，研究预训练和指令调优LLM在不同层中任务特定信息的编码差异。
  3. 发现部分任务已在预训练LLM中编码，指令调优对另一些任务有显著提升，并定位了表示过渡的层。

📝 摘要（中文）

本文研究了预训练大型语言模型（LLM）中编码的任务特定信息，以及指令调优对模型在超过60个NLP任务上的表示的影响。研究使用一系列矩阵分析工具，检验了预训练LLM和指令调优LLM存储任务特定信息方式的差异。研究结果表明，虽然某些任务已经被编码在预训练LLM中，但其他任务从指令调优中获益匪浅。此外，本文还确定了模型中从高层通用表示过渡到更面向任务的表示的层。这一发现扩展了我们对LLM运行机制的理解，并有助于参数高效迁移学习和多任务学习领域的未来研究。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在经过指令调优后，能够处理各种NLP任务。然而，对于这些模型如何在内部存储和处理不同任务的知识，以及哪些层负责哪些任务，仍然缺乏深入的理解。现有的研究未能充分揭示任务特定信息在LLM中的分布和作用方式。

核心思路：本文的核心思路是通过分析LLM不同层级的表示，来揭示任务特定信息在模型中的编码方式。通过比较预训练模型和指令调优模型的表示，可以了解指令调优对任务知识的影响。通过定位模型中表示从通用到任务特定的过渡层，可以更好地理解LLM的学习机制。

技术框架：本文采用矩阵分析工具来研究LLM的表示。具体来说，研究首先收集预训练和指令调优LLM在不同任务上的激活值。然后，使用奇异值分解（SVD）等技术来分析这些激活值的矩阵，从而提取任务特定信息的表示。最后，比较不同层级和不同模型之间的表示，以揭示任务知识的分布和影响。

关键创新：本文的关键创新在于使用矩阵分析工具来研究指令调优对LLM表示的影响。通过这种方法，可以更深入地了解LLM内部的任务知识编码方式，并定位模型中负责处理特定任务的层。这为参数高效迁移学习和多任务学习提供了新的视角。

关键设计：本文使用了超过60个NLP任务，涵盖了各种不同的任务类型。研究人员仔细选择了这些任务，以确保它们能够充分代表NLP领域的各种挑战。此外，研究人员还使用了多种矩阵分析技术，以确保结果的可靠性和有效性。具体的参数设置和网络结构细节取决于所使用的LLM架构，但核心思想是分析不同层级的激活值矩阵。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，虽然一些任务的信息已经存在于预训练的LLM中，但指令调优显著提升了模型在其他任务上的表现。此外，研究还成功定位了模型中从通用表示过渡到任务特定表示的关键层，为理解LLM的内部机制提供了重要线索。具体的性能提升数据和对比基线在论文中进行了详细描述。

🎯 应用场景

该研究成果可应用于参数高效迁移学习和多任务学习。通过理解LLM中任务特定知识的编码方式，可以设计更有效的迁移学习策略，从而在资源有限的情况下，快速构建适用于特定任务的模型。此外，该研究还可以帮助开发更强大的多任务学习模型，使其能够同时处理多个任务，并实现更好的性能。

📄 摘要（原文）

Fine-tuning pre-trained large language models (LLMs) on a diverse array of tasks has become a common approach for building models that can solve various natural language processing (NLP) tasks. However, where and to what extent these models retain task-specific knowledge remains largely unexplored. This study investigates the task-specific information encoded in pre-trained LLMs and the effects of instruction tuning on their representations across a diverse set of over 60 NLP tasks. We use a set of matrix analysis tools to examine the differences between the way pre-trained and instruction-tuned LLMs store task-specific information. Our findings reveal that while some tasks are already encoded within the pre-trained LLMs, others greatly benefit from instruction tuning. Additionally, we pinpointed the layers in which the model transitions from high-level general representations to more task-oriented representations. This finding extends our understanding of the governing mechanisms of LLMs and facilitates future research in the fields of parameter-efficient transfer learning and multi-task learning.