TAIA: Large Language Models are Out-of-Distribution Data Learners
作者: Shuyang Jiang, Yusheng Liao, Ya Zhang, Yanfeng Wang, Yu Wang
分类: cs.CL
发布日期: 2024-05-30 (更新: 2024-10-17)
备注: 29 pages. Accepted as a 2024 NeurIPS paper
🔗 代码/项目: GITHUB
💡 一句话要点
TAIA：利用大语言模型进行领域外数据学习，提升下游任务性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 领域外学习 指令微调 注意力机制 推理时干预
📋 核心要点
- 现有指令微调方法依赖于大量高质量的任务特定数据，但在医疗等专业领域难以获取。
- 论文提出一种新的推理时干预方法，即训练所有参数但仅推理注意力( rainallInfAttn)，关注注意力参数的重要性。
- 实验表明， rainallInfAttn在多个下游任务上优于完全微调的模型和基础模型，且对数据不匹配具有高容忍度。
📝 摘要（中文）
为了提升指令微调的大语言模型（LLMs）在数据稀缺领域的性能，尤其是在领域数据不匹配的情况下，本文重新评估了Transformer架构。研究发现，并非所有微调期间的参数更新都有助于下游性能。分析表明，在自注意力机制和前馈网络中，只有微调后的注意力参数在训练集分布与测试集不完全一致时特别有益。基于此，本文提出了一种有效的推理时干预方法：训练所有参数但仅推理注意力( rainallInfAttn)。通过在两个通用指令微调数据集上进行验证，并在涉及数学、推理和知识理解的七个下游任务上进行评估，结果表明，与完全微调的模型和基础模型相比， rainallInfAttn在大多数情况下都能实现卓越的改进，并获得显著的性能提升。该方法对数据不匹配具有很高的容忍度，使其能够抵抗越狱式调优，并利用通用数据增强特定任务。代码已开源。
🔬 方法详解
问题定义：现有指令微调的大语言模型在特定领域，如医疗或无害内容生成，面临高质量数据稀缺的问题。即使有数据，也可能存在领域不匹配的情况，导致模型性能下降。现有方法通常依赖于对所有参数进行微调，但这种方式可能并非最优，因为并非所有参数更新都有助于下游任务的性能提升。
核心思路：论文的核心思路是重新审视Transformer架构，并发现并非所有参数更新都对下游任务有积极作用。通过分析，作者发现自注意力机制中的注意力参数在训练数据与测试数据分布不一致时，对模型性能的贡献尤为突出。因此，论文提出了一种在推理阶段只使用微调后的注意力参数的方法，从而提高模型在数据稀缺和领域不匹配情况下的泛化能力。
技术框架：该方法主要分为两个阶段：训练阶段和推理阶段。在训练阶段，使用领域外的数据对整个模型的所有参数进行微调，采用标准的指令微调流程。在推理阶段，固定除注意力参数外的所有参数，仅使用微调后的注意力参数进行推理。这种方法相当于在推理时对模型进行了一种干预，使其更加关注输入数据中的关键信息。
关键创新：该方法最重要的创新点在于发现了注意力参数在领域外数据学习中的关键作用，并提出了一种简单有效的推理时干预方法。与传统的完全微调方法相比，该方法能够更好地利用领域外数据，提高模型在数据稀缺和领域不匹配情况下的性能。
关键设计：该方法的关键设计在于推理阶段的参数选择。具体来说，在推理时，只保留Transformer模型中自注意力模块的权重参数，而冻结其他所有参数，包括前馈网络的权重、偏置项以及Layer Normalization的参数。这种设计使得模型在推理时更加关注输入数据中的关键信息，从而提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明， rainallInfAttn在多个下游任务上显著优于完全微调的模型和基础模型。例如，在数学、推理和知识理解等任务上，该方法取得了明显的性能提升。此外，该方法对数据不匹配具有很高的容忍度，使其能够抵抗越狱式调优，并利用通用数据增强特定任务。
🎯 应用场景
该研究成果可应用于医疗、金融、法律等数据稀缺的专业领域，提升大语言模型在这些领域的应用效果。通过利用通用数据进行微调，可以降低对特定领域高质量数据的依赖，加速大语言模型在各行业的落地。此外，该方法对越狱式调优的抵抗能力，使其在安全内容生成方面具有潜在应用价值。
📄 摘要（原文）
Fine-tuning on task-specific question-answer pairs is a predominant method for enhancing the performance of instruction-tuned large language models (LLMs) on downstream tasks. However, in certain specialized domains, such as healthcare or harmless content generation, it is nearly impossible to obtain a large volume of high-quality data that matches the downstream distribution. To improve the performance of LLMs in data-scarce domains with domain-mismatched data, we re-evaluated the Transformer architecture and discovered that not all parameter updates during fine-tuning contribute positively to downstream performance. Our analysis reveals that within the self-attention and feed-forward networks, only the fine-tuned attention parameters are particularly beneficial when the training set's distribution does not fully align with the test set. Based on this insight, we propose an effective inference-time intervention method: Training All parameters but Inferring with only Attention (\trainallInfAttn). We empirically validate \trainallInfAttn using two general instruction-tuning datasets and evaluate it on seven downstream tasks involving math, reasoning, and knowledge understanding across LLMs of different parameter sizes and fine-tuning techniques. Our comprehensive experiments demonstrate that \trainallInfAttn achieves superior improvements compared to both the fully fine-tuned model and the base model in most scenarios, with significant performance gains. The high tolerance of \trainallInfAttn to data mismatches makes it resistant to jailbreaking tuning and enhances specialized tasks using general data. Code is available in \url{https://github.com/pixas/TAIA_LLM}.