On the Loss of Context-awareness in General Instruction Fine-tuning
作者: Yihan Wang, Andrew Bai, Nanyun Peng, Cho-Jui Hsieh
分类: cs.CL, cs.LG
发布日期: 2024-11-05 (更新: 2025-02-02)
💡 一句话要点
通用指令微调中上下文感知能力丧失问题研究与缓解方案
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 指令微调 上下文感知 角色偏差 条件指令微调
📋 核心要点
- 通用指令微调（SFT）后的LLM在应用聊天模板时，会损失上下文感知能力，尤其是在开源模型中。
- 通过引入上下文依赖性指标，并结合条件指令微调，模型能够更好地保留上下文感知能力。
- 实验表明，该方法在不影响通用指令遵循能力的前提下，有效缓解了上下文感知能力的丧失。
📝 摘要（中文）
预训练大型语言模型（LLMs）需要诸如在指令-响应对上进行监督微调（SFT）等后训练方法，以实现指令遵循。然而，这个过程可能会损害预训练期间学习到的现有能力。本文研究了SFT后上下文感知能力的丧失，其中上下文感知被定义为从用户提供的上下文中提取和理解信息并做出相应响应的能力。我们发现并证明了上下文感知能力的丧失，尤其是在开源模型中，发生在将聊天模板应用于输入提示的指令微调LLM中。我们发现性能下降与会话指令微调期间学习到的不同角色的偏差有关。我们通过可视化应用聊天模板后注意力分配的变化并手动调整注意力头来证明这种相关性。这种偏差可能来自与模型内部知识对齐的训练示例，并且较少依赖用户提供的上下文来生成正确的响应。基于这些观察，我们提出了一种指标来识别通用指令微调数据集中上下文相关的示例。然后，我们应用带有上下文依赖性指标的条件指令微调，使模型能够在SFT后保持上下文感知能力。在四个上下文相关的下游任务和三个不同大小的预训练LLM上的经验实验表明，我们的方法有效地减轻了上下文感知能力的丧失，而不会影响通用指令遵循能力。
🔬 方法详解
问题定义：现有的大型语言模型在经过通用指令微调后，虽然能够更好地遵循指令，但往往会丧失利用用户提供的上下文信息进行推理和响应的能力。这种上下文感知能力的丧失限制了模型在需要理解复杂语境的任务中的应用。现有方法缺乏对这种现象的深入分析和有效的缓解策略。
核心思路：本文的核心思路是识别并缓解指令微调过程中引入的角色偏差。研究发现，模型在会话指令微调中学习到的角色偏差，使其倾向于依赖自身的先验知识而非用户提供的上下文。通过引入上下文依赖性指标，可以区分训练数据中需要依赖上下文的样本，并有针对性地进行训练。
技术框架：该方法主要包含以下几个阶段：1) 分析指令微调后模型上下文感知能力的损失；2) 提出上下文依赖性指标，用于评估训练样本对上下文的依赖程度；3) 应用条件指令微调，即根据上下文依赖性指标，对不同类型的样本进行差异化训练，从而使模型更好地保留上下文感知能力。
关键创新：最重要的技术创新点在于提出了上下文依赖性指标，并将其应用于条件指令微调。该指标能够有效地识别需要依赖上下文的训练样本，从而指导模型进行更有针对性的学习。与传统的指令微调方法相比，该方法能够更好地平衡指令遵循能力和上下文感知能力。
关键设计：上下文依赖性指标的具体计算方式未知，论文中可能涉及注意力头选择和调整的具体策略，以及条件指令微调中不同样本的权重分配等细节。这些细节对于复现和进一步改进该方法至关重要，但摘要中未明确说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在四个上下文相关的下游任务上，有效地减轻了上下文感知能力的丧失，同时没有影响模型的通用指令遵循能力。具体性能数据和对比基线未知，但结论表明该方法具有显著的优势。
🎯 应用场景
该研究成果可应用于各种需要上下文理解的自然语言处理任务，例如对话系统、问答系统、信息抽取等。通过提升模型对上下文的感知能力，可以提高这些应用在复杂场景下的性能和用户体验。该方法还有助于开发更可靠、更智能的AI助手。
📄 摘要（原文）
Pre-trained Large Language Models (LLMs) require post-training methods such as supervised fine-tuning (SFT) on instruction-response pairs to enable instruction following. However, this process can potentially harm existing capabilities learned during pre-training. In this paper, we investigate the loss of context awareness after SFT, where context awareness is defined as the ability to extract and understand information from user-provided context and respond accordingly. We identify and demonstrate that the loss of context awareness, particularly in open-source models, occurs in instruction fine-tuned LLMs when the chat template is applied to input prompts. We identify that the performance decline is associated with a bias toward different roles learned during conversational instruction fine-tuning. We demonstrate this correlation by visualizing changes in attention allocation after the chat template is applied and manually steering the attention heads. The bias can be learned from training examples that align with the model's internal knowledge and rely less on the user-provided context to generate correct responses. Based on these observations, we propose a metric to identify context-dependent examples from general instruction fine-tuning datasets. We then apply conditional instruction fine-tuning with a context-dependency indicator, enabling the model to preserve context awareness after SFT. Empirical experiments on four context-dependent downstream tasks and three pre-trained LLMs of different sizes show that our method effectively mitigates the loss of context awareness without compromising general instruction-following capabilities.