NADS: Navigator-Guided Data Selection for Mitigating Catastrophic Forgetting in Fine-Tuning

📄 arXiv: 2610.25751v1 📥 PDF

作者: Jianhao Zhang, Ou Wu, Yi Du

分类: cs.LG

发布日期: 2026-10-19

备注: Accepted by NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出NADS以解决大语言模型微调中的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灾难性遗忘 大语言模型 微调 合成数据 效用选择 能力保留 机器学习

📋 核心要点

  1. 灾难性遗忘是大语言模型在新任务微调时面临的主要问题，现有方法依赖间接信号，效果有限。
  2. NADS框架通过导航员模型揭示能力漂移，利用预测偏差进行合成数据的有效选择。
  3. 实验结果显示，NADS在新任务性能与通用能力保留之间取得了更好的平衡，并降低了计算开销。

📝 摘要（中文）

灾难性遗忘是大语言模型（LLMs）在新任务单阶段微调时的主要障碍，尤其是在原始预训练数据不可用时。合成数据提供了一种实际的缓解路径，但候选池通常噪声和冗余较多，导致有效选择至关重要。现有方法往往依赖于间接的代理信号，其与实际训练收益的对齐程度有限，而在大型候选池上进行效用-多样性选择仍然计算开销巨大。为了解决这些挑战，本文提出了导航员引导的数据选择（NADS）框架。NADS首先遵循目标微调方案，在没有保留正则化的情况下获得导航员模型，导航员与预训练模型的偏差揭示了方案引起的能力漂移。然后，利用导航员与预训练模型之间的预测偏差为每个合成候选评分，构建约束集，最后在新任务数据上进行微调，同时提炼所选约束上的预训练行为以保留通用能力。实验表明，NADS在新任务性能与通用能力保留之间实现了更强的平衡，同时减少了效用-多样性选择的开销。

🔬 方法详解

问题定义：本文旨在解决大语言模型在新任务微调过程中遭遇的灾难性遗忘问题。现有方法往往依赖于间接的代理信号，导致其与实际训练收益的对齐程度有限，同时在大型候选池上进行效用-多样性选择的计算开销较大。

核心思路：NADS框架的核心思路是通过构建一个导航员模型，揭示微调过程中能力的漂移，并利用这一信息对合成数据进行有效选择。通过预测偏差评分，NADS能够更好地评估每个合成候选的效用，从而优化选择过程。

技术框架：NADS的整体架构包括三个主要阶段：首先，遵循目标微调方案获得导航员模型；其次，利用导航员与预训练模型之间的预测偏差为合成候选评分；最后，在新任务数据上进行微调，同时提炼所选约束上的预训练行为。

关键创新：NADS的关键创新在于通过导航员模型揭示能力漂移，并利用预测偏差进行合成数据的选择，这与现有方法的间接信号依赖形成了本质区别。

关键设计：在设计上，NADS采用了一种高效的效用-多样性选择策略，确保在选择过程中减少计算开销，同时保留预训练模型的通用能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NADS在新任务性能上相较于基线方法提升了显著的效果，同时在通用能力保留方面表现优异，减少了效用-多样性选择的计算开销，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等任务，能够有效提升大语言模型在新任务上的表现，同时保留其在原有任务中的能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Catastrophic forgetting is a central obstacle in single-stage fine-tuning of large language models (LLMs) on a new task, especially when the original pretraining data are unavailable. Synthetic data offers a practical mitigation path, but candidate pools are often noisy and redundant, making effective selection essential. Existing methods often rely on indirect proxy signals whose alignment with actual training benefit can be limited, while utility--diversity selection over large candidate pools remains computationally demanding. To address these challenges, we propose NAvigator-guided Data Selection (NADS), a fine-tuning framework for LLMs. NADS first follows the target fine-tuning recipe without preservation regularization to obtain a navigator model, whose deviation from the pretrained model exposes recipe-induced capability drift. It then uses the predictive divergence between the navigator and the pretrained model to score forgetting-aware utility for each synthetic candidate, and constructs a constraint set through an efficient utility--diversity selection strategy. Finally, NADS fine-tunes on the new-task data while distilling pretrained behavior on the selected constraints to preserve general capabilities. Experiments show that NADS delivers a stronger balance between new-task performance and general capability preservation, while reducing utility--diversity selection overhead. Code at: https://github.com/zjh-vinky/NADS.