Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

📄 arXiv: 2610.02593v1 📥 PDF

作者: Zhenghao Zhao, Gaowen Liu, Zhiling Lan, Yan Yan

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出Fisher引导的子模数据选择以解决持续预训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续预训练 数据选择 Fisher信息 灾难性遗忘 大规模语言模型 医疗数据 令牌效率

📋 核心要点

  1. 现有的持续预训练方法在数据选择上存在不足，容易导致模型能力的遗忘。
  2. 本文提出了一种Fisher感知的选择器，通过分析梯度来优化数据选择，减少遗忘。
  3. 在TinyLlama-1.1B和Llama-3.1-8B的实验中，该方法在目标领域质量和令牌效率上均有显著提升。

📝 摘要（中文）

数据选择在大规模语言模型训练中已成为核心瓶颈，尤其是在持续预训练（CPT）中，选择不当的目标领域语料可能会覆盖预训练检查点中编码的能力。现有方法使用无参数标量评分候选者，或通过消耗额外的通用领域重放令牌来减轻遗忘问题。本文提出了一种Fisher感知的CPT选择器，通过将每个候选者的梯度分解为锚定分量和边界分量，优化了数据选择过程。实验表明，该选择器在目标领域质量上有所提升，同时在保持预训练基准上有效控制遗忘，且在令牌效率上显著优于重放策略。

🔬 方法详解

问题定义：本文解决的是在持续预训练中如何有效选择数据的问题。现有方法往往依赖于无参数标量评分或大量重放令牌，导致模型能力的遗忘。

核心思路：提出了一种Fisher感知的选择器，通过将候选者的梯度分解为锚定分量和边界分量，来评估数据对模型参数的影响，从而优化数据选择。

技术框架：整体流程包括数据候选者的梯度计算、分解为锚定和边界分量、信号聚合以及使用对数行列式子模目标进行优化，形成一个可扩展的流式数据选择管道。

关键创新：最重要的创新在于引入Fisher信息作为选择依据，利用高Fisher坐标和低Fisher坐标的非对称性，揭示了灾难性遗忘的参数空间机制。

关键设计：选择器的设计中，锚定分量用于测量已承诺参数方向的扰动，边界分量则用于评估在低Fisher子空间中的更新能力，优化过程中使用了对数行列式子模目标以实现高效选择。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，使用1B选择的令牌在适应性和遗忘控制上均优于使用10B令牌的重放策略，展现出10倍的令牌效率优势。这一结果表明，Fisher感知的选择器在目标领域质量和资源利用上具有显著提升。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、自然语言处理和其他需要持续学习的领域。通过优化数据选择，可以提高模型在特定领域的适应能力，减少遗忘现象，从而提升实际应用的效果和效率。

📄 摘要（原文）

Data selection is already a central bottleneck in large-language-model training, where web-scale corpora are noisy and token budgets are finite. In continual pre-training (CPT), it becomes a forgetting-control problem: a poorly chosen target-domain corpus can overwrite capabilities encoded in the pretrained checkpoint. Existing CPT practice either scores candidates with parameter-agnostic scalars such as perplexity, or mitigates forgetting by spending many extra general-domain replay tokens. Neither strategy directly asks how training on a candidate will move the model parameters. We show that loss-based selection causes the post-CPT Fisher diagonal to drift downward on exactly the high-Fisher coordinates the pretrained model had committed to, while leaving low-Fisher coordinates largely untouched. This asymmetry exposes a parameter-space mechanism for catastrophic forgetting. Motivated by this observation, we propose a Fisher-aware CPT selector that decomposes each candidate's gradient into an anchor component, which measures perturbation along committed parameter directions, and a frontier component, which measures update capacity in unconstrained low-Fisher subspaces. We aggregate these signals with a log-determinant submodular objective and optimize it in a single pass using a scalable streaming data selection pipeline. On TinyLlama-1.1B and Llama-3.1-8B CPT over medical data, our selector improves target-domain quality while bounding forgetting on held-out pretraining benchmarks. Most importantly, it is substantially more token-efficient than forgetting-aware replay. 1B selected tokens already outperform the replay strategy trained with 10B tokens on both adaptation and forgetting, giving a 10x token-efficiency advantage.