Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution

📄 arXiv: 2610.12345v1 📥 PDF

作者: Haohui Wang, Jiahao Xu, Wangzhi Zhan, Tong Zeng, Dongqi Fu, Hong Li, Swastik Roy, Naren Ramakrishnan, Chris North, Jian Kang, Yujun Yan, Dawei Zhou

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出PASS方法以解决长尾分布下的监督微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 监督微调 长尾分布 自适应选择 指令选择 预训练模型

📋 核心要点

  1. 现有的监督微调方法在处理长尾分布的概念时，常常导致稀有概念的表现不佳，难以获得有效支持。
  2. 论文提出了PASS方法，通过构建参考导出的概念并评估每条指令的区分证据，自适应地分配选择预算。
  3. 实验结果显示，PASS在四种不同的基准设置下， consistently outperforming 七种最先进的指令选择方法，提升显著。

📝 摘要（中文）

监督微调（SFT）旨在将预训练的大型语言模型（LLMs）适应于下游任务，但不同概念在预训练时获得的支持程度差异显著。我们引入了一个新概念“先验障碍”，用于量化预训练模型对目标概念的支持程度。研究发现，先验障碍呈长尾分布，头部概念和尾部概念在SFT时面临不同的起点。为此，我们提出了PASS，一种自适应的SFT指令选择方法，能够根据概念的覆盖情况动态分配选择预算。实验结果表明，PASS在四种基准设置下均优于七种最先进的指令选择方法。

🔬 方法详解

问题定义：本文解决的是在长尾分布下，监督微调（SFT）如何有效支持稀有概念的问题。现有方法往往对频繁概念表现良好，而对稀有概念支持不足，导致其学习效果不佳。

核心思路：论文提出了“先验障碍”的概念，量化预训练模型对目标概念的支持程度，并基于此设计PASS方法，通过自适应选择指令来克服稀有概念的学习障碍。

技术框架：PASS方法的整体架构包括概念构建、指令选择和预算分配三个主要模块。首先构建参考概念，然后评估每条指令的有效性，最后根据当前覆盖情况动态调整选择预算。

关键创新：PASS的核心创新在于其自适应的指令选择机制，能够根据概念的先验障碍动态调整选择策略，与传统的静态选择方法形成鲜明对比。

关键设计：在设计上，PASS使用了基于概念的参考导出机制，并通过评估指令的区分证据来优化选择过程，确保在有限预算下最大化稀有概念的学习效果。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PASS在四种不同的基准设置下均优于七种最先进的指令选择方法，提升幅度显著，验证了其在长尾分布下的有效性和适应性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，尤其是在处理长尾分布的任务时，PASS方法能够显著提升稀有概念的学习效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Supervised fine-tuning (SFT) adapts pretrained large language models (LLMs) to downstream tasks, but the required concepts can receive substantially different levels of pretrained support. Frequent concepts are more likely to be well learned, whereas rare concepts may remain weakly represented. We introduce a novel notion named prior barrier to quantify how strongly the pretrained model supports competing concepts over the target concept. We observe that prior barriers follow a long-tail distribution, placing head and tail concepts at different starting points for SFT: head concepts face lower prior barriers, whereas tail concepts require additional instructions to overcome their higher prior barriers. Our theoretical analysis further derives a predictive risk bound for SFT under long-tail prior barriers, explicitly characterizing how the prior barrier and accumulated SFT evidence jointly determine predictive performance. Motivated by this prior barrier-dependent demand, we propose PASS, an adaptive SFT instruction selection method that constructs reference-derived concepts and estimates the distinguishing evidence provided by each instruction, and adaptively allocates the selection budget toward concepts that remain insufficiently covered under the current selection. In this way, PASS jointly considers which instructions can provide useful evidence and where additional supervision is needed under a limited budget. Experiments show that our method consistently outperforms seven state-of-the-art instruction selection methods on four backbone-budget settings. An ablation study further shows that PASS's adaptive allocation consistently improves over uniform allocation.