Tracing Subliminal Learning Through Pretraining
作者: Angela Tang, Vishesh Anand, Gonçalo Paulo
分类: cs.LG
发布日期: 2026-10-22
💡 一句话要点
研究潜在偏好传递机制以优化模型蒸馏训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 潜在学习 模型蒸馏 偏好传递 软标签 硬标签 自然语言处理 迁移学习
📋 核心要点
- 现有方法在模型蒸馏过程中可能导致偏好信号的意外传递，影响模型性能。
- 本文提出通过分析硬标签和软标签蒸馏的不同，探讨潜在学习的机制与影响。
- 实验结果显示，软标签蒸馏在训练一致性和效率上优于硬标签蒸馏，且迁移效果显著。
📝 摘要（中文）
大型语言模型在使用其他模型生成的数据进行训练时，可能会继承与数据无关的特征，这一现象称为潜在学习。本文研究了硬标签蒸馏和基于策略的软标签蒸馏，发现不同初始化、数据顺序、模型大小和架构下的迁移效果依然存在。通过构造合成数字序列，发现即使在硬标签设置中也能显著传递偏好信号。实验表明，软标签蒸馏在训练一致性和效率上优于硬标签蒸馏，尤其在模型后训练中具有重要意义。
🔬 方法详解
问题定义：本文旨在探讨在模型蒸馏过程中，如何有效传递偏好信号，现有方法在不同蒸馏策略下的迁移效果不一致，导致模型性能波动。
核心思路：通过对比硬标签和软标签蒸馏的效果，分析偏好信号的传递机制，提出在合成数据上进行实验以验证迁移效果。
技术框架：研究使用Pythia、PolyPythia和DataDecide OLMo模型，分别进行硬标签和软标签蒸馏实验，分析不同初始化、数据顺序和模型架构对迁移的影响。
关键创新：构建合成数字序列以匹配教师生成的数字频率，发现即使在无依赖于提示的情况下，仍能有效传递偏好信号，揭示了潜在学习的深层机制。
关键设计：在实验中，采用不同的损失函数和模型结构，特别是在软标签蒸馏中，去除动物标记会减少迁移效果，但在同模型设置中效果未完全消失。
🖼️ 关键图片
📊 实验亮点
实验结果表明，软标签蒸馏在迁移效果上比硬标签蒸馏更为一致，且训练所需时间更短。在不同模型和设置下，迁移效果的提升幅度显著，尤其是在教师和学生角色反转时，迁移的非对称性表现突出。
🎯 应用场景
该研究为模型蒸馏技术提供了新的视角，尤其是在后训练阶段的应用，能够帮助开发更高效的语言模型，减少不必要的偏好传递，提升模型的泛化能力。未来可在多种自然语言处理任务中应用，推动智能系统的进一步发展。
📄 摘要（原文）
Large language models trained on data generated by other models can sometimes inherit traits unrelated to that data, a phenomenon called subliminal learning. We study both hard label distillation, where students train on numbers generated by a biased teacher, and on-policy soft label distillation, where students generate the data and the teacher's logits provide the learning signal. Using Pythia, PolyPythia, and DataDecide OLMo models, we find that transfer persists in both settings across differences in weight initialization, pretraining data order, pretraining corpus, model size, and architecture. Across pretraining checkpoints, the ability to transmit a preference and the ability to acquire one develop separately: some checkpoints are more effective teachers but weaker students, and vice versa. Consistent with this distinction, cross-model transfer can be strongly asymmetric in magnitude when teacher and student roles are reversed. To investigate what carries the preference signal, we construct synthetic number sequences that match the teacher's generated number frequencies but have no dependence on the prompt or preceding numbers and find that these still induce substantial transfer in the hard-label setting. In top-$K$ soft-label distillation, removing animal tokens from the loss reduces transfer, although not completely in the same-model setting. In our experiments, soft label distillation produces more consistent transfer with less extensive training than hard label distillation. The growing use of on-policy distillation in model post-training makes this a particularly relevant setting for assessing unintended preference transfer.