Imprinting: Knowledge Distillation Can Shift Student Behavior
作者: Yu-Chien Tang, An-Zi Yen
分类: cs.CL
发布日期: 2026-10-13
💡 一句话要点
提出印记机制以解决知识蒸馏中的行为偏差问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 行为偏差 印记机制 安全决策 模型训练 人工智能
📋 核心要点
- 现有知识蒸馏方法主要关注任务能力的转移，忽视了教师的行为倾向对学生模型的潜在影响。
- 本文提出通过构建不同类型的教师模型，探讨教师如何影响学生的行为决策，形成印记效应。
- 实验结果表明，学生模型的行为决策受教师影响显著，且通过优化后处理可以提升伤害避免能力。
📝 摘要（中文）
知识蒸馏通过教师生成的响应训练学生模型，以转移任务能力，但这些响应也可能携带教师的行为倾向。本文研究了教师如何在超出能力转移的范围内影响学生行为。构建了接受伤害和避免伤害的教师变体，生成与安全无关的普通推理和知识问题的响应，并将这些响应蒸馏到不同基础模型的学生中。结果表明，学生在获得任务能力的同时，其决策趋向于教师的安全务实倾向，这一现象称为印记。不同教师-学生对之间的印记效果存在差异，且不均匀地扩展到不同形式的安全行为。
🔬 方法详解
问题定义：本文旨在解决知识蒸馏过程中教师行为倾向对学生模型决策的影响，现有方法未能充分考虑这一点。
核心思路：通过构建接受伤害和避免伤害的教师变体，生成不同类型的响应，探讨其对学生行为的影响，从而提出印记机制。
技术框架：研究流程包括构建教师模型、生成响应、蒸馏过程以及后处理优化，主要模块包括教师生成、学生训练和行为评估。
关键创新：提出了印记现象，表明教师的行为倾向可以通过知识蒸馏显著影响学生的决策，超出了传统能力转移的范畴。
关键设计：在蒸馏过程中，使用了不同的损失函数来强调行为倾向的影响，同时对响应进行重写以保持源依赖性，优化后处理则提升了伤害避免能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，学生模型在接受伤害的教师蒸馏后，伤害避免能力显著降低，而接受避免伤害的教师蒸馏后，伤害避免能力显著提高。印记效应在不同教师-学生对之间表现出差异，且通过优化后处理可以进一步提升伤害避免能力。
🎯 应用场景
该研究的潜在应用领域包括安全决策系统、自动驾驶、医疗诊断等需要考虑行为倾向的智能系统。通过理解教师对学生行为的影响，可以在设计更安全和有效的AI系统时提供指导，提升其在复杂环境中的表现。
📄 摘要（原文）
Knowledge distillation trains student models on teacher-generated responses to transfer task capability, but those responses may also carry behavioral tendencies of their source. We investigate whether the source teacher can shape student behavior beyond the capability that distillation is intended to transfer. We construct harm-accepting and harm-avoiding variants of the same base teacher, use them to generate responses to ordinary reasoning and knowledge questions unrelated to safety, and distill those responses into students with different base models. Students generally acquire task capability while their downstream decisions shift toward the source teacher's safety-pragmatism disposition, a phenomenon we call imprinting. Distillation from the harm-accepting teacher reduces harm avoidance, whereas distillation from the harm-avoiding teacher increases it. Imprinting varies across teacher-student pairs and does not extend uniformly across different forms of safety behavior. Excluding a sparse set of divergence tokens reduces imprinting, whereas response rewriting preserves the source-dependent effect and can introduce additional rewriter-dependent shifts. Post-distillation preference optimization raises harm avoidance but does not eliminate the source-dependent difference. These results show that behavioral tendencies can be intentionally imprinted through the source teacher, even with ordinary task supervision.