Distilling Directional Verification
作者: Jungseob Lee, Sugyeong Eo, Seongtae Hong, Seungyoon Lee, Chanjun Park, Jaehyung Seo, Heuiseok Lim
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-01
备注: 29 pages, 7 figures, 31 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出方向性标签蒸馏以改善知识转移效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 方向性验证 模型训练 自然语言处理 开放式查询
📋 核心要点
- 现有的知识蒸馏方法在教师模型生成答案时可能存在方向性限制，导致学生模型学习到不准确的标签。
- 论文提出方向性标签蒸馏，利用冻结的教师模型在已知方向上评分候选答案，从而选择最优答案作为学生的训练目标。
- 实验结果显示，使用已知方向标签的学生模型在开放式查询上的准确率提高了13到15个百分点，验证了该方法的有效性。
📝 摘要（中文）
知识蒸馏旨在将大型语言模型的知识转移到较小的模型中以实现高效部署。然而，教师模型可能在某一方向上记忆关系，而在反向生成答案时存在不足。论文提出方向性标签蒸馏，通过冻结教师模型在已知方向上对候选答案进行评分，选择最佳候选作为学生的训练目标。实验表明，已知方向评分在父母与子女的事实上提供了比反向评分更准确的标签，学生在训练查询上的开放式准确率提高了13到15个百分点。该研究表明方向性验证有效减轻了教师生成答案中的错误转移。
🔬 方法详解
问题定义：论文要解决的问题是教师模型在生成答案时可能存在的方向性限制，这种限制会导致学生模型学习到不准确的标签，影响其性能。
核心思路：论文的核心解决思路是引入方向性标签蒸馏，通过冻结教师模型在已知方向上对候选答案进行评分，选择最佳评分的候选作为学生模型的训练目标，从而提高标签的准确性。
技术框架：整体架构包括教师模型的冻结、候选答案的生成与评分、以及学生模型的训练三个主要模块。教师模型在已知方向上评分，学生模型则基于这些评分进行训练。
关键创新：最重要的技术创新点在于方向性标签蒸馏的引入，这与传统的知识蒸馏方法不同，后者通常只关注生成答案的方向，未考虑教师模型的方向性知识。
关键设计：在实验中，使用了经过先前校正的评分，损失函数设计上考虑了标签的质量与方向性，确保学生模型能够有效学习到更准确的标签。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用方向性标签蒸馏的学生模型在开放式查询上的准确率提高了13到15个百分点，相较于使用先前校正的反向标签，表现显著优越。此外，学生模型在匹配固定名称列表时几乎能够重现所有选定标签，表明标签质量对准确率的影响显著。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、问答系统和对话生成等。通过提高小型模型的知识转移效率，能够在资源受限的环境中实现更高效的模型部署，具有重要的实际价值和未来影响。
📄 摘要（原文）
Knowledge distillation aims to transfer the factual knowledge of large language models to smaller models for efficient deployment. Yet a teacher may recall a relation in one direction while failing to generate the answer in the reverse direction. Distillation from its generated answers can therefore propagate this directional limitation to the student. The same teacher can nevertheless recognize such an answer by scoring the relation in the direction it knows. We introduce directional label distillation, in which frozen teachers score candidate answers in that known direction and the best-scoring candidate becomes the student's training target. On facts about parents and their children, known-direction scoring yields more accurate labels than scoring the requested direction, even after tuned corrections for name priors. With prior-corrected scores, the better direction depends on the facts rather than the template, and reverses on mined facts whose notable entity is the parent rather than the child. With the evaluated children's forward facts withheld, students trained on known-direction labels improve open-ended accuracy on their trained queries by 13 to 15 points over students trained on prior-corrected reverse labels. After generated answers are matched to a fixed name list by lexical similarity, students reproduce nearly all selected labels. Their accuracy largely follows label quality. The label advantage holds on unscreened queries and when candidates are retrieved without inserting correct answers. Our findings show that directional verification mitigates the transfer of errors from teacher-generated answers to students by providing more accurate training targets. Code is available at https://github.com/js-lee-AI/directional-verification.