SimOPD: Relational Knowledge Transfer for On-Policy Distillation
作者: Kai Tang, Xing Zheng, Haobo Wang, Guangcheng Zhu, Shenzhi Yang, Zhengqing Zang, Yingfan Ma, Bowen Song, Weiqiang Wang
分类: cs.AI, cs.CL
发布日期: 2026-10-16
💡 一句话要点
提出SimOPD以解决在政策蒸馏中的知识提取问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策蒸馏 知识转移 对比学习 响应相似性 强化学习
📋 核心要点
- 核心问题：现有的在政策蒸馏方法在提取教师知识时存在不足，未能充分利用内部知识。
- 方法要点：SimOPD通过响应相似性转移教师的内部知识，避免了直接的隐藏状态匹配带来的复杂性。
- 实验或效果：SimOPD在同架构和跨架构设置下，性能提升显著，分别提高了2.6和3.1个百分点。
📝 摘要（中文）
在政策蒸馏（OPD）中，一个关键挑战是如何有效提取教师知识的监督信息。现有方法通过令牌概率的监督可能未能充分利用内部知识，而直接的隐藏状态匹配则迫使学生转向教师的特征空间，增加了跨架构迁移的复杂性。受对比学习中实例间关系的启发，本文提出了SimOPD，通过响应相似性转移教师的内部知识。具体而言，SimOPD使用学生生成响应的配对记忆库，从教师的内部表示中提取监督信息作为相似性分布。学生随后在自己的表示空间内匹配这些分布，保持表示自由度，消除了跨模型投影的需求。大量实验表明，SimOPD在同架构和跨架构设置下，整体平均性能比最强基线提高了2.6和3.1个百分点。
🔬 方法详解
问题定义：本文旨在解决在政策蒸馏中如何有效提取教师知识的问题。现有方法通过令牌概率的监督可能未能充分利用教师的内部知识，而直接的隐藏状态匹配则增加了跨架构迁移的复杂性。
核心思路：SimOPD的核心思路是通过响应相似性来转移教师的内部知识。这种设计使得学生能够在自己的表示空间内进行匹配，从而保持表示的自由度，避免了跨模型投影的需求。
技术框架：SimOPD的整体架构包括学生生成响应的配对记忆库和从教师内部表示中提取的相似性分布。学生通过匹配这些分布来进行知识转移。
关键创新：SimOPD的主要创新在于通过响应相似性提取教师内部知识，而不是依赖于传统的隐藏状态匹配。这一方法在本质上简化了知识转移过程，增强了模型的灵活性。
关键设计：在技术细节上，SimOPD设计了配对记忆库以存储学生生成的响应，并使用相似性分布作为监督信号。此外，损失函数的设计也考虑了如何有效地匹配这些分布，以优化学生模型的学习过程。
🖼️ 关键图片
📊 实验亮点
在实验中，SimOPD在同架构和跨架构设置下的性能分别比最强基线提高了2.6和3.1个百分点，显示出其在知识转移方面的显著优势。这一结果表明，SimOPD能够有效提升模型的学习效率和性能。
🎯 应用场景
该研究的潜在应用领域包括强化学习、自然语言处理和计算机视觉等领域，尤其是在需要高效知识转移的场景中。SimOPD的设计可以帮助模型在不同架构间进行更有效的学习，提升其在实际应用中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
A key challenge in on-policy distillation (OPD) is extracting effective supervision from teacher knowledge. Supervision from token probabilities may underutilize internal knowledge, while direct hidden-state matching forces the student to shift to the teacher's feature space and complicates cross-architecture transfer. Inspired by contrastive learning's use of relationships between instances, we propose \textbf{SimOPD} to transfer teacher internal knowledge through response similarities. Specifically, SimOPD uses paired memory banks of student-generated responses to extract supervision from the teacher's internal representations as similarity distributions. The student then matches these distributions within its own representation space, retaining representational freedom and removing the need for cross-model projection. Extensive experiments show that SimOPD improves the overall average over the strongest baselines by up to 2.6 and 3.1 percentage points in same- and cross-architecture settings.