FocusOPD: Structure-Guided On-Policy Distillation for Diffusion Models
作者: Xinrui Lin, Shumin Wang, Suqi Song, Fan Li, Yanyong Zhang
分类: cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出FocusOPD以解决扩散模型蒸馏中的特征对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 扩散模型 蒸馏训练 特征对齐 Transformer 深度学习
📋 核心要点
- 现有的多教师在线蒸馏方法在特征对齐方面存在不足，导致模型内部表示不一致，影响性能。
- 论文提出FocusOPD，通过在深层和早期去噪步骤进行令牌方向特征对齐，增强了传统OPD目标。
- 实验结果表明，FocusOPD在多个基准测试中显著提升了模型性能，尤其在GenEval和PickScore上表现突出。
📝 摘要（中文）
多教师在线蒸馏使得扩散-变换器架构的修正流模型能够在单一学生中结合任务特定能力。然而，模型输出的匹配并不保证其内部表示的一致性，且在何时何地增加特征监督最有效仍不清楚。我们分析了Transformer块和去噪时间步之间的教师-学生特征不匹配，发现这种不匹配主要集中在深层Transformer块的早期去噪阶段，并在OPD蒸馏后仍然存在，表明蒸馏效果不佳。基于此观察，我们提出了FocusOPD，通过对深层和早期去噪步骤的令牌方向特征对齐来增强基本的OPD目标。在多个OPD目标和两个修正流骨干网络上，FocusOPD在组合生成、文本渲染和基于偏好的评估中提升了能力转移。在主要基准上，FocusOPD在GenEval上从0.953提升至0.967，在PickScore上从23.797提升至23.944，在LAION-Aesthetic上从6.052提升至6.199。消融实验表明，选择性深层和早期监督比全网络和轨迹的对齐更有效和高效。
🔬 方法详解
问题定义：论文要解决的问题是现有多教师在线蒸馏方法在特征对齐方面的不足，导致模型内部表示不一致，从而影响性能。
核心思路：论文的核心思路是通过引入FocusOPD，在深层和早期去噪步骤进行令牌方向特征对齐，以增强能力转移的效果。这样的设计旨在针对特征不匹配的关键区域进行有效监督。
技术框架：整体架构包括教师模型和学生模型的交互，通过特征对齐机制在深层Transformer块和早期去噪步骤进行优化。主要模块包括特征提取、对齐损失计算和模型更新。
关键创新：最重要的技术创新点在于FocusOPD引入了选择性深层和早期监督，区别于传统方法的全网络对齐，能够更有效地解决特征不匹配问题。
关键设计：在参数设置上，FocusOPD采用了针对深层和早期去噪步骤的特征对齐损失函数，网络结构上则保持了修正流模型的基本架构，同时增强了特征对齐的灵活性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FocusOPD在GenEval上从0.953提升至0.967，在PickScore上从23.797提升至23.944，在LAION-Aesthetic上从6.052提升至6.199，显著优于DiffusionOPD，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括图像生成、文本渲染和个性化推荐等。通过提升扩散模型的能力转移，FocusOPD可以在多种生成任务中实现更高的质量和一致性，未来可能对内容创作和自动化生成领域产生深远影响。
📄 摘要（原文）
Multi-teacher on-policy distillation enables rectified-flow models with diffusion-transformer architectures to combine task-specific capabilities within a single student. However, matching model outputs does not guarantee that their internal representations are aligned, and it remains unclear where and when additional feature supervision is most useful. We analyze the teacher-student feature mismatch across Transformer blocks and denoising timesteps, and find that the mismatch is concentrated in deeper Transformer blocks during early denoising and persists after OPD distillation, indicating ineffective distillation. Motivated by this observation, we introduce FocusOPD, which augments the base OPD objective with token-wise directional feature alignment restricted to deep layers and early denoising steps. Across two rectified-flow backbones and multiple OPD objectives, FocusOPD improves capability transfer in compositional generation, text rendering, and preference-based evaluation. On the primary benchmark, it improves over DiffusionOPD from 0.953 to 0.967 on GenEval, from 23.797 to 23.944 on PickScore, and from 6.052 to 6.199 on LAION-Aesthetic. Ablations show that selective deep and early supervision is more effective and efficient than alignment over the full network and trajectory.