Persistent Negatives for Adversarial Black-Box On-Policy Distillation
作者: Haixu Ma, Saad Lahrichi, Weiwei Li, Kevin Han, Weiqiang Wu, Peggy Yang, Dongzhuo Li, Ruiyi Li, Serena Li, Gedi Zhou, Mingze Gao, Abhishek Kumar, Xiangjun Fan, Lizhu Zhang
分类: cs.CL, cs.AI
发布日期: 2026-09-25
💡 一句话要点
提出持久负样本以解决对抗性黑箱在线蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 黑箱蒸馏 对抗性学习 负样本 在线学习 强化学习
📋 核心要点
- 现有的对抗性蒸馏方法在每次策略更新后，负样本分布会发生变化，导致学习的奖励不稳定。
- 本文提出持久负样本对抗蒸馏，通过使用历史的教师-学生比较来替代部分负样本，从而稳定判别器的学习过程。
- 实验结果显示，持久负样本对抗蒸馏在多个基准上均优于现有方法，且判别器的表现更加平滑，减少了低于随机水平的波动。
📝 摘要（中文）
黑箱在线蒸馏（OPD）旨在通过教师提供的采样响应来提升学生模型的性能，但现有方法在每次策略更新后会导致负样本分布的变化。本文提出持久负样本对抗蒸馏，通过历史的教师-学生比较替代部分负样本，解决了这一动态目标问题。研究表明，持久负样本能够锚定判别器，降低奖励估计的均方误差，并在多个基准上显著提升性能。
🔬 方法详解
问题定义：本文解决的是在黑箱在线蒸馏中，负样本分布因策略更新而变化的问题。这种变化导致学习的奖励不稳定，影响学生模型的性能。
核心思路：提出持久负样本对抗蒸馏，通过保留历史的教师-学生比较，替代部分负样本，从而稳定判别器的学习过程，减少奖励估计的均方误差。
技术框架：整体架构包括判别器和学生模型两个主要模块。判别器通过对比教师和学生的响应来学习，而学生模型则在此基础上进行策略更新。持久负样本的引入使得判别器的训练更加稳定。
关键创新：最重要的创新在于引入持久负样本，这一设计使得判别器的负样本分布不再随策略更新而变化，从而提高了学习的稳定性和效率。
关键设计：在损失函数中，使用了教师到负样本的对数密度比作为奖励，并在判别器的训练中引入历史比较，以确保在计算资源匹配的情况下，能够有效地训练判别器。
🖼️ 关键图片
📊 实验亮点
实验结果表明，持久负样本对抗蒸馏在两个学生模型系列、三个评估者和四个评估聊天基准上均表现出显著的性能提升，尤其是在匹配判别器计算的情况下，减少了低于随机水平的波动。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和强化学习等。通过稳定的对抗性蒸馏方法，可以提升模型在复杂任务中的表现，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Black-box On-Policy Distillation (OPD) seeks to improve a student from its own generations when the teacher provides sampled responses but not token probabilities. Adversarial distillation offers one route: it learns a discriminator over prompt-matched teacher and student responses and uses its score as the policy reward. However, sampling discriminator negatives from the latest student at each step couples the learned reward to a negative distribution that changes after every policy update. We address this moving-target problem with persistent-negative adversarial distillation, a live-pool method that replaces a fraction of each discriminator batch with historical, prompt-matched teacher--student comparisons. Under matched discriminator compute, historical comparisons train the discriminator, while GRPO remains on-policy with fresh student responses. Our analysis identifies the Bayes-optimal reward as a teacher-to-negative log-density ratio and, under explicit assumptions, shows how persistent negatives anchor the discriminator and reduce reward-estimation MSE relative to fresh-negative training. Across two student families, three judges, and four judged-chat benchmarks, persistent-negative adversarial distillation consistently improves performance over current methods at matched discriminator compute. It also yields smoother fresh-policy discriminator trajectories, with fewer below-chance dips. These findings identify the discriminator's negative distribution as an important design axis in black-box on-policy distillation.