Policy Alignment: New Signals for Membership Auditing in On-Policy Distillation

📄 arXiv: 2610.11423v1 📥 PDF

作者: Yilong Yang, Wenzhuo Shang, Yule Liu, Jiale Teng, Zhuo Ma

分类: cs.LG

发布日期: 2026-10-08

备注: 10 pages, 8 figures

💡 一句话要点

提出政策对齐会员审计框架以解决现有方法不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 政策蒸馏 会员审计 机器学习 教师模型 学生模型 隐私保护 模型安全

📋 核心要点

  1. 现有的会员审计方法未能有效捕捉教师模型对学生模型更新的引导方向，导致审计结果不够准确。
  2. 本文提出的PAMA框架通过分析成员提示对教师指导更新的直接贡献，提供了一种新的审计信号。
  3. 在MATH基准测试中，PAMA的AUC值达到0.791至0.941，相较于现有基线提升了14.6%至20.6%。

📝 摘要（中文）

在政策蒸馏（OPD）中，学生模型通过与教师模型对齐其策略来进行训练。然而，现有的审计方法主要依赖于基于似然的置信信号，未能捕捉教师引导的学生更新方向。本文提出了政策对齐会员审计（PAMA）框架，基于成员提示对教师指导的政策更新的直接贡献，测量学生更新是否朝着减少教师损失的方向移动。我们引入教师对齐增益（TAG）来估计模型输出的对齐更新方向，并结合学生漂移和不确定性对齐信号进行可靠的会员审计。实验表明，PAMA在多个数据集上表现优异，尤其在MATH基准上，AUC值提高了14.6%至20.6%。

🔬 方法详解

问题定义：本文旨在解决现有会员审计方法在政策蒸馏中未能捕捉教师模型引导的学生更新方向的问题。现有方法主要依赖于置信信号和学生模型漂移，缺乏对教师影响的直接评估。

核心思路：PAMA框架的核心思路是通过分析成员提示对教师指导的政策更新的直接贡献，来判断学生更新是否朝着减少教师损失的方向移动。

技术框架：PAMA的整体架构包括三个主要模块：教师对齐增益（TAG）计算模块、学生漂移信号模块和不确定性对齐信号模块。这些模块共同作用以实现可靠的会员审计。

关键创新：PAMA的关键创新在于引入了教师对齐增益（TAG），它能够直接估计学生更新的对齐方向，与现有方法相比，提供了更为准确的审计信号。

关键设计：在设计上，PAMA结合了学生模型的漂移和不确定性信号，确保了审计结果的可靠性。此外，损失函数的设计也考虑了教师模型的影响，以优化学生模型的更新方向。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PAMA在六个数据集和三种教师-学生模型家族上进行了评估，尤其在MATH基准上，AUC值达到了0.791至0.941，相较于最先进的基线提升了14.6%至20.6%，显示出其优越的性能和可靠性。

🎯 应用场景

该研究的潜在应用领域包括机器学习模型的安全性和隐私保护，尤其是在涉及敏感数据的场景中。通过提供更准确的会员审计，PAMA可以帮助开发更安全的AI系统，确保用户数据的隐私性和安全性。未来，PAMA的理念和方法也可以扩展到其他类型的模型蒸馏和审计任务中。

📄 摘要（原文）

On-policy distillation (OPD) trains a student model by aligning its policy with a teacher model on trajectories generated by the student model itself. Through this process, the student policy moves toward the teacher on the prompts used for distillation. However, these prompts are often private and costly, creating a need for prompt-level membership auditing. Existing methods mainly rely on likelihood-based confidence signals or student policy drift between checkpoints, but they do not capture the teacher-induced direction of the student update. In this paper, we propose Policy Alignment Membership Auditing (PAMA), a new auditing framework tailored for OPD. Our key observation is that a member prompt directly contributes to the teacher-guided policy update, while a non-member prompt only experiences indirect effects through cross-prompt generalization. Based on this directional trace, PAMA measures whether the student update moves toward reducing the teacher loss on a candidate prompt. Specifically, we introduce Teacher Alignment Gain (TAG) to estimate the teacher-aligned update direction from model outputs, and further combine it with student drift and uncertainty alignment signals for reliable membership auditing. We evaluate PAMA on six datasets and three teacher-student model families. On MATH, the primary evaluation benchmark, PAMA achieves AUC values of 0.791--0.941, improving AUC by 14.6--20.6% over state-of-the-art baselines.