Tutor-Student Reinforcement Learning: A Dynamic Curriculum for Robust Deepfake Detection

📄 arXiv: 2603.24139v1 📥 PDF

作者: Zhanhe Lei, Zhongyuan Wang, Jikang Cheng, Baojin Huang, Yuhong Yang, Zhen Han, Chao Liang, Dengpan Ye

分类: cs.CV, cs.LG

发布日期: 2026-03-25

备注: Accepted to CVPR 2026

期刊: The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR 2026)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TSRL框架，动态优化深度伪造检测训练课程，提升模型泛化性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度伪造检测 强化学习 课程学习 鲁棒性 泛化能力

📋 核心要点

  1. 传统深度伪造检测方法对所有样本赋予相同权重，忽略了样本间的差异性，导致模型泛化能力受限。
  2. TSRL框架引入导师-学生强化学习机制，导师根据学生学习状态动态调整样本权重，优化训练课程。
  3. 实验证明，TSRL框架能有效提升模型对未知伪造技术的泛化能力，实现更鲁棒的深度伪造检测。

📝 摘要（中文）

本文提出了一种新颖的导师-学生强化学习（TSRL）框架，用于动态优化训练课程，以实现更鲁棒和泛化的深度伪造检测。该方法将训练过程建模为马尔可夫决策过程，其中“导师”智能体学习指导“学生”（即深度伪造检测器）。导师由近端策略优化（PPO）智能体实现，观察每个训练样本的丰富状态表示，不仅包含其视觉特征，还包括其历史学习动态，例如EMA损失和遗忘计数。基于此状态，导师通过为样本的损失分配连续权重（0-1）来采取行动，从而动态地重新加权训练批次。导师根据学生即时性能变化获得奖励，特别是奖励从不正确预测到正确预测的转变。这种策略鼓励导师学习优先考虑高价值样本（例如，难但可学习的样本）的课程，从而实现更有效的训练过程。实验表明，与传统训练方法相比，这种自适应课程提高了学生针对未见过的操纵技术的泛化能力。

🔬 方法详解

问题定义：深度伪造检测旨在区分真实图像和伪造图像。现有方法通常采用监督学习，对所有训练样本赋予相同的权重，忽略了样本的难易程度和学习价值。这种方式可能导致模型过度关注简单样本，而忽略了对模型泛化能力提升更有价值的困难样本，从而影响模型在面对未知伪造技术时的鲁棒性。

核心思路：TSRL的核心思想是利用强化学习动态调整训练课程，使模型能够更有效地学习。具体来说，引入一个“导师”智能体，根据“学生”（深度伪造检测器）的学习状态，动态地为每个训练样本分配权重。导师的目标是优化学生的学习过程，使其能够更好地识别伪造图像。通过这种方式，模型可以更加关注那些“难但可学”的样本，从而提高模型的泛化能力。

技术框架：TSRL框架包含两个主要组成部分：导师智能体和学生模型。训练过程被建模为一个马尔可夫决策过程。导师智能体观察学生模型的学习状态（包括视觉特征、EMA损失、遗忘计数等），并根据这些状态采取行动，即为每个训练样本分配一个权重。学生模型根据加权后的损失函数进行训练。导师智能体通过近端策略优化（PPO）算法进行训练，其奖励函数基于学生模型的性能提升，特别是从错误预测到正确预测的转变。

关键创新：TSRL的关键创新在于将强化学习引入到深度伪造检测的训练过程中，实现训练课程的动态优化。与传统的静态训练方法相比，TSRL能够根据学生模型的学习状态，自适应地调整样本权重，从而使模型能够更加关注那些对泛化能力提升更有价值的样本。此外，TSRL使用EMA损失和遗忘计数等信息来表征样本的学习动态，为导师智能体的决策提供更全面的依据。

关键设计：导师智能体采用PPO算法进行训练，状态空间包括样本的视觉特征、EMA损失和遗忘计数等。动作空间为每个样本的权重（0-1之间的连续值）。奖励函数的设计至关重要，本文采用的奖励函数主要基于学生模型从错误预测到正确预测的转变，鼓励导师智能体优先选择那些能够帮助学生模型纠正错误的样本。学生模型可以是任何深度学习模型，损失函数为加权交叉熵损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TSRL框架能够显著提升深度伪造检测模型的泛化能力。与传统的监督学习方法相比，TSRL在面对未见过的伪造技术时，能够取得更高的检测精度。具体而言，TSRL在多个数据集上都取得了state-of-the-art的结果，并且在跨数据集泛化能力方面表现出色，证明了其有效性和优越性。

🎯 应用场景

TSRL框架可应用于各种深度伪造检测场景，例如社交媒体内容审核、视频会议安全、金融欺诈检测等。通过提升模型对未知伪造技术的泛化能力，可以有效降低深度伪造带来的风险，维护网络安全和社会稳定。未来，该方法还可以扩展到其他需要鲁棒性和泛化能力的图像识别任务中。

📄 摘要（原文）

Standard supervised training for deepfake detection treats all samples with uniform importance, which can be suboptimal for learning robust and generalizable features. In this work, we propose a novel Tutor-Student Reinforcement Learning (TSRL) framework to dynamically optimize the training curriculum. Our method models the training process as a Markov Decision Process where a Tutor'' agent learns to guide aStudent'' (the deepfake detector). The Tutor, implemented as a Proximal Policy Optimization (PPO) agent, observes a rich state representation for each training sample, encapsulating not only its visual features but also its historical learning dynamics, such as EMA loss and forgetting counts. Based on this state, the Tutor takes an action by assigning a continuous weight (0-1) to the sample's loss, thereby dynamically re-weighting the training batch. The Tutor is rewarded based on the Student's immediate performance change, specifically rewarding transitions from incorrect to correct predictions. This strategy encourages the Tutor to learn a curriculum that prioritizes high-value samples, such as hard-but-learnable examples, leading to a more efficient and effective training process. We demonstrate that this adaptive curriculum improves the Student's generalization capabilities against unseen manipulation techniques compared to traditional training methods. Code is available at https://github.com/wannac1/TSRL.