Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation

📄 arXiv: 2610.02700v1 📥 PDF

作者: Rui Li, Liyang He, Zheng Zhang, Zhenya Huang, Linbo Zhu, Qi Liu

分类: cs.LG, cs.CL

发布日期: 2026-10-02

备注: 21 pages, 3 figures

💡 一句话要点

提出AIR-OPD框架以解决自蒸馏中的错误修复问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自策略蒸馏 错误修复 自适应学习 数学推理 深度学习

📋 核心要点

  1. 现有的自策略蒸馏方法在处理错误时缺乏有效的修复指导，导致学习效率低下。
  2. 本文提出的AIR-OPD框架通过自适应迭代修复机制，为学生提供基于错误的修复监督，增强了学习信号。
  3. 在DAPO-Math-17K数据集上训练后，AIR-OPD在多个数学推理任务上超越了最强基线，提升幅度可达3.6分。

📝 摘要（中文）

在自策略蒸馏（OPSD）中，学生从自身策略采样的轨迹中获得密集的令牌级反馈，这种反馈比强化学习的结果级奖励更为丰富。然而，参考解决方案的缺失导致了从当前错误到目标的移动缺乏指导，存在解决方案条件化的捷径风险。为此，本文提出了AIR-OPD，一个自适应迭代修复框架，提供错误修复的监督。该框架通过引导生成器为当前错误合成修复指导，并在每轮中根据最新的失败响应进行监督。实验表明，AIR-OPD在多个数学推理任务上表现优异，提升了基线性能。

🔬 方法详解

问题定义：本文旨在解决自策略蒸馏中，学生在面对错误时缺乏有效修复指导的问题。现有方法依赖于参考解决方案，但未能提供从当前错误到目标的具体修正路径，导致学习效果不佳。

核心思路：AIR-OPD框架的核心思想是通过自适应迭代修复机制，针对每次错误生成修复指导，帮助学生逐步接近正确答案。该设计旨在通过动态反馈提升学习效率，减少错误传播。

技术框架：AIR-OPD的整体架构包括引导生成器、固定教师和学生模型。引导生成器根据当前错误生成修复指导，学生在此指导下进行策略重试，教师则在错误对齐区域进行监督。

关键创新：AIR-OPD的主要创新在于引入了错误修复监督机制，使得学生在每次失败后都能获得针对性的修复指导。这一方法与传统的基于结果的监督方式有本质区别，能够更有效地引导学习过程。

关键设计：在设计中，AIR-OPD采用了固定教师进行监督，确保指导信息的稳定性。同时，采用了阶段加权策略，优先考虑早期修复阶段的反馈，确保学生在每轮中都能获得及时的修正信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在多个数学推理任务（如AIME24、AIME25和HMMT25）上，AIR-OPD取得了最佳的数学推理平均成绩，相较于最强基线提升了3.6分。同时，在分布外测试（如MMLU-Pro和GPQA）中，AIR-OPD保持了基础模型的性能，显示出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化问题解决等。通过提供有效的错误修复指导，AIR-OPD能够帮助学生在学习过程中更快地掌握复杂概念，提高学习效率。未来，该框架还可以扩展到其他领域，如自然语言处理和机器人控制等，具有广泛的实际价值。

📄 摘要（原文）

On-policy self-distillation (OPSD) supplies dense token-level feedback on trajectories sampled from the student's own policy, a richer training signal than the outcome-level rewards of reinforcement learning. This feedback comes from a teacher conditioned on a full reference solution unavailable to the student. The reference solution specifies the target but not how to move from the student's current error toward it, creating a solution-conditioned shortcut risk. We introduce AIR-OPD, an adaptive iterative repair framework for on-policy distillation that provides error-to-repair supervision. Given a failed response, a guidance generator synthesizes repair guidance for the current error. The student samples an on-policy retry with this guidance. If the retry remains incorrect, the generator produces new repair guidance for the newly observed error. At each round, a fixed teacher receives the guidance as privileged context and supervises the student on an error-aligned region of its latest failed response. Outcome-aware stage weighting favors early repair stages and credits stages whose immediate retry passes verification. We train AIR-OPD on the DAPO-Math-17K dataset and evaluate on AIME24, AIME25, and HMMT25, alongside out-of-distribution tests on MMLU-Pro and GPQA. We examine two guidance sources, self-guidance from the current student policy and external guidance from a larger model. For both Qwen3-4B and Qwen3-8B, AIR-OPD attains the best mathematical-reasoning averages, improving over the strongest baseline by up to 3.6 points, while preserving base-model performance on the out-of-distribution benchmarks.