Function-Space Temporal Self-Distillation for Policy Optimization
作者: Aryan Das, Arnab Bhattacharya, Vinay Kumar Verma
分类: cs.LG, cs.AI, cs.CL, stat.ML
发布日期: 2026-10-14
备注: Aryan Das, Vinay Kumar Verma: Equal Contributions. Under Review
💡 一句话要点
提出功能空间时间自蒸馏以优化策略学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 自蒸馏 策略优化 时间记忆 推理能力 内存效率 可验证奖励
📋 核心要点
- 现有的强化学习方法在处理可验证奖励时，面临标量结果监督粗糙的问题，导致推理能力不足。
- 论文提出功能空间策略优化（FSPO），通过固定时间目标和特权适应，解决了自蒸馏中的不稳定性问题。
- 实验结果显示，FSPO在推理和工具使用基准上，平均准确率提升约4个百分点，同时显著降低了内存使用。
📝 摘要（中文）
强化学习中的可验证奖励（RLVR）提升了语言模型的推理能力，但标量结果对响应轨迹的监督较为粗糙。自蒸馏通过比较无辅助策略与反馈指导的自教师，提供了更密集的标记级指导。然而，教师模型与学生模型共同演化，导致目标不稳定，需额外正则化。我们提出功能空间策略优化（FSPO），这是一个单一策略框架，结合当前特权适应与功能空间时间整合。FSPO将稀疏的历史下一个标记分布存储为固定的时间目标，实现了时间分离，而无需维护持久的教师模型。它还引入特权分歧修正、可靠性自适应基础和质量与覆盖感知的时间记忆，保留经过验证的行为并改善特权演示。在推理和工具使用基准上，FSPO在5小时的训练预算下实现了最高的平均准确率，较最强基线平均提升约4个百分点，同时将峰值内存从约70GB降低至56GB。
🔬 方法详解
问题定义：本论文旨在解决强化学习中可验证奖励的监督粗糙性和自蒸馏带来的目标不稳定性问题。现有方法在推理和工具使用上表现不佳，且内存消耗较高。
核心思路：论文提出的FSPO框架通过将历史下一个标记分布作为固定时间目标，避免了教师模型的持续演化，从而实现了更稳定的学习过程。
技术框架：FSPO的整体架构包括特权适应、时间整合和分歧修正等模块。它通过存储历史数据来提供时间分离，并结合自适应基础和时间记忆来增强模型的可靠性和表现。
关键创新：FSPO的主要创新在于不再依赖持久的教师模型，而是通过固定的时间目标和特权分歧修正来提高学习的稳定性和效率。这与传统的自蒸馏方法形成了鲜明对比。
关键设计：FSPO采用了特权分歧修正机制，以抑制局部过高估计的动作，同时引入了可靠性自适应基础和质量覆盖感知的时间记忆，以保留经过验证的行为并改善特权演示。
🖼️ 关键图片
📊 实验亮点
在推理和工具使用基准测试中，FSPO在5小时的训练预算下实现了最高的平均准确率，较最强基线平均提升约4个百分点，同时将峰值内存使用从约70GB降低至56GB，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能助手和自动化决策系统等。通过提升模型的推理能力和内存效率，FSPO能够在更复杂的任务中实现更高的准确性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Reinforcement Learning with Verifiable Rewards (RLVR) improves reasoning in language models, but scalar outcomes provide coarse supervision over response trajectories. Self-distillation offers denser token-level guidance by comparing an unassisted policy with a feedback-informed self-teacher, yet the teacher evolves with the student, creating unstable targets and motivating additional regularization. We introduce Function-Space Policy Optimization (FSPO), a single-policy framework that combines current privileged adaptation with function-space temporal consolidation. FSPO stores sparse historical next-token distributions as fixed temporal targets, providing temporal separation without maintaining a persistent teacher model. It further introduces privileged disagreement correction to explicitly suppress locally overvalued actions, reliability-adaptive grounding that strengthens reference supervision when self-generated evidence repeatedly fails, and quality and coverage-aware temporal memory that retains verified behaviors and improves privileged demonstrations. Across reasoning and tool-use benchmarks, FSPO achieves the highest average accuracy under a 5-hour training budget, improving over the strongest baseline by approximately 4% points on average while reducing peak memory from about 70 GB to 56 GB on Olmo3-7B-Instruct.