An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning

📄 arXiv: 2609.35505v1 📥 PDF

作者: Shangzhe Li, Yuxiao Yang, Tianrun Yu, Kaixiang Zhao, Xiaoyun Wang, Taylor W. Killian, Weitong Zhang

分类: cs.LG

发布日期: 2026-09-28

备注: 29 pages, 3 figures, 5 tables, code available at https://github.com/UNCSciML/LSPD

💡 一句话要点

提出最小二乘策略蒸馏以提高样本效率的语言模型推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线策略蒸馏 最小二乘策略蒸馏 样本效率 强化学习 策略多样性 数学推理 离线数据重用

📋 核心要点

  1. 现有的在线策略蒸馏方法在样本效率和策略多样性方面存在不足，限制了其在复杂推理任务中的应用。
  2. 论文提出的最小二乘策略蒸馏（LSPD）框架，结合了乐观探索和离线数据重用，以提高策略的学习效率和多样性。
  3. 实验结果表明，LSPD在多个数学推理基准上表现优异，平均提升1.59分，并在策略多样性保持方面表现出色。

📝 摘要（中文）

本研究通过强化学习的视角研究在线策略蒸馏（OPD），建立了OPD中的反向KL目标与KL正则化策略优化之间的联系。在此基础上，我们提出了最小二乘策略蒸馏（LSPD），这是一个受RL启发的框架，结合了基于值的RL中的乐观探索和离线数据重用。LSPD通过探索保持策略多样性，同时通过反复学习先前收集的轨迹来提高回滚效率。理论分析表明，LSPD与乐观的基于值的学习相关，并且其理想化公式在在线探索下实现了$ ilde{ ext{O}}( ext{log} K)$的遗憾界限。实验证明，LSPD在六个数学推理基准和多样的教师-学生设置中始终优于现有的蒸馏基线，平均提高了1.59分。通过对k=64的Pass@k评估，LSPD在k增大时更好地保持了策略多样性。其完全离线变体在仅使用前25%的回滚批次时，表现与传统OPD相当。这些结果为OPD提供了一个RL视角，既提供了原则性的解释，也为更有效和回滚高效的语言模型蒸馏提供了实用路径。

🔬 方法详解

问题定义：本论文旨在解决在线策略蒸馏（OPD）在样本效率和策略多样性方面的不足，现有方法在复杂推理任务中表现不佳。

核心思路：提出最小二乘策略蒸馏（LSPD），通过引入乐观探索和离线数据重用，提升策略学习的效率和多样性。

技术框架：LSPD框架主要包括策略蒸馏模块、轨迹重用模块和乐观探索模块，整体流程为通过收集轨迹进行策略学习，并在此基础上进行蒸馏。

关键创新：LSPD的核心创新在于将乐观值学习与策略蒸馏相结合，形成了一种新的蒸馏方法，显著提高了样本效率和策略多样性。

关键设计：LSPD采用了特定的损失函数来平衡策略多样性与学习效率，同时在参数设置上进行了优化，以确保在不同的教师-学生设置中均能取得良好效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，LSPD在六个数学推理基准上均优于现有蒸馏基线，平均提升1.59分。在Pass@k评估中，LSPD在k增大时表现更佳，其完全离线变体在仅使用前25%的回滚批次时，性能与传统OPD相当，展现出良好的样本效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提高语言模型的样本效率和推理能力，LSPD可以在实际应用中显著提升模型的性能和响应速度，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We study on-policy distillation (OPD) through the lens of reinforcement learning, establishing a connection between the reverse-KL objective in OPD and KL-regularized policy optimization. Building on this connection, we introduce Least-Square Policy Distillation (LSPD), an RL-inspired framework that brings optimistic exploration and off-policy data reuse from value-based RL into policy distillation. LSPD preserves policy diversity through exploration while improving rollout efficiency by repeatedly learning from previously collected trajectories. Our theoretical analysis connects LSPD to optimistic value-based learning and shows that its idealized formulation achieves a sharp $\tilde{\mathcal O}(\log K)$ regret bound under online exploration. Empirically, LSPD consistently outperforms existing distillation baselines across six mathematical reasoning benchmarks and diverse teacher-student settings, with average gains of +1.59 points in Avg@16. Remarkably, through Pass@k evaluations up to k=64, we found that LSPD better preserves policy diversity by achieving stronger performance as k grows. Its fully off-policy variant achieves comparable performance to vanilla OPD using only the first 25% of rollout batches. Together, these results provide an RL perspective on OPD that offers both a principled interpretation and a practical route toward more effective and rollout-efficient language model distillation.