Extremely Sparse Supervision Incentivizes Reasoning Ability
作者: Zhishuai Liu, Xingzi Xu, Mehmet Saygin Seyfioglu, Pan Xu, Karim Bouyarmane
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-09-03
💡 一句话要点
提出极度稀疏监督以激励推理能力的研究
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 稀疏监督 推理能力 在线策略蒸馏 后训练 语言模型
📋 核心要点
- 现有的后训练方法通常依赖大量标记，假设有效学习必须是标记密集的，这一假设存在局限性。
- 本文提出在在线策略蒸馏设置中使用极度稀疏的监督，通过少量标记激励推理能力，挑战传统观念。
- 实验结果表明，稀疏监督在多个模型配置和任务中均能匹配或超越全标记训练的效果，具有广泛适用性。
📝 摘要（中文）
大型语言模型通过有效的后训练展现出越来越强的推理能力。然而，现有的后训练方法通常依赖大量的标记，隐含假设有效学习必须是标记密集的。本文在在线策略蒸馏（OPD）设置中重新审视这一假设，发现仅用极少量的生成标记（如每条推理轨迹一到两个标记）就能有效激励推理能力。这种稀疏监督在大多数情况下与全标记训练的效果相当或更优，尽管排除了绝大多数生成标记。我们的研究挑战了有效后训练必须是标记密集的假设，并为设计更高效的后训练算法指明了新方向。
🔬 方法详解
问题定义：本文旨在解决现有后训练方法过于依赖大量标记的问题，探讨如何在稀疏监督下提升推理能力。现有方法假设有效学习需要大量标记，这限制了其灵活性和效率。
核心思路：论文提出在在线策略蒸馏（OPD）设置中，利用极少量的生成标记（如每条推理轨迹一到两个标记）来激励推理能力。这种设计更贴近自然学习过程，强调关键推理步骤的反思而非逐步纠正。
技术框架：整体架构包括教师模型和学生模型的交互，教师模型提供稀疏的监督信号，学生模型在此基础上进行学习。通过这种方式，学生模型能够在较少的标记下进行有效的推理训练。
关键创新：最重要的技术创新在于提出了极度稀疏的监督方法，挑战了传统的标记密集假设，证明了在推理任务中，少量标记同样能够有效提升模型性能。
关键设计：在实验中，使用了不同的教师-学生配置，设置了适当的损失函数以适应稀疏监督的特点，确保模型能够在有限的标记下进行有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用极度稀疏的监督方法，模型在推理任务上的表现与全标记训练相当或更优。在九种教师-学生配置中，稀疏监督的效果均显著，提升幅度达到0.05%的标记使用率，展现出强大的适应性和有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、编程辅助和强化学习等。通过减少对大量标记的依赖，研究成果可以降低训练成本，提高模型的训练效率，推动智能系统在推理任务中的应用与发展。
📄 摘要（原文）
Large language models demonstrate increasingly strong reasoning capabilities through effective post-training. Yet, prevailing post-training methods optimize over massive numbers of tokens, implicitly assuming that effective learning must be token-intensive. We revisit this assumption in the on-policy distillation (OPD) setting, which naturally admits dense teacher supervision at every generated token. Using the Qwen3 family, we discover a counter-intuitive phenomenon: reasoning can be effectively incentivized by an extremely small fraction of generated tokens--as few as one or two tokens per reasoning trajectory, corresponding to only 0.05% of all tokens. Surprisingly, this sparse supervision in most cases matches or surpasses full-token training in improving reasoning ability, despite excluding the vast majority of generated tokens from the training objective. This phenomenon is consistently observed across nine teacher--student configurations spanning different model scales on mathematical reasoning tasks, and is further validated on coding reasoning, Llama models and Proximal Policy Optimization (PPO)-based reinforcement learning with verifiable reward (RLVR). Interestingly, such extremely sparse supervision may be closer to the natural learning process: rather than correcting every step word by word, one reflects on a few critical reasoning steps, updates prior understanding, and continues the trial-and-error, avoiding micro-level corrections while remaining remarkably effective. Overall, our results challenge the assumption that effective post-training must be token-intensive and point to a new direction for understanding and designing more efficient post-training algorithms.