On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
作者: Leon Sick, Lukas Hoyer, Yannick Strümpler, Christian Reisswig, Timo Ropinski, Federico Tombari
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-23
💡 一句话要点
提出基于自生成问答对的自我训练框架以提升大语言模型性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我训练 自蒸馏 大语言模型 无监督学习 多模态 视觉问答 潜在能力
📋 核心要点
- 现有的自蒸馏方法依赖于真实的问答对或人工策划的问题集，限制了模型的自我改进能力。
- 本文将自蒸馏重新构建为自我训练框架，模型仅依赖粗略的主题描述生成问答对和推理轨迹。
- 实验结果显示，该方法在标准语言基准和视觉问答任务上均实现了一致的自我提升，证明了其有效性。
📝 摘要（中文）
本文提出了一种新的自我训练框架，通过自生成的问答对和特权推理示例实现大语言模型的自我改进，而无需依赖外部教师或人工标注的数据。研究表明，模型能够在多个领域内实现性能提升，同时在未进行自我训练的领域保持其能力。该框架在文本和多模态领域均表现出良好的通用性，验证了基础模型在没有外部任务监督的情况下，能够有效利用其潜在能力进行自我增强。
🔬 方法详解
问题定义：现有的自蒸馏方法通常依赖于真实的问答对或人工策划的问题集，这限制了模型的自我改进能力，且难以在无监督环境中进行有效学习。
核心思路：本文提出的自我训练框架通过自生成的问答对和特权推理示例，推动模型在没有外部监督的情况下进行自我改进，充分利用模型的潜在能力。
技术框架：该框架包括三个主要模块：首先，模型根据粗略的主题描述生成问答对；其次，模型利用这些问答对进行自我蒸馏；最后，通过特权推理示例进一步优化模型的学习过程。
关键创新：最重要的创新在于模型能够在完全合成的特权信息上进行自蒸馏，这与传统方法依赖真实数据的方式本质上不同，展示了模型在无监督学习中的潜力。
关键设计：在设计上，模型的损失函数采用了自生成问答对的相关性度量，网络结构则通过多层Transformer架构增强了对复杂问题的理解能力。
📊 实验亮点
实验结果表明，模型在多个标准语言基准上实现了显著的性能提升，尤其是在视觉问答任务中，表现出比基线方法更高的准确率，验证了自我训练框架的有效性和通用性。
🎯 应用场景
该研究的潜在应用领域包括教育、智能问答系统和多模态交互等。通过自我训练，模型能够在没有人工干预的情况下持续提升性能，降低了对人工标注数据的依赖，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
On-policy self-distillation enables post-training foundation models without relying on stronger external teachers. However, existing approaches rely on ground-truth question-answer pairs, human-curated problem sets, or other supervised signals. In this work, we reformulate on-policy self-distillation as a self-training framework, driven by self-generated question-answer pairs and privileged reasoning demonstrations. We push supervision to the limit: guided solely by coarse, high-level topic descriptions, the model synthesizes its own curriculum of queries and privileged reasoning traces without access to any human-curated prompts or answers. We find that self-distillation on fully synthetic privileged information enables a model to improve across multiple domains while retaining its capabilities on domains it is not self-trained on. We demonstrate the generality of this framework across text and multimodal domains, achieving consistent self-improvement on standard language benchmarks and Visual Question Answering. Our findings demonstrate that foundation models possess rich latent capabilities that can be amplified without external task supervision or curated problem distributions.