Self-Play Search Distillation for Large Language Model Reasoning

📄 arXiv: 2609.30936v1 📥 PDF

作者: Lorenzo Molfetta, Wai-Chung Kwan, Giacomo Frisoni, Luca Ragazzi, Gianluca Moro, Pavlos Vougiouklis, Jeff Z. Pan, Pasquale Minervini

分类: cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出自我对弈搜索蒸馏以提升大语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理能力 自我对弈 合成数据 机器学习 数据蒸馏 MuZero 数学基准

📋 核心要点

  1. 核心问题：现有方法在生成高质量推理数据方面存在不足，合成数据质量低且人工标注成本高。
  2. 方法要点：提出自我对弈搜索蒸馏（SPSD）框架，通过自我对弈生成超人类合成数据，并将其用于训练LLMs。
  3. 实验或效果：在Qwen3-4B-Base上，SPSD使六个数学基准的平均分从24.1提升至36.6，胜率从15%提升至45%。

📝 摘要（中文）

提升大语言模型（LLMs）的推理能力需要高质量的数据，这些数据能够揭示困难决策、竞争选择及其后果。然而，合成数据的低质量和人工标注的高成本导致数据稀缺。本文提出了自我对弈搜索蒸馏（SPSD）框架，通过训练类似MuZero的网络在棋类游戏中生成超人类的合成数据。SPSD利用可执行环境将搜索转化为结构化推理问题。在每个状态下，专家识别出优选决策、合理替代方案、合理的对手回复及价值估计。通过将自我对弈搜索记录转化为超人类的思维链，我们以环境为基础的监督训练LLMs。尽管仅基于自我对弈搜索记录进行训练，SPSD在未见过的数学任务上也表现出色。在Qwen3-4B-Base上，六个数学基准的平均分从24.1提升至36.6，同时保留游戏的胜率从15%提升至45%。SPSD为提高LLM在推理任务中的表现提供了一种高效的合成数据创建方法。

🔬 方法详解

问题定义：本文旨在解决大语言模型推理能力提升所需的高质量数据稀缺问题。现有方法生成的合成数据质量低，且人工标注成本高，限制了模型的训练效果。

核心思路：论文提出的自我对弈搜索蒸馏（SPSD）框架，通过自我对弈的方式生成高质量的合成数据，利用MuZero-like网络在棋类游戏中进行训练，从而提升模型的推理能力。

技术框架：SPSD的整体架构包括多个模块：首先，利用可执行环境将搜索转化为结构化推理问题；其次，专家在每个状态下识别优选决策及其替代方案；最后，将自我对弈的搜索记录转化为思维链，进行LLMs的训练。

关键创新：SPSD的主要创新在于通过自我对弈生成超人类合成数据，并将其有效转化为训练数据，这一方法与传统的人工标注或简单合成数据生成方法有本质区别。

关键设计：在技术细节上，SPSD设计了特定的损失函数和网络结构，以确保生成的数据能够有效支持LLMs的训练，并通过环境监督来增强模型的推理能力。具体的参数设置和网络架构细节在论文中进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，SPSD显著提升了Qwen3-4B-Base模型在六个数学基准上的平均分，从24.1提升至36.6，同时保留游戏的胜率从15%提升至45%，展示了其在推理任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、自动化推理系统和智能助手等。通过生成高质量的合成数据，SPSD能够显著提升大语言模型在复杂推理任务中的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Improving reasoning abilities in Large Language Models (LLMs) requires high-quality data that exposes difficult decisions, competing alternatives, and their consequences. Data scarcity is driven by the low quality of synthetic data and the cost of human labeling. We introduce Self-Play Search Distillation (SPSD), a framework for generating superhuman synthetic data via self-play of MuZero-like networks trained on board games. SPSD uses executable environments to turn search into structured reasoning problems. At each state, the expert identifies a preferred decision, plausible alternatives, plausible opponent replies, and value estimates. By converting the self-play search records into superhuman chains-of-thought, we train LLMs with environment-grounded supervision. Although trained only on self-play search records, SPSD transfers to unseen mathematics. On Qwen3-4B-Base, it raises the mean over six mathematics benchmarks from 24.1 to 36.6 while increasing the held-out-game win rate from 15% to 45%. SPSD offers an annotation-efficient way to create high-quality synthetic data for improving LLM performance in reasoning tasks.