Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning
作者: Ismail Labiad, Matthieu Kowalski, Marc Schoenauer, Rémi Munos, Julia Kempe
分类: cs.CL, cs.AI
发布日期: 2026-09-22
💡 一句话要点
提出语义引导的搜索策略以提升LLM推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理能力 语义探索 强化学习 概念生成 答案生成 多样性提升
📋 核心要点
- 现有的重复采样方法在生成答案时缺乏多样性，容易产生重复且相似的结果，限制了推理能力的提升。
- 论文提出通过语义引导的探索策略，先生成问题相关的概念，再基于这些概念生成答案，从而提高生成的多样性和质量。
- 实验结果显示，经过训练的概念生成器在数学推理任务中显著提高了答案生成器的成功率，超越了传统方法和未调优的大型模型。
📝 摘要（中文）
大型语言模型（LLM）在解决复杂推理问题时，通常依赖于简单的重复采样策略，导致生成的答案缺乏多样性。本文提出了一种新的方法，通过在语义层面引导探索，首先采样与问题相关的概念、提示或策略，然后在此基础上生成答案。研究表明，经过强化学习优化的小型概念生成器显著提升了大型答案生成器的性能，尤其在数学推理问题上，相较于传统的重复采样方法，表现出更高的成功率，并且能够迁移到未见过的模型上。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在推理过程中依赖简单重复采样所导致的答案缺乏多样性的问题。现有方法往往只能生成相似的答案，未能有效探索潜在的解决方案。
核心思路：论文提出了一种新的探索策略，通过首先生成与特定问题相关的概念，然后在此基础上生成答案。这种方法旨在引导模型在语义层面进行更有效的探索，而非仅依赖于局部的解码噪声。
技术框架：整体流程包括两个主要模块：概念生成器和答案生成器。概念生成器负责生成与问题相关的多样化概念，而答案生成器则基于这些概念生成最终答案。概念生成器通过强化学习进行优化，以最大化答案生成器的成功率。
关键创新：最重要的创新在于将概念生成过程训练成可重用的搜索策略，使得小型模型能够有效提升大型模型的推理能力。这一方法与传统的重复采样方法本质上不同，后者仅依赖随机性而缺乏语义引导。
关键设计：在设计上，概念生成器的训练采用强化学习策略，损失函数旨在最大化答案生成器的成功率。网络结构方面，概念生成器和答案生成器之间的协同工作是实现性能提升的关键。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过训练的概念生成器在数学推理任务中显著提高了答案生成器的成功率，具体表现为在相同的答案生成分配下，pass@k指标大幅提升，超越了传统的重复采样方法，并且在不同模型间具有良好的迁移能力。
🎯 应用场景
该研究的潜在应用领域包括教育、科学研究和复杂决策支持等场景。通过提升大型语言模型在推理任务中的表现，可以为用户提供更准确和多样化的答案，进而推动智能助手和自动化系统的发展。
📄 摘要（原文）
Large language models increasingly tackle hard reasoning problems by spending more test-time compute, yet the dominant strategy remains naive repeated sampling: draw many independent solutions and hope one is correct. Because such sampling explores only through local decoding noise, it tends to produce many near duplicate attempts rather than genuinely different ideas. We ask whether exploration can instead be steered at a semantic level, by first sampling problem specific concepts, hints, or strategies and then conditioning answer generation on them. We refine this into a simple, more exploratory procedure that emits many diverse concepts in a single trajectory, and evaluate it on hard problems where repeated sampling struggles. We then go a step further and make concept generation trainable: a small concept generator is optimized with reinforcement learning so that its concepts maximize the downstream success of a larger, frozen answer generator. On hard mathematical reasoning problems, the trained concept generator substantially improves the answer generator's pass@k over naive repeated sampling at the same answer generation allocation, surpasses concepts drawn from much larger untuned models, and transfers to answer generators it was never trained against, including a model from a different family. A small model can thus be trained into an effective, reusable search policy for a much larger one.