Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling
作者: Panagiotis Theodoropoulos, Nan Jiang, Xintong Duan, Ali Hasan, Yuriy Nevmyvaka, Evangelos A. Theodorou, Wei Deng
分类: cs.LG
发布日期: 2026-09-29
💡 一句话要点
提出并行功率温度化以解决推理过程中的探索与利用问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 功率增强采样 并行温度化 推理能力提升 探索与利用 大型语言模型
📋 核心要点
- 现有的功率增强采样方法在探索与利用之间存在权衡，强增强限制了探索，而弱增强导致答案分布模糊。
- 本文提出并行功率温度化（PPT），通过并行运行多个不同增强水平的副本，解决了探索与利用的矛盾。
- 实验结果显示，PPT在单链功率增强采样上有显著提升，超越了强化学习后训练的模型，推理质量更高。
📝 摘要（中文）
功率增强采样是一种在推理时替代强化学习后训练的方法，用于提升大型语言模型的推理能力。该方法在不更新参数或外部奖励的情况下，放大高概率序列，避免了强化学习的高成本优化和不稳定泛化。然而，该方法面临探索与利用的基本权衡。为了解决这一问题，本文提出了并行功率温度化（PPT），通过并行温度化实例化功率增强的LLM采样。通过在不同的增强水平上并行运行多个交互副本，低功率副本可以探索多样的推理轨迹，而高功率链则进一步利用高可能性响应。实验表明，PPT显著改善了单链功率增强采样，并超越了强化学习后训练的模型，产生了更高质量的推理轨迹，甚至达到了前沿模型的性能。
🔬 方法详解
问题定义：本文旨在解决现有功率增强采样方法在推理过程中面临的探索与利用权衡问题。现有方法在强增强时限制了探索，而弱增强又导致推理结果不明确。
核心思路：论文提出的并行功率温度化（PPT）通过并行运行多个不同增强水平的副本，使得低功率副本能够探索多样的推理路径，而高功率副本则专注于利用高可能性的响应，从而平衡探索与利用。
技术框架：PPT的整体架构包括多个交互副本，这些副本在不同的功率水平下并行运行。每个副本根据其功率水平进行推理，低功率副本负责探索，收集多样化的推理轨迹，而高功率副本则在这些轨迹的基础上进行优化。
关键创新：PPT的主要创新在于通过并行温度化的方式实现功率增强采样，允许模型在推理过程中同时进行探索和利用，克服了传统方法的局限性。
关键设计：在设计中，PPT采用了有效的交换策略以应对有限的内存和计算预算，同时减轻了先前功率采样中识别到的截断偏差。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PPT在单链功率增强采样上显著提升了推理质量，超越了强化学习后训练的模型，具体性能数据表明其推理轨迹的质量达到了前沿模型的水平，展示了较大的提升幅度。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升大型语言模型的推理能力，PPT可以在更复杂的任务中提供更准确和高效的响应，具有重要的实际价值和未来影响。
📄 摘要（原文）
Power-sharpened sampling is an inference-time alternative to reinforcement-learning (RL) post-training for enhancing reasoning in large language models (LLMs). High-probability sequences are amplified under the base model without parameter updates or external rewards, avoiding the costly optimization and jagged generalization of RL. However, this approach faces a fundamental exploration--exploitation trade-off, as % strong sharpening restricts exploration, trapping samplers in plausible but incorrect reasoning trajectories, whereas weak sharpening leaves the answer distribution diffuse. To resolve this trade-off, we introduce \textbf{Parallel Power Tempering (PPT)}, instantiating power-sharpened LLM sampling via parallel tempering. Running multiple \emph{interacting} replicas in parallel at different sharpening levels allows lower-power replicas to explore diverse reasoning trajectories and higher-power chains to further exploit higher-likelihood responses favored by the sharpened target. Specifically, we tailor \method{} to inference-time sampling by mitigating a truncation bias, identified in prior power samplers, and investigate effective swap strategies under finite memory and compute budgets. Extensive experimentation shows that \method{} substantially improves single-chain power-sharpened sampling and outperforms RL-post-trained models, producing higher-quality reasoning traces and even achieving performance comparable to frontier models.