Adaptive Power Sampling for LLM Reasoning

📄 arXiv: 2610.08563v1 📥 PDF

作者: Bingnan Xiao, Chenhao Yang, Bingcong Li, Wei Ni, Xin Wang

分类: cs.AI

发布日期: 2026-10-06

备注: 22 pages, 6 figures

💡 一句话要点

提出自适应功率采样以提升大语言模型推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应采样 大语言模型 推理能力 序列级采样 机器学习

📋 核心要点

  1. 现有的功率采样方法在处理不同查询时未能考虑查询的难度和基础模型的表现差异，导致效果不佳。
  2. 本文提出的自适应功率采样（APS）通过在测试时根据每个查询的自奖励调整锐化指数，从而实现查询自适应性。
  3. 实验结果显示，APS在MATH500、HumanEval和GPQA等推理任务中均显著优于固定锐化指数的功率采样，表现出更好的推理能力。

📝 摘要（中文）

序列级功率采样作为一种无训练的推理方法，通过从基础大语言模型（LLM）的锐化输出分布中进行采样而崭露头角。然而，现有方法通常在查询上均匀锐化基础模型分布，忽视了查询难度的变化及基础模型对每个查询的处理能力。本文旨在为功率采样赋予查询自适应性。理论上，我们表明进一步锐化的收益取决于正确与错误响应之间的自奖励差距。基于这一洞察，我们提出了自适应功率采样（APS），该方法在测试时根据答案一致性与模型自奖励之间的关系，按查询调整锐化指数。实验结果表明，APS在多种推理任务中均优于固定锐化指数的功率采样，且无需额外训练。

🔬 方法详解

问题定义：本文解决的是现有功率采样方法在不同查询上均匀锐化的问题，导致对查询难度和模型表现的忽视，从而影响推理效果。

核心思路：论文的核心思路是通过分析正确与错误响应之间的自奖励差距，提出自适应功率采样（APS），在测试时根据每个查询的特性动态调整锐化指数，以提高推理准确性。

技术框架：APS的整体架构包括两个主要模块：首先是基于基础大语言模型的输出分布锐化，其次是根据查询的自奖励动态调整锐化指数。该方法在测试阶段实现了查询自适应性。

关键创新：最重要的技术创新点在于引入了查询自适应的锐化机制，使得模型能够根据每个查询的特性优化输出，从而显著提升推理性能。这一方法与传统的固定锐化指数方法本质上不同。

关键设计：在设计上，APS使用了与答案一致性相关的自奖励作为调整锐化指数的依据，确保在不同查询中能够灵活应对。同时，模型的损失函数和参数设置经过精心设计，以支持这一动态调整过程。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，自适应功率采样（APS）在MATH500、HumanEval和GPQA等多个推理任务中均表现优异，相较于固定锐化指数的功率采样，APS的性能提升幅度达到了显著的水平，展示了其在无训练条件下的有效性。

🎯 应用场景

该研究的潜在应用场景包括教育领域的自动评测系统、编程辅助工具以及复杂问题求解等。通过提升大语言模型的推理能力，APS可以帮助用户更高效地获取准确答案，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Sequence-level power sampling has recently emerged as a training-free approach to reasoning by sampling from a sharpened output distribution of a base large language model (LLM). Nevertheless, existing methods typically sharpen the base model distribution uniformly across queries, overlooking variations in query difficulty and in how well the base model already handles each query. The goal of this work is to equip power sampling with query adaptivity. Theoretically, we show that the benefits of further sharpening are determined by the self-reward gap between correct and incorrect responses. Based on this insight, we propose \emph{Adaptive Power Sampling} (APS), which adjusts the sharpening exponent on a per-query basis at test time using the relationship between answer agreement and the model's self-reward. Experiments across diverse reasoning tasks, including MATH500, HumanEval, and GPQA, show that APS consistently outperforms power sampling with a fixed sharpening exponent, without additional training.