Improving Math Reasoning through Value-guided Informative Search
作者: Shaohuai Liu, Yuning Wu, Haoran Liu, Enzo Jia, Devin Chen, Kai Wei
分类: cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出APIVIS框架以提升数学推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数学推理 强化学习 可验证奖励 Gumbel搜索 模型训练 奖励机制 搜索策略
📋 核心要点
- 现有方法在引入搜索机制后，无法保证搜索引导的策略优于当前策略，导致推理能力提升有限。
- 本文提出APIVIS框架，通过结合直接与搜索的响应，利用搜索发现的改进生成有意义的奖励信号。
- 在多个数学推理基准上进行的实验表明，APIVIS显著提升了模型的推理能力，超越了竞争性搜索方法。
📝 摘要（中文）
强化学习与可验证奖励（RLVR）显著提升了大型语言模型的数学推理能力。近期研究引入搜索机制以增加轨迹多样性，但仅依赖多样性并不能保证搜索引导的策略优于当前策略。为解决这一问题，本文提出APIVIS，一个在训练阶段适应有限预算Gumbel搜索的框架，专注于分块级数学推理。APIVIS在每个回滚组内结合直接和搜索的响应，使得搜索发现的改进能够产生有意义的相对奖励。此外，它对搜索改进的标记应用选择性监督，在均匀组奖励无效时保留学习信号。实验结果表明，精确的价值引导选择在每个搜索状态下提高了预期验证者奖励，并且这一保证扩展到完整的回滚策略，具有相应的近似保证。实验在广泛认可的数学推理基准和不同模型规模上显示出显著的改进，验证了APIVIS的有效性。
🔬 方法详解
问题定义：本文旨在解决现有强化学习与可验证奖励方法在引入搜索机制后，无法保证策略改进的问题。现有方法的痛点在于多样性不足，无法有效提升推理能力。
核心思路：APIVIS框架通过有限预算的Gumbel搜索，结合直接和搜索的响应，生成有意义的相对奖励，从而提升模型的数学推理能力。这样的设计旨在通过搜索发现有效的改进，增强学习信号。
技术框架：APIVIS的整体架构包括搜索模块和奖励生成模块。在每个回滚组内，模型首先生成直接响应，然后通过Gumbel搜索获取改进的响应，最后结合两者生成相对奖励。
关键创新：APIVIS的核心创新在于将搜索引导的改进与直接响应结合，形成有效的奖励信号。这与现有方法的本质区别在于，APIVIS能够在均匀奖励无效时仍然保持学习信号。
关键设计：在APIVIS中，关键参数包括搜索预算的设置和奖励生成机制。损失函数设计考虑了相对奖励的有效性，确保模型在训练过程中能够充分利用搜索结果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，APIVIS在多个数学推理基准上取得了显著提升，相较于竞争性搜索方法，验证者奖励提高了XX%，证明了该框架的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学问题解决工具。APIVIS框架能够显著提升模型在数学推理任务中的表现，具有广泛的实际价值和未来影响，尤其是在需要高精度推理的场景中。
📄 摘要（原文）
Reinforcement learning with verifiable rewards (RLVR) has substantially improved the mathematical reasoning capabilities of large language models. Recent work introduces search into RLVR rollouts to increase trajectory diversity, but diversity alone does not ensure that the search-induced rollout policy improves upon the current policy. To address this gap, we propose APIVIS, a training-time framework that adapts finite-budget Gumbel search to chunk-level mathematical reasoning. APIVIS combines direct and searched responses within each rollout group, allowing improvements found by search to produce informative relative rewards. It further applies selective supervision to search-improved tokens, preserving a learning signal when uniform group rewards render GRPO ineffective. We show that exact value-guided selection improves the expected verifier reward at each searched state and that this guarantee extends to the complete rollout policy, with a corresponding approximate guarantee under bounded value-estimation error. Experiments on widely recognized mathematical reasoning benchmarks and different model scales demonstrate substantial improvements over competitive search-based methods, validating the effectiveness of APIVIS.