MaPP: A Unified Marginalized Posterior-Predictive Framework for Data-Efficient RLVR

📄 arXiv: 2609.34990v1 📥 PDF

作者: Yangyang Ren, Haodong Zhu, Sheng Xu, Yanjing Li, Nikolai Yu. Zolotykh, Wentao Zhang, Baochang Zhang

分类: cs.LG

发布日期: 2026-09-28

💡 一句话要点

提出MaPP框架以提升数据效率的RLVR方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 数据效率 后验预测 优势估计 提示选择 模型优化

📋 核心要点

  1. 现有RLVR方法在学习信号提取上存在不足，导致估计误差影响提示选择的有效性。
  2. MaPP框架通过边际后验预测，去噪响应级优势估计，使用共享Beta后验提升提示选择效率。
  3. 实验表明，MaPP在数学、规划和视觉几何任务上，平均准确率提升达2.45%，超越强基线。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）提升了大型语言模型的推理能力，但在回合和策略更新中消耗了大量成本。现有方法未能有效提取学习信号，导致估计误差。本文提出MaPP（边际后验预测），通过共享Beta后验来去噪响应级优势估计，并改进提示选择，显著提高数据效率。实验结果表明，MaPP在多个模型上均优于现有方法，达成新的性能标杆。

🔬 方法详解

问题定义：本文旨在解决现有RLVR方法在学习信号提取中的不足，特别是由于组组成的不确定性引入的组成噪声，导致梯度估计误差的下限无法降低。

核心思路：MaPP框架通过边际后验预测，替代标准的组相对优势，采用闭式Beta-二项式边际化，提供组成不变的内在优势估计，从而提高数据效率。

技术框架：MaPP的整体架构包括响应级优势估计模块和提示选择评分模块。前者通过Beta后验进行去噪，后者则基于不确定性评估选择最优提示。

关键创新：MaPP的主要创新在于使用共享Beta后验进行优势估计和提示选择，显著降低了估计误差，并提高了提示选择的有效性。

关键设计：在设计中，采用Beta-二项式分布进行边际化，确保优势估计的准确性。同时，提示选择评分考虑了不确定性，避免了额外的回合成本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MaPP在数学、规划和视觉几何任务上，相较于GRPO和其他强基线，平均准确率提升达2.45%。在相同的回合预算下，MaPP设定了新的性能标杆，证明了其在数据效率上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化决策支持等。通过提高RLVR的效率，MaPP能够在资源有限的情况下，提升模型的推理能力和响应质量，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models but incurs substantial costs from rollouts and policy updates. Online prompt selection improves efficiency by using per-prompt Bayesian posteriors to predict difficulty and prioritize informative prompts. However, existing methods overlook how reliably learning signals are extracted from sampled responses. In GRPO, a response's advantage depends on both its own outcome and the randomly sampled outcomes of its peers through group normalization. Our theoretical and experimental analyses show that uncertainty in group composition introduces composition noise, a non-vanishing variance component that imposes an irreducible lower bound on gradient estimation error and impairs downstream prompt selection. We propose MaPP (Marginalized Posterior-Predictive), a unified framework for data-efficient RLVR that denoises response-level advantage estimation and improves prompt selection using a shared Beta posterior. For each response, MaPP replaces the standard group-relative advantage with a composition-invariant intrinsic advantage through closed-form Beta-Binomial marginalization. The resulting posterior-predictive estimator has an error that provably diminishes as the posterior concentrates. Using the same posterior, MaPP derives an uncertainty-aware prompt selection score to improve data efficiency without additional rollout cost. Experiments on mathematics, planning, and visual geometry across five model backbones show that MaPP consistently outperforms GRPO and strong selection baselines, achieving up to +2.45 average accuracy improvement over the strongest baseline under the same rollout budget and setting a new state of the art.