OptPO: Optimal Rollout Allocation for Test-time Policy Optimization

📄 arXiv: 2512.02882v1 📥 PDF

作者: Youkang Wang, Jian Wang, Rubing Chen, Tianyi Zeng, Xiao-Yong Wei, Qing Li

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-12-02

备注: Work in Progress

💡 一句话要点

OptPO：面向测试时策略优化的最优Rollout分配方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 测试时策略优化 大型语言模型 贝叶斯序贯概率比检验 rollout分配 自适应采样

📋 核心要点

  1. 现有测试时策略优化方法依赖固定预算多数投票，计算冗余高，效率低下。
  2. OptPO将投票过程建模为贝叶斯序贯概率比检验，动态停止采样，优化rollout分配。
  3. OptPO与PPO/GRPO等算法无缝集成，在推理基准测试中降低了rollout开销，并提升了准确性。

📝 摘要（中文）

测试时策略优化通过利用自生成rollout的反馈，使大型语言模型（LLMs）能够适应分布偏移。然而，现有方法依赖于固定预算的多数投票来估计奖励，导致大量的计算冗余。我们提出了面向测试时策略优化的最优Rollout分配（OptPO），这是一个自适应分配推理预算的原则性框架。通过将投票过程建模为贝叶斯序贯概率比检验，OptPO一旦对共识答案的后验置信度超过指定阈值，就会动态停止采样。至关重要的是，它利用保留的rollout进行on-policy更新，与PPO或GRPO等算法无缝集成，而无需ground-truth标签。在不同的推理基准测试中，与固定样本基线相比，OptPO显著降低了rollout开销，同时保持或提高了准确性。通过将统计上最优的停止与测试时学习相结合，OptPO为测试时自适应提供了一种计算高效的范例。源代码将在接收后开放。

🔬 方法详解

问题定义：现有测试时策略优化方法在面对分布偏移时，通常采用固定数量的rollout进行多数投票来估计奖励。这种方法的主要痛点在于，无论问题难度如何，都采用相同的采样数量，导致简单问题上的计算资源浪费，以及复杂问题上采样不足，影响性能。

核心思路：OptPO的核心思路是根据当前rollout的结果，动态地调整采样数量。它将投票过程视为一个贝叶斯序贯概率比检验，通过计算后验置信度来判断是否已经获得了足够的信息来做出决策。一旦对某个答案的置信度超过预设的阈值，就停止采样，从而避免了不必要的计算。

技术框架：OptPO的整体框架包含以下几个主要阶段：1) 使用LLM生成多个rollout；2) 对每个rollout的结果进行评估，得到相应的奖励；3) 使用贝叶斯序贯概率比检验来计算当前对每个答案的后验置信度；4) 如果某个答案的置信度超过阈值，则停止采样，选择该答案；否则，继续生成新的rollout；5) 使用保留的rollout进行on-policy更新，优化策略。

关键创新：OptPO的关键创新在于将统计最优的序贯概率比检验与测试时策略优化相结合。与传统的固定采样方法相比，OptPO能够根据问题的难度自适应地调整采样数量，从而在保证性能的同时，显著降低计算开销。此外，OptPO还能够利用保留的rollout进行策略更新，进一步提升性能。

关键设计：OptPO的关键设计包括：1) 贝叶斯序贯概率比检验的阈值设置，该阈值决定了采样的停止条件，需要在准确性和计算效率之间进行权衡；2) 后验概率的计算方法，需要选择合适的先验分布和似然函数；3) on-policy更新算法的选择，可以选择PPO或GRPO等算法，并根据具体任务进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，OptPO在多个推理基准测试中，与固定样本基线相比，显著降低了rollout开销，同时保持或提高了准确性。具体而言，OptPO能够在保证性能不下降的情况下，将rollout数量减少20%-50%。这表明OptPO能够有效地利用计算资源，提高测试时策略优化的效率。

🎯 应用场景

OptPO具有广泛的应用前景，可以应用于各种需要测试时策略优化的场景，例如机器人控制、游戏AI、自然语言处理等。通过自适应地分配计算资源，OptPO能够显著提高测试时策略优化的效率，降低计算成本，并提升模型的泛化能力。该方法尤其适用于资源受限的场景，例如移动设备或嵌入式系统。

📄 摘要（原文）

Test-time policy optimization enables large language models (LLMs) to adapt to distribution shifts by leveraging feedback from self-generated rollouts. However, existing methods rely on fixed-budget majority voting to estimate rewards, incurring substantial computational redundancy. We propose Optimal Rollout Allocation for Test-time Policy Optimization (OptPO), a principled framework that adaptively allocates inference budgets. By formulating the voting process as a Bayesian sequential probability ratio test, OptPO dynamically halts sampling once the posterior confidence in a consensus answer exceeds a specified threshold. Crucially, it utilizes the retained rollouts for on-policy updates, seamlessly integrating with algorithms like PPO or GRPO without requiring ground-truth labels. Across diverse reasoning benchmarks, OptPO significantly reduces rollout overhead compared to fixed-sample baselines while preserving or improving accuracy. By unifying statistically optimal stopping with test-time learning, OptPO offers a computationally efficient paradigm for test-time adaptation. The source code will be open upon acceptance at https://open-upon-acceptance.