PARM: Pipeline-Adapted Reward Model

📄 arXiv: 2604.18327v1 📥 PDF

作者: Xingyu Fan, Wei Shao, Jiacheng Liu, Linqi Song, Pheng Ann Heng

分类: cs.AI, cs.CL

发布日期: 2026-04-20

💡 一句话要点

提出PARM，解决多阶段LLM流水线中奖励模型与执行结果不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 多阶段流水线 大型语言模型 直接偏好优化 组合优化 代码生成 流水线自适应

📋 核心要点

  1. 现有奖励模型主要关注单步生成，忽略了多阶段LLM流水线中奖励指导的不足。
  2. PARM利用流水线特定数据和直接偏好优化，使奖励模型与下游反馈对齐，提升一致性。
  3. 实验表明，PARM在组合优化任务中提高了流水线输出质量和稳定性，并具有一定的跨域迁移能力。

📝 摘要（中文）

奖励模型（RM）是使大型语言模型（LLM）与人类偏好对齐的关键，为RLHF和高级解码策略提供支持。虽然先前的工作主要集中在单步生成上，但实际应用越来越多地采用多阶段LLM流水线，而有效的奖励指导仍然未被充分探索。本文通过组合优化的代码生成来研究这个问题，构建了一个将奖励模型集成到公式化和求解阶段的流水线。我们发现了一个关键挑战：奖励模型预测与实际流水线执行结果之间的不一致。为了解决这个问题，我们提出了流水线自适应奖励模型（PARM），它利用特定于流水线的数据和直接偏好优化来使奖励与下游反馈对齐。我们将PARM实例化为一个两阶段流水线（公式化 -> 代码生成），并在四个公共优化基准上评估它，测量执行率和求解精度，并与基线和采样方法进行比较。在GSM8K上的补充跨域实验评估了可迁移性。结果表明，PARM持续提高了流水线输出质量和稳定性，为多阶段LLM推理的奖励建模提供了新的见解。

🔬 方法详解

问题定义：现有奖励模型主要针对单步生成任务进行优化，忽略了实际应用中常见的多阶段LLM流水线。在多阶段流水线中，奖励模型预测的奖励与最终执行结果之间存在不一致性，导致性能下降。例如，在组合优化问题中，奖励模型可能对一个看似合理的公式化方案给出高奖励，但该方案生成的代码在执行时却无法得到正确的结果。这种不一致性是现有方法的痛点。

核心思路：PARM的核心思路是使奖励模型适应特定的流水线，通过利用流水线中的数据和直接偏好优化，来对齐奖励模型的预测与下游反馈。具体来说，PARM不再仅仅关注单步生成的质量，而是考虑整个流水线的执行结果，并根据执行结果来调整奖励模型的参数，从而提高奖励模型预测的准确性和可靠性。

技术框架：PARM的技术框架主要包含以下几个阶段：1) 数据收集：收集流水线中各个阶段的输入、输出以及最终的执行结果。2) 奖励模型训练：使用收集到的数据，通过直接偏好优化（DPO）等方法，训练奖励模型，使其能够准确预测流水线的执行结果。3) 流水线集成：将训练好的奖励模型集成到流水线的各个阶段，用于指导LLM的生成过程。例如，在公式化阶段，奖励模型可以用于评估不同的公式化方案，并选择最优的方案。

关键创新：PARM最重要的技术创新点在于其流水线自适应性。与传统的奖励模型不同，PARM能够根据特定流水线的特点进行优化，从而更好地适应实际应用场景。这种自适应性使得PARM能够更准确地预测流水线的执行结果，并提供更有效的奖励指导。

关键设计：PARM的关键设计包括：1) 流水线特定数据的收集策略：如何有效地收集流水线中各个阶段的数据，以用于奖励模型的训练。2) 直接偏好优化（DPO）的应用：如何使用DPO等方法，将流水线的执行结果转化为奖励信号，并用于优化奖励模型。3) 奖励模型的集成方式：如何将训练好的奖励模型集成到流水线的各个阶段，以指导LLM的生成过程。具体的参数设置、损失函数、网络结构等技术细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PARM在四个公共优化基准上持续提高了流水线输出质量和稳定性。与基线方法相比，PARM在执行率和求解精度方面均取得了显著提升。此外，在GSM8K上的跨域实验表明，PARM具有一定的可迁移性，可以在不同的任务中应用。具体的性能提升数据需要在论文中查找（未知）。

🎯 应用场景

PARM具有广泛的应用前景，可应用于各种涉及多阶段LLM流水线的任务，例如组合优化、软件开发、科学发现等。通过提高奖励模型与实际执行结果的一致性，PARM可以显著提升LLM流水线的性能和可靠性，从而加速相关领域的创新和发展。未来，PARM还可以与其他技术相结合，例如强化学习、主动学习等，以进一步提高其性能和泛化能力。

📄 摘要（原文）

Reward models (RMs) are central to aligning large language models (LLMs) with human preferences, powering RLHF and advanced decoding strategies. While most prior work focuses on single-step generation, real-world applications increasingly adopt multi-stage LLM pipelines, where effective reward guidance remains underexplored. We investigate this through code generation for combinatorial optimization, constructing a pipeline that integrates reward models into both formulation and solution stages. We identify a critical challenge: inconsistency between reward model predictions and actual pipeline execution outcomes. To address this, we propose the Pipeline-Adapted Reward Model (PARM), which leverages pipeline-specific data and direct preference optimization to align rewards with downstream feedback. We instantiate PARM as a two-stage pipeline (formulation -> code generation) and evaluate it on four public optimization benchmarks, measuring execution rate and solving accuracy against baselines and sampling methods. A supplementary cross-domain experiment on GSM8K assesses transferability. Results demonstrate that PARM consistently improves pipeline output quality and stability, providing new insights into reward modeling for multi-stage LLM reasoning.