CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models

📄 arXiv: 2507.15698v1 📥 PDF

作者: Congmin Zheng, Jiachen Zhu, Jianghao Lin, Xinyi Dai, Yong Yu, Weinan Zhang, Mengyue Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-07-21

💡 一句话要点

提出CoLD框架，通过反事实引导消除过程奖励模型中的长度偏差。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 过程奖励模型 长度偏差 反事实推理 大型语言模型 数学问题求解

📋 核心要点

  1. 现有过程奖励模型存在长度偏差，倾向于给更长的推理步骤赋予更高的奖励，即使内容相同。
  2. CoLD框架通过显式长度惩罚、学习偏差估计器和联合训练策略，减轻奖励预测中的长度偏差。
  3. 实验表明CoLD能有效降低奖励-长度相关性，提高步骤选择准确性，并鼓励更简洁的推理。

📝 摘要（中文）

过程奖励模型(PRM)在评估和指导大型语言模型(LLM)的多步推理中起着核心作用，尤其是在数学问题解决方面。然而，我们发现现有PRM中存在普遍的长度偏差：即使语义内容和逻辑有效性不变，它们也倾向于为更长的推理步骤分配更高的分数。这种偏差削弱了奖励预测的可靠性，并导致推理过程中产生过于冗长的输出。为了解决这个问题，我们提出了CoLD(反事实引导的长度去偏)，这是一个统一的框架，通过三个组成部分来减轻长度偏差：显式的长度惩罚调整、一个学习到的偏差估计器（用于捕获虚假的长度相关信号）以及一个联合训练策略（用于强制奖励预测中的长度不变性）。我们的方法基于反事实推理，并受到因果图分析的启发。在MATH500和GSM-Plus上的大量实验表明，CoLD始终如一地降低了奖励-长度相关性，提高了步骤选择的准确性，并鼓励更简洁、逻辑上有效的推理。这些结果证明了CoLD在提高PRM的保真度和鲁棒性方面的有效性和实用性。

🔬 方法详解

问题定义：论文旨在解决过程奖励模型（PRM）中普遍存在的长度偏差问题。现有PRM倾向于给更长的推理步骤分配更高的奖励，即使这些步骤在语义上和逻辑上与较短的步骤等价。这种偏差导致奖励预测不可靠，并促使模型生成冗长的推理过程。

核心思路：CoLD的核心思路是通过反事实推理来消除长度偏差。具体来说，它试图回答“如果推理步骤的长度不同，但语义内容保持不变，奖励应该如何变化？”这个问题。通过显式地建模和消除长度对奖励的影响，CoLD旨在使奖励预测更加准确和可靠。

技术框架：CoLD框架包含三个主要组成部分：1) 显式长度惩罚调整：直接对奖励进行调整，以惩罚过长的步骤。2) 学习偏差估计器：训练一个模型来预测奖励中与长度相关的偏差。3) 联合训练策略：同时训练奖励模型和偏差估计器，并使用反事实损失来强制奖励预测中的长度不变性。整体流程是，首先使用原始奖励模型预测奖励，然后使用偏差估计器预测长度偏差，最后通过长度惩罚调整和反事实损失来更新模型参数。

关键创新：CoLD的关键创新在于其基于反事实推理的长度去偏方法。与传统的长度归一化方法不同，CoLD显式地建模和消除了长度对奖励的影响，从而更有效地减轻了长度偏差。此外，CoLD的联合训练策略和反事实损失函数也确保了奖励模型能够学习到长度不变的表示。

关键设计：显式长度惩罚调整通常采用线性或指数形式，例如 reward' = reward - λ * length，其中λ是惩罚系数。偏差估计器通常是一个小型神经网络，输入是推理步骤的表示和长度信息，输出是长度偏差的估计值。反事实损失函数旨在最小化原始奖励和反事实奖励之间的差异，例如 L = ||reward(x) - reward(x')||，其中x和x'是长度不同的但语义相同的推理步骤。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MATH500和GSM-Plus数据集上的实验表明，CoLD能够显著降低奖励-长度相关性，并提高步骤选择的准确性。例如，在GSM-Plus数据集上，CoLD将奖励-长度相关性降低了约20%，并将步骤选择的准确性提高了约5%。此外，CoLD还能够鼓励模型生成更简洁的推理过程，减少冗余信息。

🎯 应用场景

CoLD框架可应用于各种需要多步推理的大型语言模型任务，例如数学问题求解、代码生成、知识图谱推理等。通过消除长度偏差，CoLD可以提高奖励模型的准确性和可靠性，从而引导模型生成更简洁、更有效的推理过程。这有助于提高LLM在复杂任务中的性能和实用性。

📄 摘要（原文）

Process Reward Models (PRMs) play a central role in evaluating and guiding multi-step reasoning in large language models (LLMs), especially for mathematical problem solving. However, we identify a pervasive length bias in existing PRMs: they tend to assign higher scores to longer reasoning steps, even when the semantic content and logical validity are unchanged. This bias undermines the reliability of reward predictions and leads to overly verbose outputs during inference. To address this issue, we propose CoLD(Counterfactually-Guided Length Debiasing), a unified framework that mitigates length bias through three components: an explicit length-penalty adjustment, a learned bias estimator trained to capture spurious length-related signals, and a joint training strategy that enforces length-invariance in reward predictions. Our approach is grounded in counterfactual reasoning and informed by causal graph analysis. Extensive experiments on MATH500 and GSM-Plus show that CoLD consistently reduces reward-length correlation, improves accuracy in step selection, and encourages more concise, logically valid reasoning. These results demonstrate the effectiveness and practicality of CoLD in improving the fidelity and robustness of PRMs.