Reward Models Identify Consistency, Not Causality

📄 arXiv: 2502.14619v1 📥 PDF

作者: Yuhui Xu, Hanze Dong, Lei Wang, Caiming Xiong, Junnan Li

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-02-20

备注: 16 pages

💡 一句话要点

奖励模型倾向于一致性而非因果性，暴露了现有奖励建模方法的局限性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 大型语言模型 因果推理 一致性 人类偏好对齐 推理质量 结构化推理

📋 核心要点

  1. 现有奖励模型在对齐LLM与人类偏好方面存在不足，它们可能无法真正理解问题并评估推理质量。
  2. 该研究揭示了现有奖励模型更关注结构一致性而非因果正确性，并提出未来应侧重于因果关系感知的奖励模型。
  3. 实验表明，移除问题陈述对奖励分数影响小，而改变数值或扰乱推理流程影响大，说明奖励模型依赖推理模式而非问题理解。

📝 摘要（中文）

奖励模型（RMs）在使大型语言模型（LLMs）与人类偏好对齐并提高推理质量方面起着至关重要的作用。传统上，RMs被训练来根据候选输出的正确性和连贯性对其进行排序。然而，本文提出了一些令人惊讶的发现，挑战了关于RM行为的常见假设。我们的分析表明，最先进的奖励模型优先考虑结构一致性而不是因果正确性。具体而言，移除问题陈述对奖励分数的影响很小，而改变数值或扰乱推理流程会显着影响RM输出。此外，RMs表现出对完整推理轨迹的强烈依赖性，截断或不完整的步骤会导致奖励分配的显着变化，表明RMs主要依赖于学习到的推理模式，而不是显式的理解问题。这些发现适用于多种架构、数据集和任务，从而得出三个关键见解：（1）RMs主要评估连贯性而不是真正的推理质量；（2）显式问题理解在奖励分配中的作用被过分强调；（3）当前的RMs可能更有效地对响应进行排序，而不是验证逻辑有效性。我们的结果表明现有奖励建模方法存在根本局限性，强调需要转向因果关系感知的奖励模型，超越一致性驱动的评估。

🔬 方法详解

问题定义：现有奖励模型（RMs）旨在根据候选输出的正确性和连贯性对LLM的输出进行排序，以使其与人类偏好对齐。然而，这些模型在多大程度上真正理解了问题并评估了推理的正确性仍然是一个问题。现有的奖励模型可能仅仅关注表面的一致性，而忽略了深层的因果关系，导致奖励分配与实际的推理质量不符。

核心思路：该论文的核心思路是通过一系列实验来探究奖励模型在评估推理质量时，究竟是关注结构一致性还是因果正确性。通过操纵输入数据，例如移除问题陈述、改变数值或扰乱推理流程，观察奖励模型输出的变化，从而推断其评估标准。作者认为，如果奖励模型真正理解了问题，那么移除问题陈述应该会显著影响奖励分数，反之，如果奖励模型仅仅关注推理过程的连贯性，那么改变推理流程应该会显著影响奖励分数。

技术框架：该研究主要采用实验分析的方法，没有提出新的模型架构。其技术框架可以概括为：1. 选择现有的奖励模型和数据集；2. 设计实验，包括对输入数据进行各种操纵（例如，移除问题陈述、改变数值、扰乱推理流程、截断推理轨迹）；3. 运行奖励模型，并记录其输出的奖励分数；4. 分析奖励分数的变化，从而推断奖励模型的评估标准。

关键创新：该研究的关键创新在于其对现有奖励模型行为的深刻洞察。它挑战了关于奖励模型能够真正理解问题并评估推理质量的常见假设，揭示了奖励模型更关注结构一致性而非因果正确性的倾向。这一发现对于改进奖励模型的设计具有重要意义。

关键设计：该研究的关键设计在于其精心设计的实验。例如，通过移除问题陈述，可以测试奖励模型是否依赖于问题理解；通过改变数值，可以测试奖励模型是否对数值敏感；通过扰乱推理流程，可以测试奖励模型是否依赖于推理的连贯性；通过截断推理轨迹，可以测试奖励模型是否需要完整的推理过程。这些实验设计能够有效地揭示奖励模型的评估标准。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，移除问题陈述对奖励分数的影响很小，而改变数值或扰乱推理流程会显著影响RM输出。此外，RMs表现出对完整推理轨迹的强烈依赖性。这些发现表明，现有的奖励模型主要评估连贯性而不是真正的推理质量，并且对显式问题理解的依赖程度被高估。

🎯 应用场景

该研究成果可应用于改进大型语言模型的训练和对齐过程，设计更有效的奖励模型，提高模型推理能力和可靠性。未来的研究可以基于此，开发因果关系感知的奖励模型，从而提升LLM在问答、数学推理等任务中的表现。

📄 摘要（原文）

Reward models (RMs) play a crucial role in aligning large language models (LLMs) with human preferences and enhancing reasoning quality. Traditionally, RMs are trained to rank candidate outputs based on their correctness and coherence. However, in this work, we present several surprising findings that challenge common assumptions about RM behavior. Our analysis reveals that state-of-the-art reward models prioritize structural consistency over causal correctness. Specifically, removing the problem statement has minimal impact on reward scores, whereas altering numerical values or disrupting the reasoning flow significantly affects RM outputs. Furthermore, RMs exhibit a strong dependence on complete reasoning trajectories truncated or incomplete steps lead to significant variations in reward assignments, indicating that RMs primarily rely on learned reasoning patterns rather than explicit problem comprehension. These findings hold across multiple architectures, datasets, and tasks, leading to three key insights: (1) RMs primarily assess coherence rather than true reasoning quality; (2) The role of explicit problem comprehension in reward assignment is overstated; (3) Current RMs may be more effective at ranking responses than verifying logical validity. Our results suggest a fundamental limitation in existing reward modeling approaches, emphasizing the need for a shift toward causality-aware reward models that go beyond consistency-driven evaluation.