Interpreting Language Reward Models via Contrastive Explanations

📄 arXiv: 2411.16502v2 📥 PDF

作者: Junqi Jiang, Tom Bewley, Saumitra Mishra, Freddy Lecue, Manuela Veloso

分类: cs.LG, cs.AI

发布日期: 2024-11-25 (更新: 2025-02-26)

备注: Accepted at ICLR 2025 conference

💡 一句话要点

提出基于对比解释的语言奖励模型可解释性分析方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型可解释性 对比解释 大型语言模型对齐 属性敏感性分析 黑盒模型解释

📋 核心要点

  1. 现有奖励模型（RM）作为黑盒，缺乏透明度，难以理解其决策过程，阻碍了对LLM对齐的信任。
  2. 该论文提出利用对比解释方法，通过生成相似但不同的比较样本，来分析RM的局部行为，从而解释其决策。
  3. 实验验证了该方法在寻找高质量对比解释方面的有效性，并展示了其在分析RM全局敏感性和比较不同RM行为方面的应用。

📝 摘要（中文）

奖励模型（RM）是使大型语言模型（LLM）的输出与人类价值观对齐的关键组成部分。RM通过预测和比较奖励分数来近似人类对同一提示下LLM可能响应的偏好。然而，由于它们通常是带有标量输出头的LLM的修改版本，因此RM是大型黑盒，其预测无法解释。更透明的RM将提高对LLM对齐的信任。在这项工作中，我们提出使用对比解释来解释RM所做的任何二元响应比较。具体来说，我们生成一组与原始比较相似的新的多样化比较，以表征RM的局部行为。形成新比较的扰动响应被生成为显式地修改手动指定的高级评估属性，RM行为的分析基于这些属性。在定量实验中，我们验证了我们的方法在寻找高质量对比解释方面的有效性。然后，我们展示了我们的方法在研究RM对每个评估属性的全局敏感性的定性用途，并演示了如何自动提取代表性示例来解释和比较不同RM的行为。我们将我们的方法视为RM解释的灵活框架，为更可解释和值得信赖的LLM对齐奠定基础。

🔬 方法详解

问题定义：奖励模型（RM）在对齐大型语言模型（LLM）与人类价值观方面至关重要，但其内部运作机制如同黑盒，缺乏可解释性。现有的RM通常是LLM的变体，输出标量奖励值，难以理解其决策依据，这限制了我们对LLM对齐过程的信任和控制。因此，如何提升RM的可解释性，理解其对不同属性的敏感程度，是当前面临的重要挑战。

核心思路：该论文的核心思路是利用对比解释来揭示RM的决策过程。对比解释通过生成与原始输入相似但略有不同的样本，并观察RM在这些样本上的输出变化，来推断RM对不同特征的依赖关系。具体来说，该方法通过修改与人类价值观相关的高级评估属性（例如，简洁性、正确性），来生成对比样本，并分析RM对这些属性变化的响应。

技术框架：该方法主要包含以下几个阶段：1) 原始比较选择：选择需要解释的RM二元响应比较。2) 属性定义：手动指定用于分析的高级评估属性（例如，简洁性、正确性、相关性）。3) 对比样本生成：基于定义的属性，通过扰动原始响应生成一组新的比较样本。扰动过程旨在显式地修改指定的属性。4) 对比解释提取：分析RM在原始比较和对比样本上的输出差异，提取对RM决策影响最大的属性变化，作为对比解释。5) 全局敏感性分析与代表性示例提取：通过分析大量对比解释，评估RM对每个属性的全局敏感性，并自动提取代表性示例来解释和比较不同RM的行为。

关键创新：该方法的关键创新在于将对比解释应用于RM的可解释性分析。与传统的黑盒解释方法不同，对比解释能够提供更具针对性和可操作性的解释，帮助我们理解RM对特定属性的依赖关系。此外，该方法通过显式地修改高级评估属性，使得解释结果更易于理解和验证。

关键设计：对比样本的生成是该方法中的一个关键设计。为了确保对比样本的质量和多样性，该论文可能采用了多种扰动策略，例如，基于规则的修改、基于模型的生成等。此外，对比解释的提取也需要仔细设计，以确保能够准确地识别对RM决策影响最大的属性变化。具体的损失函数和网络结构等技术细节在论文中可能有所描述，但摘要中未明确提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文通过定量实验验证了所提出的对比解释方法在寻找高质量解释方面的有效性。此外，通过定性分析，展示了该方法在研究RM对不同评估属性的全局敏感性以及比较不同RM行为方面的应用。实验结果表明，该方法能够有效地揭示RM的决策过程，并为LLM的对齐提供有价值的 insights。

🎯 应用场景

该研究成果可应用于提升大型语言模型的可信度和安全性。通过理解奖励模型的决策过程，可以更好地控制LLM的输出，避免生成有害或不符合人类价值观的内容。此外，该方法还可以用于评估和比较不同的奖励模型，选择更可靠的对齐方案，并为LLM的持续改进提供指导。

📄 摘要（原文）

Reward models (RMs) are a crucial component in the alignment of large language models' (LLMs) outputs with human values. RMs approximate human preferences over possible LLM responses to the same prompt by predicting and comparing reward scores. However, as they are typically modified versions of LLMs with scalar output heads, RMs are large black boxes whose predictions are not explainable. More transparent RMs would enable improved trust in the alignment of LLMs. In this work, we propose to use contrastive explanations to explain any binary response comparison made by an RM. Specifically, we generate a diverse set of new comparisons similar to the original one to characterise the RM's local behaviour. The perturbed responses forming the new comparisons are generated to explicitly modify manually specified high-level evaluation attributes, on which analyses of RM behaviour are grounded. In quantitative experiments, we validate the effectiveness of our method for finding high-quality contrastive explanations. We then showcase the qualitative usefulness of our method for investigating global sensitivity of RMs to each evaluation attribute, and demonstrate how representative examples can be automatically extracted to explain and compare behaviours of different RMs. We see our method as a flexible framework for RM explanation, providing a basis for more interpretable and trustworthy LLM alignment.