Three Models of RLHF Annotation: Extension, Evidence, and Authority

📄 arXiv: 2604.25895v1 📥 PDF

作者: Steve Coyne

分类: cs.CY, cs.AI, cs.CL

发布日期: 2026-04-28

备注: 17 pages. Accepted to ACM FAccT '26, June 25-28, Montreal

DOI: 10.1145/3805689.3812225

💡 一句话要点

提出RLHF标注的三种模型，优化人类反馈强化学习流程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类反馈强化学习 RLHF 标注模型 语言模型对齐 偏好学习

📋 核心要点

  1. 现有RLHF方法对人类标注的规范性角色缺乏明确定义，导致流程设计和结果评估存在偏差。
  2. 论文提出扩展、证据和权威三种标注模型，分别对应不同的标注者角色和判断依据。
  3. 建议将标注分解为多个维度，并为每个维度选择最合适的标注模型，优化RLHF流程。

📝 摘要（中文）

基于偏好的对齐方法，特别是人类反馈强化学习（RLHF），利用人类标注者的判断来塑造大型语言模型的行为。然而，这些判断的规范性作用很少被明确说明。本文区分了该作用的三种概念模型：扩展，标注者扩展系统设计者对输出的判断；证据，标注者提供关于某些事实（道德、社会或其他）的独立证据；权威，标注者作为更广泛人群的代表，具有确定系统输出的独立权威。这些模型对RLHF流程如何征集、验证和聚合标注具有影响。本文调研了RLHF及相关方法的代表性论文，说明它们如何隐含地利用这些模型，描述了无意或有意混淆它们导致的失败模式，并为选择模型提供了规范性标准。核心建议是，RLHF流程设计者应将标注分解为可分离的维度，并为每个维度定制最合适的模型，而不是寻求单一的统一流程。

🔬 方法详解

问题定义：现有RLHF方法在利用人类反馈时，往往忽略了标注者判断的规范性来源，即标注者的判断是基于设计者的意图、客观事实的证据，还是代表了某种社会权威。这种混淆可能导致标注流程设计不合理，例如，将道德判断和事实判断混为一谈，或者未能充分利用标注者的专业知识。现有方法缺乏对不同类型标注的区分和针对性处理。

核心思路：论文的核心思路是将人类标注在RLHF中的作用解构为三种不同的模型：扩展（Extension）、证据（Evidence）和权威（Authority）。每种模型对应着不同的标注者角色和判断依据。通过明确标注的类型，可以更好地设计标注流程，提高标注质量，并更有效地利用人类反馈来对齐语言模型。

技术框架：论文并没有提出一个具体的算法框架，而是一个概念框架，用于分析和设计RLHF流程。该框架的核心是区分三种标注模型，并根据不同的模型选择合适的标注策略。具体来说，对于扩展模型，标注者需要理解设计者的意图并进行判断；对于证据模型，标注者需要提供关于客观事实的证据；对于权威模型，标注者需要代表特定人群的价值观。论文建议将标注任务分解为多个维度，并为每个维度选择最合适的模型。

关键创新：论文的关键创新在于提出了RLHF标注的三种模型，并分析了它们对RLHF流程设计的影响。这种区分有助于更清晰地理解人类反馈在对齐语言模型中的作用，并为设计更有效的RLHF流程提供了理论基础。与现有方法相比，该论文强调了标注的规范性来源，并提出了针对不同类型标注的定制化处理策略。

关键设计：论文并没有涉及具体的参数设置或网络结构。关键设计在于如何根据不同的标注模型设计标注流程。例如，对于证据模型，需要设计清晰的标注指南，确保标注者能够提供客观的证据；对于权威模型，需要选择具有代表性的标注者，并确保标注结果能够反映目标人群的价值观。此外，论文还强调了标注验证和聚合的重要性，以确保标注质量和一致性。

📊 实验亮点

论文提出了RLHF标注的三种模型，并分析了它们对RLHF流程设计的影响。通过对现有RLHF论文的分析，展示了这些模型在实践中的应用，并指出了混淆这些模型可能导致的失败模式。虽然没有提供具体的性能数据，但该研究为设计更有效的RLHF流程提供了重要的理论指导。

🎯 应用场景

该研究成果可应用于各种需要人类反馈来对齐语言模型的场景，例如对话系统、文本生成和内容审核。通过区分不同的标注模型，可以更有效地利用人类反馈，提高模型的性能和安全性，并更好地满足用户的需求。该研究还有助于提高RLHF流程的透明度和可解释性。

📄 摘要（原文）

Preference-based alignment methods, most prominently Reinforcement Learning with Human Feedback (RLHF), use the judgments of human annotators to shape large language model behaviour. However, the normative role of these judgments is rarely made explicit. I distinguish three conceptual models of that role. The first is extension: annotators extend the system designers' own judgments about what outputs should be. The second is evidence: annotators provide independent evidence about some facts, whether moral, social or otherwise. The third is authority: annotators have some independent authority (as representatives of the broader population) to determine system outputs. I argue that these models have implications for how RLHF pipelines should solicit, validate and aggregate annotations. I survey landmark papers in the literature on RLHF and related methods to illustrate how they implicitly draw on these models, describe failure modes that come from unintentionally or intentionally conflating them, and offer normative criteria for choosing among them. My central recommendation is that RLHF pipeline designers should decompose annotation into separable dimensions and tailor each pipeline to the model most appropriate for that dimension, rather than seeking a single unified pipeline.