From Lists to Emojis: How Format Bias Affects Model Alignment
作者: Xuanchang Zhang, Wei Xiong, Lichang Chen, Tianyi Zhou, Heng Huang, Tong Zhang
分类: cs.CL, cs.LG
发布日期: 2024-09-18 (更新: 2025-05-23)
备注: Working in progress
💡 一句话要点
揭示并利用格式偏见提升模型对齐效果，强调解耦内容与格式的重要性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 格式偏见 强化学习 人类反馈 大型语言模型 模型对齐 偏好模型 奖励模型
📋 核心要点
- 现有偏好模型（包括人类评估和GPT-4）存在对特定格式的偏见，如列表、链接和表情符号，导致模型评估失真。
- 通过少量有偏见的数据注入，可以显著影响奖励模型，表明格式偏见在RLHF中具有很强的影响力。
- 下游对齐算法易于利用格式偏见，通过操纵格式而非提升内容质量来获得更高排名，突显解耦格式与内容的重要性。
📝 摘要（中文）
本文研究了从人类反馈中强化学习(RLHF)中的格式偏见。研究发现，许多广泛使用的偏好模型，包括人类评估者、GPT-4以及RewardBench基准测试中的顶级模型，都对特定的格式模式表现出强烈的偏见，例如列表、链接、粗体文本和表情符号。大型语言模型(LLM)可以利用这些偏见，在AlpacaEval和LMSYS Chatbot Arena等流行基准测试中获得更高的排名。一个显著的例子是冗长偏见，即当前的偏好模型倾向于更长的响应，认为它们更全面，即使它们的质量与更短的响应相同或更低。本文扩展了对偏好学习中偏见的研究，超越了常见的长度偏见，提供了对更广泛的格式偏见的全面分析。此外，研究表明，只需少量有偏见的数据（不到1%），就可以将显著的偏见注入到奖励模型中。这些格式偏见也很容易被下游对齐算法利用，例如best-of-n抽样和在线迭代DPO，因为操纵格式通常比提高响应质量更容易。研究结果强调了在设计对齐算法和评估模型时，解耦格式和内容的需求。
🔬 方法详解
问题定义：论文旨在解决在从人类反馈中强化学习（RLHF）过程中，由于偏好模型（包括人类评估者和大型语言模型）对特定格式（如列表、链接、粗体文本、表情符号等）的偏见，导致模型评估和对齐出现偏差的问题。现有方法主要关注内容质量的提升，忽略了格式偏见的影响，使得模型可以通过操纵格式而非提升内容来获得更高的奖励，从而误导模型的学习方向。
核心思路：论文的核心思路是揭示并量化格式偏见对偏好模型的影响，证明即使是少量有偏见的数据也能显著影响奖励模型，并展示下游对齐算法如何利用这些偏见。通过分析不同格式对模型偏好的影响，强调在模型评估和对齐过程中解耦格式和内容的重要性，从而更准确地评估模型的能力并引导模型学习。
技术框架：论文主要通过实验分析来研究格式偏见。首先，通过分析现有偏好模型（如GPT-4和RewardBench上的模型）对不同格式的偏好程度，揭示格式偏见的存在。然后，通过注入少量有偏见的数据到奖励模型中，观察奖励模型对格式的敏感程度。最后，通过下游对齐算法（如best-of-n抽样和在线迭代DPO），验证模型可以利用格式偏见来获得更高的奖励。整个框架侧重于实验验证和分析，而非提出新的算法或模型。
关键创新：论文最重要的技术创新点在于系统性地研究了RLHF中格式偏见的影响，超越了以往研究中常见的长度偏见，扩展到列表、链接、粗体文本、表情符号等多种格式。论文证明了格式偏见对偏好模型和下游对齐算法具有显著影响，强调了在模型评估和对齐过程中解耦格式和内容的重要性。
关键设计：论文的关键设计在于实验设置，包括：1) 选择具有代表性的偏好模型（如GPT-4和RewardBench上的模型）进行分析；2) 设计实验来量化不同格式对模型偏好的影响；3) 通过注入少量有偏见的数据来评估奖励模型的敏感程度；4) 使用下游对齐算法验证模型利用格式偏见的能力。论文没有涉及具体的参数设置、损失函数或网络结构等技术细节，而是侧重于实验设计和结果分析。
🖼️ 关键图片
📊 实验亮点
研究表明，即使使用不到1%的有偏见数据，也能显著影响奖励模型，使其对特定格式产生强烈偏好。此外，下游对齐算法（如best-of-n抽样和在线迭代DPO）能够轻松利用这些格式偏见，通过操纵格式而非提升内容质量来获得更高奖励。
🎯 应用场景
该研究成果可应用于改进大型语言模型的对齐训练和评估。通过消除或减轻格式偏见，可以更准确地评估模型的内容质量，并引导模型学习更有价值的知识。这有助于开发更可靠、更符合人类价值观的AI系统，并提升其在对话系统、内容生成等领域的应用效果。
📄 摘要（原文）
In this paper, we study format biases in reinforcement learning from human feedback (RLHF). We observe that many widely-used preference models, including human evaluators, GPT-4, and top-ranking models on the RewardBench benchmark, exhibit strong biases towards specific format patterns, such as lists, links, bold text, and emojis. Furthermore, large language models (LLMs) can exploit these biases to achieve higher rankings on popular benchmarks like AlpacaEval and LMSYS Chatbot Arena. One notable example of this is verbosity bias, where current preference models favor longer responses that appear more comprehensive, even when their quality is equal to or lower than shorter, competing responses. However, format biases beyond verbosity remain largely underexplored in the literature. In this work, we extend the study of biases in preference learning beyond the commonly recognized length bias, offering a comprehensive analysis of a wider range of format biases. Additionally, we show that with a small amount of biased data (less than 1%), we can inject significant bias into the reward model. Moreover, these format biases can also be easily exploited by downstream alignment algorithms, such as best-of-n sampling and online iterative DPO, as it is usually easier to manipulate the format than to improve the quality of responses. Our findings emphasize the need to disentangle format and content both for designing alignment algorithms and evaluating models.