Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments
作者: Roland Daynauth, Jason Mars
分类: cs.CL, cs.AI, cs.HC
发布日期: 2024-07-05
💡 一句话要点
提出一种校准方法，减轻语言模型评估中token数量偏差，提升与人类偏好对齐度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型评估 偏差校正 人类偏好对齐 自动评估 token数量偏差
📋 核心要点
- 现有自动评估器在评估语言模型时存在偏差，倾向于给予生成token数量较多的模型更高的评价，与人类偏好不符。
- 该论文提出一种基于贝叶斯统计和t检验的校准方法，用于调整LLM评估器，减轻token数量偏差的影响。
- 实验结果表明，校准后的LLM评估器与人类评估的对齐度显著提高，例如在推荐用例中Spearman相关性从-27.27提升至44.55。
📝 摘要（中文）
SLAM论文表明，设备端小型语言模型(SLM)是基于API的大型语言模型(LLM)（如OpenAI的GPT-4）的可行且经济高效的替代方案，提供相当的性能和稳定性。然而，SLAM也发现了人类偏好与传统自动评估器之间的差异。本文通过解决偏差（特别是对较高token数量的偏好）来探索使LLM评估器偏好与人类评估对齐的方法。我们采用贝叶斯统计和t检验来量化这种偏差，并开发了一种重新校准程序来调整GPTScorer。我们的发现显著提高了重新校准的LLM评估器与人类评估在多个用例中的对齐。例如，推荐用例中的Spearman等级相关性从-27.27提高到44.55。这些结果突出了在自动评估中考虑偏差以确保公平和准确的模型评估的重要性。重新校准过程增强了自动评估器的可靠性，从而产生更好的人工智能模型，与人类价值观和期望相符。这项研究为未来偏差校正研究提供了一种稳健的方法，并强调了开发与人类对齐的AI评估系统的可行性和益处。
🔬 方法详解
问题定义：现有的大型语言模型自动评估器在评估语言模型时，存在token数量偏差，即倾向于给生成token数量更多的模型更高的评分，而这种偏好与人类的真实偏好存在差异。这种偏差会导致模型评估结果不准确，影响模型的选择和优化。现有方法未能有效解决这一问题，导致自动评估结果与人类评估结果不一致。
核心思路：该论文的核心思路是识别并量化LLM评估器中的token数量偏差，然后通过校准过程来调整评估器的评分，使其与人类偏好更加一致。具体来说，首先使用贝叶斯统计和t检验来量化token数量与评估分数之间的关系，从而确定偏差的大小。然后，设计一种重新校准程序，根据量化的偏差来调整GPTScorer的评分，从而减轻token数量偏差的影响。
技术框架：该论文的技术框架主要包括以下几个步骤：1) 使用贝叶斯统计和t检验量化LLM评估器中的token数量偏差；2) 设计重新校准程序，根据量化的偏差调整GPTScorer的评分；3) 在多个用例中评估校准后的LLM评估器与人类评估的对齐度。整体流程是先分析偏差，再进行校准，最后评估效果。
关键创新：该论文的关键创新在于提出了一种基于统计分析的校准方法，用于减轻LLM评估器中的token数量偏差。与现有方法相比，该方法能够更准确地量化偏差的大小，并根据偏差进行针对性的校准，从而显著提高LLM评估器与人类评估的对齐度。该方法不需要额外的训练数据或复杂的模型结构，易于实现和应用。
关键设计：论文的关键设计包括：1) 使用贝叶斯统计和t检验来量化token数量偏差，具体方法未知；2) 设计重新校准程序，根据量化的偏差调整GPTScorer的评分，具体调整公式未知；3) 在多个用例中评估校准后的LLM评估器与人类评估的对齐度，使用Spearman等级相关性作为评估指标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该论文提出的校准方法能够显著提高LLM评估器与人类评估的对齐度。例如，在推荐用例中，Spearman等级相关性从-27.27提高到44.55。这些结果表明，该方法能够有效减轻token数量偏差，提高自动评估的准确性和可靠性，为构建更符合人类偏好的AI系统提供了有力支持。
🎯 应用场景
该研究成果可应用于各种需要自动评估语言模型的场景，例如模型开发、模型选择、模型优化等。通过减轻token数量偏差，可以提高自动评估的准确性和可靠性，从而更好地指导模型开发和选择，最终提升人工智能系统的性能和用户体验。该方法还有助于构建更公平、更符合人类价值观的AI评估体系。
📄 摘要（原文）
The SLAM paper demonstrated that on-device Small Language Models (SLMs) are a viable and cost-effective alternative to API-based Large Language Models (LLMs), such as OpenAI's GPT-4, offering comparable performance and stability. However, SLAM also identified discrepancies between human preferences and traditional auto-evaluators. This follow-up paper explores methods to align LLM evaluator preferences with human evaluations by addressing biases, particularly toward higher token counts. We employed Bayesian statistics and a t-test to quantify this bias and developed a recalibration procedure to adjust the GPTScorer. Our findings significantly improve aligning the recalibrated LLM evaluator with human evaluations across multiple use cases. For instance, spearman's ranking correlation score in the Recommendation use case improved from -27.27 to 44.55. These results highlight the importance of accounting for biases in automated evaluations to ensure fair and accurate model assessments. The recalibration process enhances the reliability of automated evaluators, leading to better AI models that align with human values and expectations. This study provides a robust methodology for future research into bias correction and emphasizes the feasibility and benefits of developing human-aligned AI evaluation systems.