Clean First, Align Later: Benchmarking Preference Data Cleaning for Reliable LLM Alignment

📄 arXiv: 2509.23564v2 📥 PDF

作者: Samuel Yeh, Sharon Li

分类: cs.AI, cs.CL

发布日期: 2025-09-28 (更新: 2025-10-14)

备注: NeurIPS 2025

🔗 代码/项目: GITHUB

💡 一句话要点

PrefCleanBench：首个LLM对齐偏好数据清洗基准评测，提升对齐可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM对齐 偏好数据清洗 基准评测 奖励模型 人类反馈

📋 核心要点

  1. 现有LLM对齐方法依赖的人类反馈数据通常包含噪声和不一致性，影响奖励模型质量和对齐效果。
  2. 论文提出PrefCleanBench基准，系统评估13种偏好数据清洗方法在LLM对齐中的有效性和泛化能力。
  3. PrefCleanBench通过标准化协议，在不同数据集、模型架构和优化算法下评估清洗策略，揭示数据清洗成功的关键因素。

📝 摘要（中文）

人类反馈在将大型语言模型（LLMs）与人类偏好对齐方面起着关键作用。然而，这些反馈通常存在噪声或不一致，这会降低奖励模型的质量并阻碍对齐。虽然已经提出了各种自动数据清洗方法来缓解这个问题，但对其有效性和泛化性的系统评估仍然缺乏。为了弥补这一差距，我们推出了首个综合基准，用于评估LLM对齐背景下的13种偏好数据清洗方法。PrefCleanBench提供了一个标准化的协议，用于评估清洗策略在不同数据集、模型架构和优化算法中的对齐性能和泛化性。通过统一不同的方法并严格比较它们，我们发现了决定数据清洗在对齐任务中成功的关键因素。该基准为通过更好的数据质量改进LLM对齐的原则性和可重复方法奠定了基础——突出了数据预处理在负责任的AI开发中至关重要但未被充分探索的作用。我们发布了所有方法的模块化实现，以促进进一步的研究：https://github.com/deeplearning-wisc/PrefCleanBench。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）对齐过程中，由于人类反馈数据中存在的噪声和不一致性，导致奖励模型质量下降和对齐效果不佳的问题。现有方法缺乏对数据清洗策略的系统性评估，难以确定哪些清洗方法在不同场景下有效，以及如何选择合适的清洗方法。

核心思路：论文的核心思路是构建一个全面的基准测试平台PrefCleanBench，用于系统地评估各种偏好数据清洗方法在LLM对齐任务中的性能。通过在不同的数据集、模型架构和优化算法上进行实验，揭示数据清洗方法在不同场景下的有效性和泛化能力，从而为LLM对齐提供更可靠的数据基础。

技术框架：PrefCleanBench包含以下主要模块：1) 数据集：收集并整理多个用于LLM对齐的偏好数据集，涵盖不同的任务和领域。2) 清洗方法：集成13种不同的偏好数据清洗方法，包括基于规则的方法、基于统计的方法和基于机器学习的方法。3) 模型架构：支持多种LLM架构，如Transformer、GPT等，以便评估清洗方法在不同模型上的效果。4) 优化算法：支持多种优化算法，如Adam、SGD等，以便评估清洗方法在不同优化器下的效果。5) 评估指标：采用标准化的评估指标，如奖励模型的准确率、对齐性能等，用于衡量清洗方法的效果。

关键创新：论文的主要创新在于构建了首个针对LLM对齐偏好数据清洗的综合基准测试平台PrefCleanBench。该基准统一了不同的数据清洗方法，并提供了一个标准化的评估协议，使得研究人员可以系统地比较和评估各种清洗方法在不同场景下的性能。此外，论文还开源了所有方法的模块化实现，方便其他研究人员使用和扩展。

关键设计：PrefCleanBench的关键设计包括：1) 数据集的多样性：选择涵盖不同任务和领域的偏好数据集，以评估清洗方法的泛化能力。2) 清洗方法的全面性：集成13种不同的清洗方法，涵盖不同的清洗策略和技术。3) 评估指标的标准化：采用标准化的评估指标，确保评估结果的可比性和可重复性。4) 模块化实现：将所有方法进行模块化实现，方便研究人员使用和扩展。5) 实验设置的严谨性：在不同的模型架构和优化算法下进行实验，以评估清洗方法在不同场景下的效果。

🖼️ 关键图片

img_0

📊 实验亮点

PrefCleanBench对13种偏好数据清洗方法进行了系统评估，揭示了不同方法在不同数据集、模型架构和优化算法下的性能差异。实验结果表明，某些清洗方法在特定场景下能够显著提高奖励模型的准确率和LLM的对齐性能。该基准为选择合适的数据清洗策略提供了重要的参考依据。

🎯 应用场景

该研究成果可广泛应用于大型语言模型的对齐训练，尤其是在需要高质量人类反馈数据的场景下。通过使用PrefCleanBench，研究人员和开发者可以选择合适的偏好数据清洗方法，提高奖励模型的质量，从而提升LLM的对齐性能和可靠性。这对于构建更安全、更符合人类价值观的AI系统具有重要意义。

📄 摘要（原文）

Human feedback plays a pivotal role in aligning large language models (LLMs) with human preferences. However, such feedback is often noisy or inconsistent, which can degrade the quality of reward models and hinder alignment. While various automated data cleaning methods have been proposed to mitigate this issue, a systematic evaluation of their effectiveness and generalizability remains lacking. To bridge this gap, we introduce the first comprehensive benchmark for evaluating 13 preference data cleaning methods in the context of LLM alignment. PrefCleanBench offers a standardized protocol to assess cleaning strategies in terms of alignment performance and generalizability across diverse datasets, model architectures, and optimization algorithms. By unifying disparate methods and rigorously comparing them, we uncover key factors that determine the success of data cleaning in alignment tasks. This benchmark lays the groundwork for principled and reproducible approaches to improving LLM alignment through better data quality-highlighting the crucial but underexplored role of data preprocessing in responsible AI development. We release modular implementations of all methods to catalyze further research: https://github.com/deeplearning-wisc/PrefCleanBench.