Do Factuality Methods Make LLMs More Factual? Reproducibility and Fair Comparison

📄 arXiv: 2610.18415v1 📥 PDF

作者: Pratuat Amatya, Vinay Setty, V Venktesh, Avishek Anand

分类: cs.CL, cs.AI

发布日期: 2026-10-13

💡 一句话要点

首次独立复现五种事实性对齐方法以评估其有效性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实性对齐 独立复现 评估指标 自然语言处理

📋 核心要点

  1. 现有的事实性对齐方法缺乏独立复现，且各自使用不同的基础模型和评估标准，导致结果不可比较。
  2. 本文通过独立复现五种事实性对齐方法，并在统一基准上进行比较，旨在评估这些方法的有效性。
  3. 实验结果显示，复现的五种方法均未显著优于基础模型，且奖励机制未能有效优化事实性和相关性。

📝 摘要（中文）

大型语言模型（LLMs）经过预训练和监督微调后与人类偏好对齐。然而，标准的强化学习对齐步骤（如RLHF）未关注LLMs的事实性，可能导致生成不准确的信息。为此，文献中提出了多种事实性对齐方法，声称能提高LLMs的事实性，但这些方法尚未被独立复现且不可比较。本文首次独立复现了五种事实性对齐方法，并在共同基准上进行比较，发现这些方法均未完全复现，且在共同基准上均未显著优于基础模型。进一步分析发现，奖励优化关注格式、长度或简洁性，而非事实性和相关性。评估指标和基准也存在问题，未能有效测量文本与提示的相关性。我们发布了代码、数据和检查点。

🔬 方法详解

问题定义：本文旨在解决现有事实性对齐方法缺乏独立复现和可比性的问题。现有方法在不同的基础模型、训练数据和评估标准下运行，导致结果不一致，难以验证其有效性。

核心思路：论文通过独立复现五种事实性对齐方法，并在统一的基准上进行比较，评估其在提高LLMs事实性方面的实际效果。这样设计的目的是为了提供一个公平的比较平台，揭示各方法的真实表现。

技术框架：整体架构包括对五种方法的复现过程，使用统一的训练数据和评估指标。主要模块包括数据准备、模型训练、评估指标设计和结果分析。

关键创新：本文的主要创新在于首次对五种事实性对齐方法进行独立复现，并在共同基准上进行比较，揭示了这些方法在实际应用中的局限性。与现有方法相比，本文提供了更为严谨的评估框架。

关键设计：在实验中，采用了统一的评估指标，关注文本与提示的相关性。奖励机制的设计未能有效优化事实性，更多地关注格式和简洁性，显示出现有方法的不足之处。实验中还考虑了不同的训练策略（在线与离线），但结果显示其影响有限。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，复现的五种事实性对齐方法在共同基准上均未显著优于基础模型，且在优化奖励时更关注格式和长度，而非事实性和相关性。这一发现强调了现有方法的局限性，并为未来的研究提供了重要的反思方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和信息检索等。通过提高大型语言模型的事实性，能够增强其在实际应用中的可靠性和用户信任度，减少错误信息的传播。未来，改进的事实性对齐方法可能会推动更智能的AI助手和信息生成系统的发展。

📄 摘要（原文）

Large Language Models (LLMs) are aligned to human preferences, after pre-training and supervised fine-tuning steps. However, standard RL alignment steps such as RLHF do not focus on factuality of LLMs, hence they may generate non-factual information, which could result in unintended consequences. In response, a number of factuality alignment approaches have been proposed in the literature which claim to improve factuality of LLMs on their own benchmarks. However, these methods have not been reproduced independently and are also not comparable since each uses a different base model, training data, evaluation set, judge, and metric. In this paper, we present the first independent reproduction of five factuality alignment methods, which span on-policy RL (PPO, GRPO, and Dr.~GRPO) and offline preference optimization (DPO and KTO), and compare them on a common benchmark with common evaluation metrics. We found that none of these methods reproduces in full, and on the common benchmark none of the methods significantly outperforms the base model. On closer inspection, the rewards optimize for format, length, or brevity rather than factuality and relevance, whereas the choice between on-policy and offline training matters little. Furthermore, the evaluation metrics and benchmarks are also part of the problem since they do not measure relevance of text to the prompt. Since there is no ground truth associated with the prompts, the reliance on LLM judges and retrieval for verification also makes the evaluation fragile. We release our code, data, and checkpoints.