Incentivizing Truthful Language Models via Peer Elicitation Games

📄 arXiv: 2505.13636v2 📥 PDF

作者: Baiting Chen, Tong Zhu, Jiale Han, Lexin Li, Gang Li, Xiaowu Dai

分类: cs.LG, cs.AI, cs.GT

发布日期: 2025-05-19 (更新: 2025-10-19)

💡 一句话要点

提出基于博弈论的Peer Elicitation Games，无需微调即可提升LLM的事实准确性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 事实性 博弈论 同伴评估 无监督学习

📋 核心要点

  1. 大型语言模型虽然强大，但存在事实不一致和产生幻觉的问题，降低了其可靠性。
  2. 论文提出Peer Elicitation Games (PEG)框架，通过博弈论机制激励LLM生成更真实的信息，无需额外训练。
  3. 实验结果表明，PEG框架能显著提升LLM在多个基准测试中的事实准确性，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）展现了强大的生成能力，但仍然容易出现不一致和幻觉。我们引入了Peer Elicitation Games（PEG），这是一个无需训练、基于博弈论的框架，通过涉及一个生成器和多个由不同基础模型实例化的判别器的同伴引诱机制来对齐LLM。判别器在同伴评估环境中交互，其中效用是使用基于行列式的互信息分数计算的，该分数可以证明激励真实报告，而无需真实标签。我们建立了理论保证，表明每个代理通过在线学习，实现了亚线性遗憾，即它们的累积性能接近事后看来最佳的固定真实策略。此外，我们证明了最后一次迭代收敛到真实的纳什均衡，确保代理使用的实际策略随着时间的推移收敛到稳定和真实的行为。跨多个基准的实证评估表明事实准确性得到了显着提高。这些结果将PEG定位为一种实用的方法，可以在没有监督或微调的情况下从LLM中引出真实行为。

🔬 方法详解

问题定义：大型语言模型（LLMs）虽然在文本生成方面表现出色，但常常会产生与事实不符的内容，即“幻觉”。现有的提升LLM事实性的方法通常需要大量的标注数据进行微调，成本高昂且泛化能力有限。因此，如何在不依赖大量标注数据的情况下，提升LLM生成内容的真实性是一个重要的挑战。

核心思路：论文的核心思路是利用博弈论中的激励机制，设计一个“同伴引诱”框架，让多个LLM（作为判别器）互相评估彼此生成的内容，并根据评估结果给予奖励或惩罚。通过这种方式，促使LLM生成更真实、更可靠的信息，从而获得更高的奖励。这种方法的核心在于设计合适的奖励函数，使其能够激励LLM说真话。

技术框架：PEG框架包含一个生成器和多个判别器。生成器负责生成文本，判别器负责评估生成器和其他判别器生成文本的真实性。判别器之间的评估构成一个博弈，每个判别器的目标是最大化自己的效用。效用函数基于行列式的互信息分数，用于衡量判别器之间的评估一致性。整个框架通过在线学习的方式进行迭代，每个agent根据历史经验调整策略，最终达到纳什均衡。

关键创新：PEG的关键创新在于其无需ground-truth标签即可激励LLM生成真实信息。传统的监督学习方法需要大量的标注数据，而PEG通过巧妙设计的博弈机制，利用判别器之间的相互评估来引导LLM学习真实性。此外，基于行列式的互信息分数的设计，能够有效地衡量判别器之间的一致性，并作为奖励函数的依据。

关键设计：PEG的关键设计在于效用函数的设计，即基于行列式的互信息分数。具体来说，假设有n个判别器，每个判别器对生成器生成的文本给出一个评分。将这些评分构成一个矩阵，然后计算该矩阵的行列式。行列式的绝对值越大，表示判别器之间的评估一致性越高，反之则表示一致性越低。因此，可以将行列式的绝对值作为奖励函数，激励判别器给出更一致的评估结果，从而引导生成器生成更真实的信息。此外，论文还证明了该效用函数能够保证每个agent通过在线学习，实现亚线性遗憾，并最终收敛到真实的纳什均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PEG框架在多个基准测试中显著提升了LLM的事实准确性。例如，在TruthfulQA数据集上，PEG框架将LLM的事实准确性提高了10%以上，超过了现有的许多监督学习方法。此外，实验还验证了PEG框架的理论保证，即每个agent通过在线学习，能够实现亚线性遗憾，并最终收敛到真实的纳什均衡。

🎯 应用场景

PEG框架可应用于各种需要LLM生成可靠信息的场景，例如智能客服、新闻报道、科学研究等。通过提升LLM的事实准确性，可以减少错误信息的传播，提高决策的质量，并促进知识的发现。未来，该方法有望扩展到其他类型的生成模型，并与其他技术相结合，进一步提升LLM的性能。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated strong generative capabilities but remain prone to inconsistencies and hallucinations. We introduce Peer Elicitation Games (PEG), a training-free, game-theoretic framework for aligning LLMs through a peer elicitation mechanism involving a generator and multiple discriminators instantiated from distinct base models. Discriminators interact in a peer evaluation setting, where utilities are computed using a determinant-based mutual information score that provably incentivizes truthful reporting without requiring ground-truth labels. We establish theoretical guarantees showing that each agent, via online learning, achieves sublinear regret in the sense their cumulative performance approaches that of the best fixed truthful strategy in hindsight. Moreover, we prove last-iterate convergence to a truthful Nash equilibrium, ensuring that the actual policies used by agents converge to stable and truthful behavior over time. Empirical evaluations across multiple benchmarks demonstrate significant improvements in factual accuracy. These results position PEG as a practical approach for eliciting truthful behavior from LLMs without supervision or fine-tuning.