Eliciting Informative Text Evaluations with Large Language Models

📄 arXiv: 2405.15077v4 📥 PDF

作者: Yuxuan Lu, Shengwei Xu, Yichi Zhang, Yuqing Kong, Grant Schoenebeck

分类: cs.CL, cs.AI, cs.GT

发布日期: 2024-05-23 (更新: 2024-09-02)

备注: Accepted by the Twenty-Fifth ACM Conference on Economics and Computation (EC'24)

💡 一句话要点

提出生成式对等预测机制，利用大语言模型提升文本评价质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对等预测 大型语言模型 文本评价 反馈激励 贝叶斯纳什均衡

📋 核心要点

  1. 现有对等预测机制局限于简单报告，无法有效处理文本反馈，阻碍了其在同行评审等场景的应用。
  2. 提出生成式对等预测机制（GPPM）和生成式概要对等预测机制（GSPPM），利用LLM预测同行的文本报告。
  3. 实验表明，提出的机制能有效区分不同质量的文本评价，GSPPM在惩罚LLM生成评价方面更有效。

📝 摘要（中文）

对等预测机制旨在通过可证明的保证来激励高质量的反馈。然而，当前的方法仅适用于相对简单的报告，如多项选择或标量数字。本文旨在利用大型语言模型的最新进展，将这些技术扩展到更大的基于文本的报告领域。这将极大地提高对等预测机制的适用性，因为文本反馈在各种反馈渠道中是常态：同行评审、电子商务客户评论和社交媒体评论。我们引入了两种机制，即生成式对等预测机制（GPPM）和生成式概要对等预测机制（GSPPM）。这些机制利用LLM作为预测器，将一个代理的报告映射到对其同行的报告的预测。从理论上讲，我们表明，当LLM预测足够准确时，我们的机制可以激励高努力和说真话，作为（近似）贝叶斯纳什均衡。在经验上，我们通过在两个真实数据集（Yelp评论数据集和ICLR OpenReview数据集）上进行的实验证实了我们机制的有效性。我们重点介绍了在ICLR数据集上的结果，我们的机制可以在预期得分方面区分三个质量级别——人工撰写的评论、GPT-4生成的评论和GPT-3.5生成的评论。此外，GSPPM比GPPM更有效地惩罚LLM生成的评论。

🔬 方法详解

问题定义：论文旨在解决如何激励高质量的文本反馈的问题。现有的对等预测机制主要针对简单的报告形式，如多项选择题或标量数值，无法直接应用于文本评价场景。这限制了其在同行评审、电商评论等领域的应用，因为这些场景通常需要详细的文本反馈。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的文本生成和理解能力，构建生成式的对等预测机制。通过让LLM预测同行的文本报告，并基于预测的准确性来奖励或惩罚评价者，从而激励他们提供更真实、更有价值的反馈。

技术框架：整体框架包含以下几个主要步骤：1) 评价者提交文本报告；2) LLM作为预测器，基于一个评价者的报告预测另一个评价者的报告；3) 基于LLM的预测和实际报告之间的差异，计算奖励或惩罚；4) 评价者根据奖励或惩罚调整其评价策略。论文提出了两种具体的机制：GPPM (Generative Peer Prediction Mechanism) 直接预测完整的文本报告，而 GSPPM (Generative Synopsis Peer Prediction Mechanism) 则预测报告的概要。

关键创新：关键创新在于将LLM引入到对等预测机制中，使其能够处理复杂的文本数据。这极大地扩展了对等预测机制的应用范围，使其能够应用于各种需要文本反馈的场景。此外，GSPPM通过预测概要而非完整报告，降低了预测的难度，提高了机制的稳定性和有效性。

关键设计：GPPM使用LLM直接生成对等报告的预测。GSPPM首先使用LLM生成对等报告的概要，然后将生成的概要与实际报告进行比较。奖励函数的设计需要仔细考虑，以确保能够激励高质量的反馈，同时避免策略性行为。论文在理论上证明，当LLM的预测足够准确时，该机制可以激励高努力和说真话，达到近似贝叶斯纳什均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的机制能够有效区分不同质量的文本评价。在ICLR OpenReview数据集上，该机制能够区分人工撰写的评论、GPT-4生成的评论和GPT-3.5生成的评论，并且GSPPM比GPPM更有效地惩罚LLM生成的评论。这表明该机制具有实际应用价值，能够提高文本评价的质量。

🎯 应用场景

该研究成果可广泛应用于各种需要高质量文本反馈的场景，如学术论文的同行评审、电商平台的商品评论、社交媒体的内容审核等。通过激励用户提供更真实、更有价值的反馈，可以提高信息质量，促进知识共享，改善用户体验。未来，该方法还可以扩展到其他类型的复杂数据，如代码、图像等。

📄 摘要（原文）

Peer prediction mechanisms motivate high-quality feedback with provable guarantees. However, current methods only apply to rather simple reports, like multiple-choice or scalar numbers. We aim to broaden these techniques to the larger domain of text-based reports, drawing on the recent developments in large language models. This vastly increases the applicability of peer prediction mechanisms as textual feedback is the norm in a large variety of feedback channels: peer reviews, e-commerce customer reviews, and comments on social media. We introduce two mechanisms, the Generative Peer Prediction Mechanism (GPPM) and the Generative Synopsis Peer Prediction Mechanism (GSPPM). These mechanisms utilize LLMs as predictors, mapping from one agent's report to a prediction of her peer's report. Theoretically, we show that when the LLM prediction is sufficiently accurate, our mechanisms can incentivize high effort and truth-telling as an (approximate) Bayesian Nash equilibrium. Empirically, we confirm the efficacy of our mechanisms through experiments conducted on two real datasets: the Yelp review dataset and the ICLR OpenReview dataset. We highlight the results that on the ICLR dataset, our mechanisms can differentiate three quality levels -- human-written reviews, GPT-4-generated reviews, and GPT-3.5-generated reviews in terms of expected scores. Additionally, GSPPM penalizes LLM-generated reviews more effectively than GPPM.