Evaluating the Diversity and Quality of LLM Generated Content

📄 arXiv: 2504.12522v1 📥 PDF

作者: Alexander Shypula, Shuo Li, Botong Zhang, Vishakh Padmakumar, Kayo Yin, Osbert Bastani

分类: cs.CL, cs.AI

发布日期: 2025-04-16

备注: ICLR 2025 Third Workshop on Deep Learning for Code

💡 一句话要点

提出有效语义多样性评估框架，揭示偏好调整模型在高质量内容生成中的优势

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多样性评估 语义多样性 偏好调整 强化学习 高质量生成 合成数据

📋 核心要点

  1. 现有偏好调整技术（如RLHF）在提升LLM性能的同时，可能降低生成内容的多样性，这与需要多样化输出的应用需求相悖。
  2. 论文提出一种评估“有效语义多样性”的框架，即衡量满足质量阈值的输出之间的多样性，更贴近LLM的实际应用价值。
  3. 实验表明，偏好调整模型虽然词汇和句法多样性降低，但能生成更多高质量输出，从而实现更高的有效语义多样性。

📝 摘要（中文）

本文提出了一种评估大型语言模型（LLM）生成内容有效语义多样性的框架，该框架关注满足质量阈值的输出之间的多样性，从而更好地反映LLM的实际效用。通过无需人工干预的开放式任务，研究发现偏好调整模型（尤其是通过强化学习训练的模型）虽然在词汇和句法多样性上有所降低，但其有效语义多样性高于SFT或基础模型。这并非源于高质量输出的多样性增加，而是因为偏好调整模型能够生成更多的高质量输出。研究还发现，偏好调整在降低句法多样性的同时保留了语义多样性，揭示了形式多样性和内容多样性之间的区别，而传统指标往往忽略这一点。此外，较小的模型在固定采样预算内生成独特内容时，通常具有更高的参数效率。这些发现对于需要多样化且高质量输出的应用（如创意辅助和合成数据生成）具有重要意义。

🔬 方法详解

问题定义：现有评估LLM生成内容多样性的方法，如词汇多样性或句法多样性，无法准确反映LLM在实际应用中的效用。偏好调整模型（如通过RLHF训练的模型）虽然在某些指标上表现更好，但往往会牺牲生成内容的多样性，这对于需要多样化输出的应用来说是一个问题。因此，需要一种更有效的评估方法，能够衡量LLM生成高质量内容的多样性。

核心思路：论文的核心思路是关注“有效语义多样性”，即在满足一定质量阈值的输出中，语义上的多样性。这种方法认为，只有高质量的输出才具有实际价值，因此多样性评估应该集中在这些高质量的输出上。通过这种方式，可以更准确地评估LLM在实际应用中的多样性生成能力。

技术框架：该框架主要包含以下几个步骤：1) 使用LLM生成多个输出；2) 使用质量评估指标（如困惑度、奖励分数等）对每个输出进行评分；3) 设定一个质量阈值，筛选出高质量的输出；4) 使用语义相似度指标（如BERTScore、Sentence-BERT等）计算高质量输出之间的语义距离；5) 根据语义距离计算有效语义多样性得分。整个流程无需人工干预，可以自动化评估LLM的生成多样性。

关键创新：该论文的关键创新在于提出了“有效语义多样性”的概念，并构建了一个评估框架。与传统的词汇或句法多样性评估方法不同，该方法关注的是高质量输出之间的语义差异，更贴近LLM的实际应用场景。此外，该框架还能够区分形式多样性和内容多样性，揭示了偏好调整模型在降低句法多样性的同时，保留甚至提升语义多样性的现象。

关键设计：在质量评估方面，可以使用困惑度、奖励分数等指标，也可以使用预训练语言模型进行评分。在语义相似度计算方面，可以使用BERTScore、Sentence-BERT等方法，也可以使用其他语义表示学习技术。质量阈值的设定可以根据具体应用场景进行调整。此外，论文还探讨了模型大小与多样性之间的关系，发现较小的模型在固定采样预算内生成独特内容时，通常具有更高的参数效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，偏好调整模型（尤其是通过强化学习训练的模型）虽然在词汇和句法多样性上有所降低，但其有效语义多样性高于SFT或基础模型。此外，研究还发现，较小的模型在固定采样预算内生成独特内容时，通常具有更高的参数效率。这些发现挑战了传统的多样性评估方法，并为LLM的训练和应用提供了新的思路。

🎯 应用场景

该研究成果可应用于多种需要多样化且高质量输出的场景，如创意写作辅助、合成数据生成、对话系统和推荐系统。通过有效评估和提升LLM的有效语义多样性，可以提高这些应用的用户体验和实用价值，例如，在合成数据生成中，可以生成更多样化的训练数据，从而提升模型的泛化能力。

📄 摘要（原文）

Recent work suggests that preference-tuning techniques--including Reinforcement Learning from Human Preferences (RLHF) methods like PPO and GRPO, as well as alternatives like DPO--reduce diversity, creating a dilemma given that such models are widely deployed in applications requiring diverse outputs. To address this, we introduce a framework for measuring effective semantic diversity--diversity among outputs that meet quality thresholds--which better reflects the practical utility of large language models (LLMs). Using open-ended tasks that require no human intervention, we find counterintuitive results: although preference-tuned models--especially those trained via RL--exhibit reduced lexical and syntactic diversity, they produce greater effective semantic diversity than SFT or base models, not from increasing diversity among high-quality outputs, but from generating more high-quality outputs overall. We discover that preference tuning reduces syntactic diversity while preserving semantic diversity--revealing a distinction between diversity in form and diversity in content that traditional metrics often overlook. Our analysis further shows that smaller models are consistently more parameter-efficient at generating unique content within a fixed sampling budget, offering insights into the relationship between model scaling and diversity. These findings have important implications for applications that require diverse yet high-quality outputs, from creative assistance to synthetic data generation.