Is my Meeting Summary Good? Estimating Quality with a Multi-LLM Evaluator

📄 arXiv: 2411.18444v1 📥 PDF

作者: Frederic Kirstein, Terry Ruas, Bela Gipp

分类: cs.CL, cs.AI

发布日期: 2024-11-27

期刊: COLING 2025 Industry Track

💡 一句话要点

提出MESA：一种基于多LLM评估器的会议总结质量评估框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 会议总结评估 大型语言模型 多智能体系统 自然语言生成 质量评估

📋 核心要点

  1. 现有会议总结质量评估指标（如ROUGE）与人类判断相关性低，无法捕捉细微错误。
  2. MESA框架通过多LLM协作，分步骤评估错误类型，并进行自训练以对齐人类判断。
  3. 实验表明，MESA在错误检测和质量评估方面显著优于现有方法，且能适应自定义错误指南。

📝 摘要（中文）

自动评估自然语言生成（NLG）系统生成的会议总结质量非常困难。诸如ROUGE和BERTScore等已有的指标与人类判断的相关性较低，并且无法捕捉细微的错误。最近的研究表明，使用大型语言模型（LLM）具有更好的上下文理解能力，并且无需大量人工标注数据即可适应错误定义。然而，目前基于LLM的评估器可能掩盖错误，只能作为一种弱代理，使得人工评估仍然是黄金标准，但成本高昂且难以在不同研究之间进行比较。本文提出了MESA，一个基于LLM的框架，它采用三步评估个体错误类型、多智能体讨论以改进决策，以及基于反馈的自训练来完善错误定义理解并与人类判断对齐。实验表明，MESA的组件能够实现彻底的错误检测、一致的评分以及适应自定义错误指南。使用GPT-4o作为骨干，MESA在错误检测中实现了与人类判断的中高Point-Biserial相关性，在反映错误对总结质量的影响方面实现了中等的Spearman和Kendall相关性，平均比以前的方法高0.25。该框架在适应自定义错误指南方面的灵活性使其适用于各种具有有限人工标注数据的任务。

🔬 方法详解

问题定义：论文旨在解决自动评估会议总结质量的问题。现有方法，如ROUGE和BERTScore，无法准确反映人类对总结质量的判断，并且对细微的错误不敏感。人工评估虽然准确，但成本高昂且难以规模化应用。基于LLM的评估器虽然有所改进，但仍存在掩盖错误和作为弱代理的问题。

核心思路：MESA的核心思路是利用多个LLM智能体，通过分步骤的错误类型评估、多智能体讨论和反馈式自训练，来模拟人类评估过程，从而更准确地评估会议总结的质量。这种方法旨在提高错误检测的彻底性、评分的一致性，并使评估器能够适应自定义的错误指南。

技术框架：MESA框架包含三个主要步骤：1) 错误类型评估：使用LLM评估器检测总结中存在的特定类型的错误。2) 多智能体讨论：多个LLM智能体就评估结果进行讨论，以改进决策并减少偏差。3) 反馈式自训练：利用讨论结果作为反馈，对LLM评估器进行自训练，以提高其对错误定义的理解并与人类判断对齐。

关键创新：MESA的关键创新在于其多智能体协作和反馈式自训练机制。通过多智能体讨论，可以减少单个LLM的偏差，提高评估的客观性。反馈式自训练则可以使LLM评估器不断学习和适应，从而更好地理解错误定义并与人类判断对齐。

关键设计：MESA使用GPT-4o作为其骨干LLM。在错误类型评估阶段，需要定义具体的错误类型和评估标准。多智能体讨论阶段需要设计有效的讨论策略，例如多数投票或共识机制。反馈式自训练阶段需要选择合适的损失函数和优化算法，以提高LLM评估器的性能。论文中可能还涉及一些prompt工程的细节，以引导LLM进行更准确的评估，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MESA使用GPT-4o作为骨干，在错误检测中实现了与人类判断的中高Point-Biserial相关性，在反映错误对总结质量的影响方面实现了中等的Spearman和Kendall相关性，平均比以前的方法高0.25。这些结果表明，MESA在评估会议总结质量方面显著优于现有方法。

🎯 应用场景

MESA框架可应用于各种需要自动评估文本摘要质量的场景，例如自动会议记录、新闻摘要、文档摘要等。它能够帮助用户快速识别和改进摘要中的错误，提高摘要的质量和可用性。此外，该框架还可以用于训练和评估新的摘要生成模型，从而推动自动摘要技术的发展。MESA的灵活性使其能够适应不同的任务和错误指南，具有广泛的应用前景。

📄 摘要（原文）

The quality of meeting summaries generated by natural language generation (NLG) systems is hard to measure automatically. Established metrics such as ROUGE and BERTScore have a relatively low correlation with human judgments and fail to capture nuanced errors. Recent studies suggest using large language models (LLMs), which have the benefit of better context understanding and adaption of error definitions without training on a large number of human preference judgments. However, current LLM-based evaluators risk masking errors and can only serve as a weak proxy, leaving human evaluation the gold standard despite being costly and hard to compare across studies. In this work, we present MESA, an LLM-based framework employing a three-step assessment of individual error types, multi-agent discussion for decision refinement, and feedback-based self-training to refine error definition understanding and alignment with human judgment. We show that MESA's components enable thorough error detection, consistent rating, and adaptability to custom error guidelines. Using GPT-4o as its backbone, MESA achieves mid to high Point-Biserial correlation with human judgment in error detection and mid Spearman and Kendall correlation in reflecting error impact on summary quality, on average 0.25 higher than previous methods. The framework's flexibility in adapting to custom error guidelines makes it suitable for various tasks with limited human-labeled data.