ExPerT: Effective and Explainable Evaluation of Personalized Long-Form Text Generation
作者: Alireza Salemi, Julian Killingback, Hamed Zamani
分类: cs.CL, cs.AI, cs.IR
发布日期: 2025-01-24 (更新: 2025-05-31)
💡 一句话要点
ExPerT：一种有效且可解释的个性化长文本生成评估框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化文本生成 文本评估 可解释性 大型语言模型 原子方面
📋 核心要点
- 个性化文本生成评估面临挑战，因为只有prompt作者才能可靠评估，且难以重复利用同一批用户。
- ExPerT框架通过提取文本的原子方面并匹配，基于内容和风格评估生成文本与参考文本的对齐程度。
- 实验表明，ExPerT与人类判断的对齐度提升7.2%，且人类评估者对其解释的可用性评价很高。
📝 摘要（中文）
本文提出了一种名为ExPerT的可解释的、基于参考的评估框架，旨在解决评估大型语言模型(LLM)生成的个性化文本的挑战。由于只有LLM用户（即prompt作者）才能可靠地评估输出，而跨研究重复利用同一批用户是不可行的。ExPerT利用LLM从生成文本和参考文本中提取原子方面及其证据，匹配这些方面，并基于内容和写作风格（个性化文本生成的两个关键属性）评估它们的对齐情况。此外，ExPerT为评估过程的每一步生成详细的、细粒度的解释，从而增强透明性和可解释性。实验表明，与最先进的文本生成评估方法相比，ExPerT在与人类判断的对齐方面实现了7.2%的相对改进。此外，人类评估者对ExPerT解释的可用性评分为4.7（满分5分），突显了其在使评估决策更具可解释性方面的有效性。
🔬 方法详解
问题定义：个性化长文本生成的自动评估是一个难题。现有方法难以准确捕捉个性化文本的细微差别，因为评估标准高度依赖于用户的个人偏好和上下文。传统的评估指标往往无法有效衡量生成文本与用户期望的对齐程度，并且缺乏可解释性，难以理解评估结果背后的原因。
核心思路：ExPerT的核心思路是利用大型语言模型（LLM）的强大能力，将评估过程分解为一系列可解释的步骤。通过提取生成文本和参考文本中的原子方面（atomic aspects）及其证据，并进行细粒度的匹配和对齐评估，ExPerT能够更准确地捕捉个性化文本的质量。同时，ExPerT提供详细的解释，增强了评估过程的透明性和可信度。
技术框架：ExPerT框架包含以下主要模块：1) 方面提取模块：使用LLM从生成文本和参考文本中提取原子方面及其对应的证据。2) 方面匹配模块：将生成文本和参考文本中的方面进行匹配，确定哪些方面是相关的。3) 对齐评估模块：基于内容和写作风格，评估匹配的方面之间的对齐程度。4) 解释生成模块：为评估过程的每一步生成详细的解释，说明评估结果的原因。
关键创新：ExPerT的关键创新在于其可解释性和细粒度的评估方法。与传统的黑盒评估指标不同，ExPerT通过提取原子方面并提供详细的解释，使得评估过程更加透明和可信。此外，ExPerT同时考虑了内容和写作风格，更全面地评估了个性化文本的质量。
关键设计：ExPerT使用预训练的LLM（具体模型未知）作为其核心引擎，用于方面提取、匹配和对齐评估。在方面提取阶段，需要设计合适的prompt来引导LLM提取相关的原子方面。在对齐评估阶段，需要定义合适的相似度度量方法来衡量内容和写作风格的对齐程度。损失函数和网络结构等技术细节在论文中未明确说明。
🖼️ 关键图片
📊 实验亮点
ExPerT在与人类判断的对齐方面实现了7.2%的相对改进，优于现有的文本生成评估方法。此外，人类评估者对ExPerT提供的解释的可用性评分为4.7（满分5分），表明ExPerT能够有效地提高评估结果的可解释性。这些结果表明，ExPerT是一种有效且可解释的个性化文本生成评估框架。
🎯 应用场景
ExPerT框架可应用于各种个性化文本生成场景，例如个性化故事生成、个性化推荐信生成、个性化对话生成等。该框架能够帮助开发者更好地评估和改进个性化文本生成模型，提高生成文本的质量和用户满意度。此外，ExPerT的可解释性使其能够用于诊断模型的问题，并指导模型的改进方向。未来，ExPerT可以扩展到其他类型的文本生成任务，并与其他评估指标相结合，构建更全面、更可靠的文本生成评估体系。
📄 摘要（原文）
Evaluating personalized text generated by large language models (LLMs) is challenging, as only the LLM user, i.e., prompt author, can reliably assess the output, but re-engaging the same individuals across studies is infeasible. This paper addresses the challenge of evaluating personalized text generation by introducing ExPerT, an explainable reference-based evaluation framework. ExPerT leverages an LLM to extract atomic aspects and their evidence from the generated and reference texts, match the aspects, and evaluate their alignment based on content and writing style -- two key attributes in personalized text generation. Additionally, ExPerT generates detailed, fine-grained explanations for every step of the evaluation process, enhancing transparency and interpretability. Our experiments demonstrate that ExPerT achieves a 7.2% relative improvement in alignment with human judgments compared to the state-of-the-art text generation evaluation methods. Furthermore, human evaluators rated the usability of ExPerT's explanations at 4.7 out of 5, highlighting its effectiveness in making evaluation decisions more interpretable.