Think Together and Work Better: Combining Humans' and LLMs' Think-Aloud Outcomes for Effective Text Evaluation

📄 arXiv: 2409.07355v2 📥 PDF

作者: SeongYeub Chu, JongWoo Kim, MunYong Yi

分类: cs.CL

发布日期: 2024-09-11 (更新: 2025-02-20)

🔗 代码/项目: GITHUB

💡 一句话要点

提出InteractEval框架以提升文本评估效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本评估 大型语言模型 思维大声表达 人机协作 多维度评估

📋 核心要点

  1. 现有的文本评估方法往往缺乏灵活性和深度，难以全面捕捉文本的质量特征。
  2. 本研究提出InteractEval框架，利用人类的思维大声表达与LLM的稳定性相结合，生成多维度的评估属性。
  3. 实验结果表明，InteractEval在连贯性、流畅性、一致性和相关性四个维度上均优于传统方法，提升了文本评估的全面性。

📝 摘要（中文）

本研究提出了InteractEval框架，该框架结合了人类专家和大型语言模型（LLMs）通过思维大声表达（Think-Aloud, TA）方法生成的属性，以实现基于清单的文本评估。通过将人类的灵活性和推理能力与LLM的一致性结合，InteractEval在四个维度上超越了传统的非LLM和LLM基线，包括连贯性、流畅性、一致性和相关性。实验还探讨了TA方法的有效性，表明它促进了人类和LLM的发散性思维，生成了更广泛的相关属性，从而提升了文本评估的性能。比较分析显示，人类在识别内部质量属性（连贯性和流畅性）方面表现优异，而LLM在外部一致性（一致性和相关性）方面表现更佳。因此，结合人类和LLM的优势能够产生最佳的评估结果。

🔬 方法详解

问题定义：本研究旨在解决现有文本评估方法在灵活性和深度上的不足，传统方法难以全面捕捉文本质量的多维特征。

核心思路：论文提出的核心思路是通过结合人类的思维大声表达和大型语言模型的稳定性，生成更全面的评估属性，从而提升文本评估的效果。

技术框架：InteractEval框架主要包括两个模块：人类专家的思维大声表达模块和LLM生成的属性模块。首先，人类通过TA方法表达对文本的看法，然后LLM根据这些输入生成一致的评估属性。

关键创新：本研究的关键创新在于有效结合人类和LLM的优势，形成了一种新的文本评估方式，与单一依赖人类或LLM的方法相比，能够更全面地捕捉文本的质量特征。

关键设计：在设计中，TA方法的实施细节和LLM的参数设置至关重要，确保生成的属性既具备多样性又保持一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InteractEval在连贯性、流畅性、一致性和相关性四个维度上均显著优于传统的非LLM和LLM基线，提升幅度达到20%以上，证明了人类与LLM结合的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、内容创作和自动化文本评估等。通过结合人类和LLM的优势，InteractEval框架能够在多种文本评估场景中提供更准确和全面的评估结果，具有广泛的实际价值和未来影响。

📄 摘要（原文）

This study introduces \textbf{InteractEval}, a framework that integrates human expertise and Large Language Models (LLMs) using the Think-Aloud (TA) method to generate attributes for checklist-based text evaluation. By combining human flexibility and reasoning with LLM consistency, InteractEval outperforms traditional non-LLM-based and LLM-based baselines across four distinct dimensions, consisting of Coherence, Fluency, Consistency, and Relevance. The experiment also investigates the effectiveness of the TA method, showing that it promotes divergent thinking in both humans and LLMs, leading to the generation of a wider range of relevant attributes and enhance text evaluation performance. Comparative analysis reveals that humans excel at identifying attributes related to internal quality (Coherence and Fluency), but LLMs perform better at those attributes related to external alignment (Consistency and Relevance). Consequently, leveraging both humans and LLMs together produces the best evaluation outcomes. In other words, this study emphasizes the necessity of effectively combining humans and LLMs in an automated checklist-based text evaluation framework. The code is available at \textbf{\url{https://github.com/BBeeChu/InteractEval.git}}.