FB-Bench: A Fine-Grained Multi-Task Benchmark for Evaluating LLMs' Responsiveness to Human Feedback

📄 arXiv: 2410.09412v2 📥 PDF

作者: Youquan Li, Miao Zheng, Fan Yang, Guosheng Dong, Bin Cui, Weipeng Chen, Zenan Zhou, Wentao Zhang

分类: cs.CL, cs.AI

发布日期: 2024-10-12 (更新: 2025-02-17)

🔗 代码/项目: GITHUB

💡 一句话要点

提出FB-Bench，用于评估LLM在中文多轮对话中对人类反馈的响应能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人机交互 人类反馈 多轮对话 中文基准测试

📋 核心要点

  1. 现有LLM评测benchmark忽略了真实人机交互中人类反馈的复杂性和细微差别，用户输入通常是独立的。
  2. FB-Bench通过构建细粒度的多任务基准，模拟真实场景，评估LLM对不同类型人类反馈的响应能力。
  3. 实验结果表明，任务类型、人类反馈和先前响应的缺陷都会显著影响LLM的响应能力，揭示了现有模型的局限性。

📝 摘要（中文）

本文提出了FB-Bench，一个细粒度的多任务基准，旨在评估大型语言模型（LLM）在真实使用场景下对人类反馈的响应能力。现有研究主要集中在单轮对话的LLM基准测试上，即使是多轮对话基准，用户输入也常常是独立的，忽略了真实场景中人机交互时人类反馈的细微和复杂性。FB-Bench包含591个精心策划的样本，涵盖八种任务类型、五种响应缺陷类型和九种反馈类型，源于两种主要交互场景。对一系列流行LLM的广泛评估表明，它们在不同交互场景中的性能存在显著差异。进一步分析表明，任务类型、人类反馈类型以及先前响应的缺陷也会显著影响LLM的响应能力。研究结果突出了当前模型的优势和局限性，为未来的研究提供了有价值的见解和方向。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）评测基准主要集中在单轮对话或多轮对话但用户输入独立的情形，缺乏对真实人机交互场景中复杂人类反馈的细粒度评估。这使得我们难以准确评估LLM在实际应用中理解和响应人类反馈的能力，现有方法无法有效衡量LLM在多轮交互中根据反馈改进自身回复的程度。

核心思路：FB-Bench的核心思路是构建一个更贴近真实人机交互场景的评测基准，通过模拟用户在多轮对话中提供的各种类型的反馈，来评估LLM的响应能力。该基准涵盖了多种任务类型、响应缺陷类型和反馈类型，从而能够更全面地评估LLM在不同情况下的表现。通过分析LLM在不同交互场景下的性能差异，可以深入了解其优势和局限性。

技术框架：FB-Bench的技术框架主要包括以下几个部分：1) 数据收集与标注：收集并标注了591个样本，涵盖八种任务类型、五种响应缺陷类型和九种反馈类型。2) 任务类型设计：选择了常见的中文人机交互任务，例如问答、写作、翻译等。3) 缺陷类型定义：定义了常见的LLM响应缺陷，例如事实错误、逻辑错误、不相关等。4) 反馈类型设计：设计了用户可能提供的各种反馈类型，例如肯定、否定、建议等。5) 评估指标：设计了用于评估LLM响应能力的指标，例如准确率、流畅度、相关性等。

关键创新：FB-Bench的关键创新在于其细粒度和多任务的设计，能够更全面地评估LLM对人类反馈的响应能力。与现有基准相比，FB-Bench更贴近真实人机交互场景，能够更准确地反映LLM在实际应用中的表现。此外，FB-Bench还提供了多种任务类型、响应缺陷类型和反馈类型，从而能够更深入地分析LLM在不同情况下的性能差异。

关键设计：FB-Bench的关键设计包括：1) 样本的多样性：确保样本涵盖各种任务类型、响应缺陷类型和反馈类型，以提高基准的泛化能力。2) 标注的准确性：采用严格的标注流程，确保标注的准确性和一致性。3) 评估指标的合理性：选择合适的评估指标，以准确反映LLM的响应能力。4) 任务场景的真实性：模拟真实的人机交互场景，以提高基准的实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同的LLM在FB-Bench上的表现存在显著差异，这表明现有模型在处理复杂人类反馈方面仍有很大的提升空间。分析还发现，任务类型、人类反馈类型以及先前响应的缺陷都会显著影响LLM的响应能力。例如，某些模型在处理否定反馈时表现较差，而另一些模型则难以纠正事实错误。这些发现为未来的研究提供了有价值的指导。

🎯 应用场景

FB-Bench可用于评估和改进大型语言模型在中文人机交互场景中的性能。该基准能够帮助研究人员更好地了解LLM对人类反馈的响应能力，从而开发出更智能、更人性化的对话系统。此外，FB-Bench还可以应用于教育、客服、娱乐等领域，提升人机交互的效率和质量，具有广泛的应用前景。

📄 摘要（原文）

Human feedback is crucial in the interactions between humans and Large Language Models (LLMs). However, existing research primarily focuses on benchmarking LLMs in single-turn dialogues. Even in benchmarks designed for multi-turn dialogues, the user inputs are often independent, neglecting the nuanced and complex nature of human feedback within real-world usage scenarios. To fill this research gap, we introduce FB-Bench, a fine-grained, multi-task benchmark designed to evaluate LLMs' responsiveness to human feedback under real-world usage scenarios in Chinese. Drawing from the two main interaction scenarios, FB-Bench comprises 591 meticulously curated samples, encompassing eight task types, five deficiency types of response, and nine feedback types. We extensively evaluate a broad array of popular LLMs, revealing significant variations in their performance across different interaction scenarios. Further analysis indicates that task, human feedback, and deficiencies of previous responses can also significantly impact LLMs' responsiveness. Our findings underscore both the strengths and limitations of current models, providing valuable insights and directions for future research. Code and datasets are available at https://github.com/PKU-Baichuan-MLSystemLab/FB-Bench.