GroundCocoa: A Benchmark for Evaluating Compositional & Conditional Reasoning in Language Models

📄 arXiv: 2404.04237v2 📥 PDF

作者: Harsh Kohli, Sachin Kumar, Huan Sun

分类: cs.CL

发布日期: 2024-04-05 (更新: 2025-02-13)

备注: 16 pages, 17 figures, 3 tables. Accepted to NAACL 2025 (Main)

💡 一句话要点

提出GroundCocoa基准以评估语言模型的组合与条件推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 组合推理 条件推理 航班预订 基准评估 智能客服 推理能力

📋 核心要点

  1. 现有大型语言模型在简单任务中表现不佳，缺乏多样化的评估方法来真实测量其能力。
  2. 本文提出GroundCocoa基准，专注于组合推理和条件推理，连接航班预订的实际问题。
  3. 实验结果显示，当前最先进的LLMs在GroundCocoa基准上的表现差异显著，最佳模型准确率仅为67%。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展使其在标准基准上超越人类表现，然而在简单任务中却常常出现意外失误，显示出评估其真实能力的必要性。为此，本文研究了组合推理和条件推理这两个与人类认知密切相关的方面，提出了GroundCocoa基准，旨在将这些推理技能与实际的航班预订问题相结合。该任务要求将用户的详细偏好与多选格式的航班选项进行对齐。实验结果显示，当前最先进的LLMs在该基准上的表现差异显著，即使是表现最佳的模型GPT-4 Turbo，其准确率也未超过67%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在简单任务中表现不佳的问题，现有评估方法无法全面反映其推理能力的真实水平。

核心思路：通过引入GroundCocoa基准，研究组合推理和条件推理，连接实际的航班预订场景，以更好地评估语言模型的推理能力。

技术框架：GroundCocoa基准包括用户偏好与航班选项的对齐任务，采用多选格式进行评估，整体流程涵盖数据收集、任务设计和模型评估三个主要模块。

关键创新：GroundCocoa基准的创新在于其将组合与条件推理能力与实际应用场景相结合，提供了一个新的评估视角，与传统基准相比更具实用性。

关键设计：在设计中，GroundCocoa基准采用了多样化的用户偏好设置和航班选项，确保任务的复杂性和多样性，以便更全面地评估模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前最先进的语言模型在GroundCocoa基准上的表现差异显著，最佳模型GPT-4 Turbo的准确率仅为67%。这一结果强调了现有模型在处理复杂推理任务时的局限性，呼吁进一步的研究与改进。

🎯 应用场景

该研究的潜在应用领域包括智能客服、旅行代理和自动化航班预订系统。通过更准确的推理能力评估，能够提升语言模型在实际应用中的表现，进而改善用户体验和服务质量。未来，GroundCocoa基准可能推动更多领域的推理能力研究与应用。

📄 摘要（原文）

The rapid progress of large language models (LLMs) has seen them excel and frequently surpass human performance on standard benchmarks. This has enabled many downstream applications, such as LLM agents, to rely on their reasoning to address complex task requirements. However, LLMs are known to unexpectedly falter in simple tasks and under seemingly straightforward circumstances - underscoring the need for better and more diverse evaluation setups to measure their true capabilities. To this end, we choose to study compositional and conditional reasoning, two aspects that are central to human cognition, and introduce GroundCocoa - a lexically diverse benchmark connecting these reasoning skills to the real-world problem of flight booking. Our task involves aligning detailed user preferences with available flight options presented in a multiple-choice format. Results indicate a significant disparity in performance among current state-of-the-art LLMs with even the best performing model, GPT-4 Turbo, not exceeding 67% accuracy despite advanced prompting techniques.