InstructExcel: A Benchmark for Natural Language Instruction in Excel

📄 arXiv: 2310.14495v1 📥 PDF

作者: Justin Payan, Swaroop Mishra, Mukul Singh, Carina Negreanu, Christian Poelitz, Chitta Baral, Subhro Roy, Rasika Chakravarthy, Benjamin Van Durme, Elnaz Nouri

分类: cs.CL, cs.AI

发布日期: 2023-10-23

备注: Findings of EMNLP 2023, 18 pages

💡 一句话要点

提出InstructExcel基准以解决自然语言指令在Excel中的应用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 大型语言模型 Excel自动化 基准测试 代码生成

📋 核心要点

  1. 现有方法在处理自然语言指令生成Excel代码时面临准确性和复杂性挑战。
  2. 论文提出InstructExcel基准，通过自动生成OfficeScripts来评估LLMs在Excel任务中的表现。
  3. 实验结果显示，GPT-4在该基准上的表现优于GPT-3.5，且更多的上下文示例和动态提示能显著提升性能。

📝 摘要（中文）

随着大型语言模型（LLMs）的发展，我们能够解决越来越复杂的自然语言处理任务，包括电子表格领域。本研究探讨了LLMs是否能够生成代码（Excel OfficeScripts），以解决通过自然语言用户指令提供的Excel特定任务。为此，我们引入了一个新的大规模基准InstructExcel，该基准通过利用Excel的“自动化”功能自动生成用户操作的OfficeScripts。我们的基准包含超过10,000个样本，涵盖170多种Excel操作，基于2,000个公开可用的Excel电子表格。在各种零-shot和少量示例设置下的实验表明，InstructExcel是对当前最先进模型（如GPT-4）的一个严峻挑战。

🔬 方法详解

问题定义：本论文旨在解决如何利用自然语言指令生成Excel OfficeScripts的问题。现有方法在处理复杂的Excel操作时，往往无法准确理解用户意图，导致生成的代码不符合预期。

核心思路：论文的核心思路是构建一个大规模的基准InstructExcel，通过自动化生成用户操作的OfficeScripts，来评估和提升LLMs在Excel任务中的能力。这样的设计旨在通过真实用户行为生成数据，从而更好地反映实际应用场景。

技术框架：整体架构包括数据收集、基准构建和模型评估三个主要模块。首先，通过Excel的“自动化”功能收集用户操作数据，然后生成相应的OfficeScripts，最后在不同的模型（如GPT-4和GPT-3.5）上进行评估。

关键创新：最重要的技术创新点在于引入了InstructExcel基准，提供了一个系统化的评估框架，能够有效测试LLMs在处理Excel特定任务时的能力。这与现有方法的本质区别在于，前者基于真实用户操作生成数据，而后者往往依赖于人工标注或合成数据。

关键设计：在实验中，采用了动态提示和更多的上下文示例来提升模型性能。具体参数设置和损失函数的选择也经过精心设计，以确保模型能够更好地理解和生成符合用户需求的代码。实验结果显示，这些设计显著提高了模型在基准上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在InstructExcel基准上，GPT-4的表现明显优于GPT-3.5，具体提升幅度未知。此外，提供更多上下文示例和采用动态提示策略均显著改善了模型的生成能力，展示了该基准的挑战性和模型的适应性。

🎯 应用场景

该研究的潜在应用领域包括办公自动化、数据分析和教育等。通过提升LLMs在Excel中的应用能力，可以帮助用户更高效地完成数据处理任务，降低对专业知识的依赖，进而推动智能办公的普及与发展。未来，该基准还可能扩展到其他办公软件和领域，进一步提升自然语言处理技术的应用价值。

📄 摘要（原文）

With the evolution of Large Language Models (LLMs) we can solve increasingly more complex NLP tasks across various domains, including spreadsheets. This work investigates whether LLMs can generate code (Excel OfficeScripts, a TypeScript API for executing many tasks in Excel) that solves Excel specific tasks provided via natural language user instructions. To do so we introduce a new large-scale benchmark, InstructExcel, created by leveraging the 'Automate' feature in Excel to automatically generate OfficeScripts from users' actions. Our benchmark includes over 10k samples covering 170+ Excel operations across 2,000 publicly available Excel spreadsheets. Experiments across various zero-shot and few-shot settings show that InstructExcel is a hard benchmark for state of the art models like GPT-4. We observe that (1) using GPT-4 over GPT-3.5, (2) providing more in-context examples, and (3) dynamic prompting can help improve performance on this benchmark.