SheetMind: An End-to-End LLM-Powered Multi-Agent Framework for Spreadsheet Automation

📄 arXiv: 2506.12339v1 📥 PDF

作者: Ruiyan Zhu, Xi Cheng, Ke Liu, Brian Zhu, Daniel Jin, Neeraj Parihar, Zhoutian Xu, Oliver Gao

分类: cs.HC, cs.AI

发布日期: 2025-06-14

备注: Ruiyan Zhu and Xi Cheng contributed equally to this work

💡 一句话要点

SheetMind：基于LLM的多智能体电子表格自动化框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子表格自动化 大型语言模型 多智能体系统 自然语言处理 巴科斯范式

📋 核心要点

  1. 现有电子表格自动化方法需要用户具备脚本编写或公式知识，门槛较高，难以普及。
  2. SheetMind利用多智能体架构和LLM，将自然语言指令转化为电子表格操作，降低了使用门槛。
  3. 实验表明，SheetMind在单步和多步任务中均取得了较高的成功率，验证了其有效性。

📝 摘要（中文）

本文提出SheetMind，一个基于大型语言模型（LLM）的模块化多智能体框架，用于通过自然语言指令实现电子表格自动化。该系统包含三个专门的智能体：管理智能体，将复杂的用户指令分解为子任务；行动智能体，使用巴科斯范式（BNF）语法将这些子任务转换为结构化命令；以及反思智能体，验证生成的动作与用户原始意图之间的一致性。SheetMind通过Workspace扩展集成到Google Sheets中，支持实时交互，无需脚本编写或公式知识。在基准数据集上的实验表明，单步任务的成功率为80%，多步指令的成功率约为70%，优于消融和基线变体。结果突出了多智能体分解和基于语法的执行在桥接自然语言和电子表格功能方面的有效性。

🔬 方法详解

问题定义：现有电子表格自动化方法通常需要用户具备编程或公式编写的专业知识，这对于非技术用户来说是一个巨大的障碍。用户希望能够使用自然语言直接控制电子表格，而无需学习复杂的语法和函数。因此，如何将自然语言指令转化为电子表格操作是一个关键问题。

核心思路：SheetMind的核心思路是利用大型语言模型（LLM）的强大自然语言理解和生成能力，构建一个多智能体系统，将复杂的自然语言指令分解为一系列可执行的电子表格操作。通过分工协作，每个智能体负责不同的任务，从而实现高效的自动化。

技术框架：SheetMind包含三个主要智能体：Manager Agent、Action Agent和Reflection Agent。Manager Agent负责将用户输入的自然语言指令分解为更小的、可管理的子任务。Action Agent负责将这些子任务转化为符合电子表格语法的结构化命令，这里使用了巴科斯范式（BNF）来保证命令的正确性。Reflection Agent负责验证生成的命令是否符合用户的原始意图，从而避免错误操作。整个系统通过Workspace扩展集成到Google Sheets中，实现实时交互。

关键创新：SheetMind的关键创新在于其多智能体架构和基于语法的执行方式。多智能体架构实现了任务的分解和并行处理，提高了效率。基于语法的执行方式保证了生成命令的正确性和可执行性。此外，Reflection Agent的引入进一步提高了系统的鲁棒性和可靠性。

关键设计：Action Agent使用巴科斯范式（BNF）定义了电子表格操作的语法规则，确保生成的命令符合规范。Reflection Agent使用LLM来评估生成的命令是否符合用户的原始意图，如果发现不一致，则会触发重新生成命令的过程。具体的LLM选择和prompt设计对系统的性能有重要影响，但论文中未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SheetMind在基准数据集上进行了实验，结果表明，单步任务的成功率为80%，多步指令的成功率约为70%。与消融实验和基线方法相比，SheetMind取得了显著的性能提升，验证了其多智能体架构和基于语法的执行方式的有效性。这些结果表明，SheetMind在电子表格自动化方面具有很大的潜力。

🎯 应用场景

SheetMind可广泛应用于各种需要电子表格自动化的场景，例如数据分析、报表生成、任务管理等。它可以帮助非技术用户更轻松地使用电子表格，提高工作效率。未来，SheetMind可以扩展到支持更多类型的电子表格软件，并集成更多的自动化功能，例如数据可视化和预测分析。

📄 摘要（原文）

We present SheetMind, a modular multi-agent framework powered by large language models (LLMs) for spreadsheet automation via natural language instructions. The system comprises three specialized agents: a Manager Agent that decomposes complex user instructions into subtasks; an Action Agent that translates these into structured commands using a Backus Naur Form (BNF) grammar; and a Reflection Agent that validates alignment between generated actions and the user's original intent. Integrated into Google Sheets via a Workspace extension, SheetMind supports real-time interaction without requiring scripting or formula knowledge. Experiments on benchmark datasets demonstrate an 80 percent success rate on single step tasks and approximately 70 percent on multi step instructions, outperforming ablated and baseline variants. Our results highlight the effectiveness of multi agent decomposition and grammar based execution for bridging natural language and spreadsheet functionalities.