ACT-SQL: In-Context Learning for Text-to-SQL with Automatically-Generated Chain-of-Thought

📄 arXiv: 2310.17342v1 📥 PDF

作者: Hanchong Zhang, Ruisheng Cao, Lu Chen, Hongshen Xu, Kai Yu

分类: cs.CL

发布日期: 2023-10-26

💡 一句话要点

提出ACT-SQL以提升文本到SQL的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到SQL 链式思维 自动生成 推理能力 大型语言模型

📋 核心要点

  1. 现有的文本到SQL生成方法在推理能力和提示设计上存在不足，影响了生成的SQL查询的准确性。
  2. 本文提出的ACT-SQL方法通过自动生成链式思维示例，优化了提示设计，减少了人工标注的需求。
  3. 实验结果显示，ACT-SQL方法在Spider开发集上取得了最先进的性能，相较于其他上下文学习方法有显著提升。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在多个领域和任务中展现出强大的能力。本文研究了文本到SQL任务中的提示设计问题，旨在提升LLMs生成SQL查询时的推理能力。我们设计了一种链式思维（CoT）提示，采用类似于模式链接的方法，提出了名为ACT-SQL的方法，能够自动生成链式思维示例，从而避免了手动标注的需求。该方法节省了成本，因为在生成一个SQL查询时仅需调用一次LLMs的API。此外，我们将该方法扩展到多轮文本到SQL任务。实验结果表明，LLMs的性能得益于我们的ACT-SQL方法，在现有的上下文学习方法中，在Spider开发集上达到了SOTA性能。

🔬 方法详解

问题定义：本文旨在解决文本到SQL任务中，现有方法在推理能力和提示设计上的不足，导致生成的SQL查询不够准确和高效。

核心思路：ACT-SQL方法通过自动生成链式思维示例，优化了提示设计，避免了手动标注的繁琐过程，从而提升了LLMs的推理能力。

技术框架：该方法的整体架构包括自动生成链式思维示例的模块，利用LLMs的API进行一次性调用来生成SQL查询，并扩展到多轮文本到SQL任务。

关键创新：ACT-SQL的主要创新在于其自动生成链式思维示例的能力，与现有方法相比，显著降低了人工干预的需求，提高了生成效率和准确性。

关键设计：在参数设置上，ACT-SQL优化了链式思维的生成策略，使用了特定的损失函数来提升生成SQL的质量，确保了模型在多轮对话中的一致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ACT-SQL方法在Spider开发集上达到了最先进的性能，相较于其他上下文学习方法，性能提升显著，具体提升幅度未知，展示了其在文本到SQL任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、数据库查询生成和自然语言处理等。通过提升文本到SQL的生成能力，ACT-SQL能够为用户提供更高效的数据库交互方式，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recently Large Language Models (LLMs) have been proven to have strong abilities in various domains and tasks. We study the problem of prompt designing in the text-to-SQL task and attempt to improve the LLMs' reasoning ability when generating SQL queries. Besides the trivial few-shot in-context learning setting, we design our chain-of-thought (CoT) prompt with a similar method to schema linking. We provide a method named ACT-SQL to automatically generate auto-CoT exemplars and thus the whole process doesn't need manual labeling. Our approach is cost-saving since we only use the LLMs' API call once when generating one SQL query. Furthermore, we extend our in-context learning method to the multi-turn text-to-SQL task. The experiment results show that the LLMs' performance can benefit from our ACT-SQL approach. Our approach achieves SOTA performance on the Spider dev set among existing in-context learning approaches.