A Survey of Text-to-SQL in the Era of LLMs: Where are we, and where are we going?

📄 arXiv: 2408.05109v6 📥 PDF

作者: Xinyu Liu, Shuyu Shen, Boyan Li, Peixian Ma, Runzhi Jiang, Yuxin Zhang, Ju Fan, Guoliang Li, Nan Tang, Yuyu Luo

分类: cs.DB, cs.AI

发布日期: 2024-08-09 (更新: 2025-12-05)

备注: 20 pages, 11 figures, 3 tables

期刊: TKDE July 2025

🔗 代码/项目: GITHUB

💡 一句话要点

综述性研究：大型语言模型时代下的文本到SQL转换技术进展与未来方向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到SQL 自然语言查询 大型语言模型 数据库 综述研究

📋 核心要点

  1. 现有Text-to-SQL方法在处理自然语言的歧义性、数据库模式复杂性以及数据稀缺性方面面临挑战。
  2. 该综述旨在全面梳理基于大型语言模型的Text-to-SQL技术，并从模型、数据、评估和错误分析四个方面进行深入探讨。
  3. 通过对现有方法的分析，总结了Text-to-SQL解决方案的经验法则，并指出了未来研究的挑战和开放性问题。

📝 摘要（中文）

本文全面回顾了由大型语言模型（LLMs）驱动的文本到SQL（Text-to-SQL，又称NL2SQL）技术。该技术旨在将用户的自然语言查询（NL）转换为SQL查询，从而显著降低访问关系数据库的门槛，并支持各种商业应用。随着大型语言模型的出现，Text-to-SQL的性能得到了极大的提升。本综述从四个方面覆盖了Text-to-SQL技术的整个生命周期：（1）模型：解决自然语言歧义和欠规范问题，并将自然语言与数据库模式和实例进行适当映射的Text-to-SQL转换技术；（2）数据：从训练数据的收集、由于训练数据稀缺而进行的数据合成，到Text-to-SQL基准测试；（3）评估：使用不同的指标和粒度，从多个角度评估Text-to-SQL方法；（4）错误分析：分析Text-to-SQL错误，找出根本原因，并指导Text-to-SQL模型的发展。此外，我们还为开发Text-to-SQL解决方案提供了一个经验法则。最后，我们讨论了LLMs时代Text-to-SQL的研究挑战和开放问题。Text-to-SQL手册：https://github.com/HKUSTDial/NL2SQL Handbook

🔬 方法详解

问题定义：Text-to-SQL旨在将自然语言查询转换为可执行的SQL语句，从而方便用户访问数据库。现有方法在处理复杂的自然语言表达、数据库模式以及数据稀疏性方面存在不足，导致转换的准确率和鲁棒性有待提高。此外，如何有效地利用大型语言模型的强大能力，并将其与数据库的结构化信息相结合，也是一个重要的挑战。

核心思路：本综述的核心思路是对基于大型语言模型的Text-to-SQL技术进行系统性的梳理和分析，从模型、数据、评估和错误分析四个关键维度入手，深入探讨现有方法的优缺点，并总结经验教训。通过对这些方面的分析，为未来的研究方向提供指导。

技术框架：该综述没有提出新的技术框架，而是对现有技术进行了分类和总结。主要涵盖了以下几个方面：1) 模型：研究各种基于LLM的Text-to-SQL模型，包括Prompt工程、微调等方法；2) 数据：探讨数据增强、数据合成等技术，以解决数据稀缺问题；3) 评估：分析不同的评估指标和方法，以全面衡量Text-to-SQL模型的性能；4) 错误分析：研究错误类型和原因，为模型改进提供依据。

关键创新：该综述的创新之处在于其全面性和系统性。它不仅涵盖了Text-to-SQL技术的各个方面，还深入分析了现有方法的优缺点，并指出了未来的研究方向。此外，该综述还提供了一个Text-to-SQL手册，方便研究人员快速了解该领域。

关键设计：该综述没有涉及具体的技术细节，而是侧重于对现有方法的总结和分析。例如，在模型方面，综述讨论了如何利用Prompt工程来提高LLM在Text-to-SQL任务上的性能；在数据方面，综述探讨了如何利用数据增强和数据合成技术来缓解数据稀缺问题。具体的技术细节需要参考相关的论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述总结了当前Text-to-SQL领域的研究进展，特别是在大型语言模型驱动下的技术发展。虽然没有提供具体的实验数据，但它系统地分析了现有方法的优缺点，并指出了未来研究的重点方向，为研究人员提供了宝贵的参考。

🎯 应用场景

Text-to-SQL技术具有广泛的应用前景，例如智能客服、商业智能、数据分析等领域。它可以帮助用户通过自然语言快速查询和分析数据库中的数据，从而提高工作效率和决策质量。未来，随着大型语言模型的不断发展，Text-to-SQL技术将在更多领域得到应用，并发挥更大的价值。

📄 摘要（原文）

Translating users' natural language queries (NL) into SQL queries (i.e., Text-to-SQL, a.k.a. NL2SQL) can significantly reduce barriers to accessing relational databases and support various commercial applications. The performance of Text-to-SQL has been greatly enhanced with the emergence of Large Language Models (LLMs). In this survey, we provide a comprehensive review of Text-to-SQL techniques powered by LLMs, covering its entire lifecycle from the following four aspects: (1) Model: Text-to-SQL translation techniques that tackle not only NL ambiguity and under-specification, but also properly map NL with database schema and instances; (2) Data: From the collection of training data, data synthesis due to training data scarcity, to Text-to-SQL benchmarks; (3) Evaluation: Evaluating Text-to-SQL methods from multiple angles using different metrics and granularities; and (4) Error Analysis: analyzing Text-to-SQL errors to find the root cause and guiding Text-to-SQL models to evolve. Moreover, we offer a rule of thumb for developing Text-to-SQL solutions. Finally, we discuss the research challenges and open problems of Text-to-SQL in the LLMs era. Text-to-SQL Handbook: https://github.com/HKUSTDial/NL2SQL Handbook