Synthesizing Text-to-SQL Data from Weak and Strong LLMs

📄 arXiv: 2408.03256v1 📥 PDF

作者: Jiaxi Yang, Binyuan Hui, Min Yang, Jian Yang, Junyang Lin, Chang Zhou

分类: cs.CL

发布日期: 2024-08-06

备注: 12 pages, 7 figures, ACL 2024

💡 一句话要点

结合强弱LLM合成数据，SENSE模型显著提升Text-to-SQL任务性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Text-to-SQL 大型语言模型 合成数据 指令调优 领域泛化 偏好学习 开源模型

📋 核心要点

  1. 开源LLM在Text-to-SQL任务中与闭源LLM存在能力差距，限制了其应用。
  2. 利用强模型生成高质量数据，弱模型提供错误信息，合成数据提升模型泛化性。
  3. 通过合成数据指令调优开源LLM，SENSE模型在SPIDER和BIRD上取得SOTA结果。

📝 摘要（中文）

本文提出了一种合成数据方法，用于提升Text-to-SQL任务中模型的性能。该方法结合了更强大模型（强模型）生成的数据和较小、对齐效果不佳的模型（弱模型）产生的错误信息数据。这种方法不仅增强了Text-to-SQL模型的领域泛化能力，还探索了通过偏好学习进行错误数据监督的潜力。此外，我们使用合成数据方法对开源LLM进行指令调优，得到了一个专门的Text-to-SQL模型SENSE。在SPIDER和BIRD基准测试中，SENSE展示了最先进的结果，缩小了开源模型与闭源模型提示方法之间的性能差距。

🔬 方法详解

问题定义：Text-to-SQL任务旨在将自然语言问题转化为可执行的SQL查询语句。现有方法，尤其是基于开源LLM的方法，在复杂场景和领域泛化性方面表现不足，与闭源LLM存在显著差距。主要痛点在于数据质量和模型对齐问题，缺乏有效的错误信息利用。

核心思路：本文的核心思路是利用强LLM生成高质量的Text-to-SQL数据，并结合弱LLM产生的错误信息，构建更具挑战性和信息量的合成数据集。通过偏好学习，将弱模型的错误信息转化为监督信号，引导模型学习如何避免这些错误，从而提升模型的鲁棒性和泛化能力。

技术框架：该方法主要包含以下几个阶段：1) 使用强LLM生成高质量的Text-to-SQL数据；2) 使用弱LLM生成包含错误信息的Text-to-SQL数据；3) 将强LLM生成的数据和弱LLM生成的错误信息数据进行融合，构建合成数据集；4) 使用合成数据集对开源LLM进行指令调优，得到SENSE模型。

关键创新：该方法最重要的创新点在于结合了强弱LLM的优势，利用弱LLM的错误信息作为监督信号，提升模型的鲁棒性。与现有方法相比，该方法不仅关注高质量数据的生成，还关注错误信息的利用，从而更有效地提升模型的性能。

关键设计：在数据合成阶段，需要设计合适的策略来融合强弱LLM生成的数据。例如，可以根据弱LLM的错误类型和置信度，调整合成数据的比例和权重。在指令调优阶段，可以使用偏好学习方法，将弱LLM的错误信息转化为奖励信号，引导模型学习如何避免这些错误。具体的损失函数和网络结构细节在论文中未明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SENSE模型在SPIDER和BIRD基准测试中取得了最先进的结果，显著缩小了开源模型与闭源模型提示方法之间的性能差距。具体性能数据和提升幅度在论文中进行了详细展示，证明了该方法的有效性。

🎯 应用场景

该研究成果可广泛应用于智能问答系统、数据库查询、数据分析等领域。通过提升Text-to-SQL模型的性能，可以更方便地使用自然语言进行数据库操作，降低使用门槛，提高工作效率。未来，该方法有望推广到其他自然语言处理任务中，提升模型的泛化能力和鲁棒性。

📄 摘要（原文）

The capability gap between open-source and closed-source large language models (LLMs) remains a challenge in text-to-SQL tasks. In this paper, we introduce a synthetic data approach that combines data produced by larger, more powerful models (strong models) with error information data generated by smaller, not well-aligned models (weak models). The method not only enhances the domain generalization of text-to-SQL models but also explores the potential of error data supervision through preference learning. Furthermore, we employ the synthetic data approach for instruction tuning on open-source LLMs, resulting SENSE, a specialized text-to-SQL model. The effectiveness of SENSE is demonstrated through state-of-the-art results on the SPIDER and BIRD benchmarks, bridging the performance gap between open-source models and methods prompted by closed-source models.