Feather-SQL: A Lightweight NL2SQL Framework with Dual-Model Collaboration Paradigm for Small Language Models

📄 arXiv: 2503.17811v3 📥 PDF

作者: Wenqi Pei, Hailing Xu, Hengyuan Zhao, Shizheng Hou, Han Chen, Zining Zhang, Pingyi Luo, Bingsheng He

分类: cs.CL, cs.AI, cs.DB

发布日期: 2025-03-22 (更新: 2025-08-18)

备注: DL4C @ ICLR 2025

💡 一句话要点

Feather-SQL：面向小语言模型的轻量级NL2SQL框架，采用双模型协作范式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: NL2SQL 小型语言模型 模型协作 数据库查询 自然语言处理

📋 核心要点

  1. 现有NL2SQL框架依赖大型语言模型，存在闭源、高计算资源需求等问题，限制了其在数据隐私和部署受限场景下的应用。
  2. Feather-SQL通过模式修剪链接、多路径候选生成等技术，提升小语言模型在NL2SQL任务中的SQL可执行性和准确性。
  3. 实验表明，Feather-SQL显著提升了小语言模型的NL2SQL性能，无需微调的模型提升约10%，模型协作范式将准确率上限提升至54.76%。

📝 摘要（中文）

自然语言到SQL(NL2SQL)领域随着大型语言模型(LLMs)的出现取得了显著进展。然而，这些模型通常依赖于闭源系统和高计算资源，给数据隐私和部署带来了挑战。相比之下，小型语言模型(SLMs)在NL2SQL任务中表现不佳，性能较差且与现有框架不兼容。为了解决这些问题，我们提出了Feather-SQL，这是一个为SLMs量身定制的轻量级框架。Feather-SQL通过1)模式修剪和链接，2)多路径和多候选生成，提高了SQL的可执行性和准确性。此外，我们引入了1+1模型协作范式，将一个强大的通用聊天模型与一个微调的SQL专家配对，结合了强大的分析推理能力和高精度的SQL生成能力。在BIRD上的实验结果表明，Feather-SQL提高了SLMs的NL2SQL性能，对于没有经过微调的模型，性能提升约10%。所提出的范式将SLMs的准确率上限提高到54.76%，突出了其有效性。

🔬 方法详解

问题定义：论文旨在解决小型语言模型（SLMs）在自然语言到SQL（NL2SQL）任务中表现不佳的问题。现有NL2SQL框架主要依赖大型语言模型（LLMs），这些模型计算资源需求高，且通常是闭源的，限制了其在资源受限环境和对数据隐私有要求的场景中的应用。SLMs虽然资源消耗低，但直接应用于NL2SQL任务时，性能远低于LLMs，且与现有框架的兼容性差。

核心思路：论文的核心思路是设计一个轻量级的NL2SQL框架，专门为SLMs优化，使其能够在资源有限的情况下也能达到较好的性能。此外，论文还提出了1+1模型协作范式，即结合一个通用的聊天模型和一个专门微调的SQL模型，利用通用模型的推理能力和SQL模型的专业知识，从而提高整体的NL2SQL准确率。这种设计旨在弥补SLMs在复杂推理和SQL生成方面的不足。

技术框架：Feather-SQL框架主要包含以下几个模块：1) 模式修剪和链接：减少输入给SLM的数据库模式信息，降低模型的复杂性，并建立自然语言和数据库模式之间的联系。2) 多路径和多候选生成：生成多个可能的SQL查询，增加找到正确SQL查询的机会。3) 1+1模型协作范式：利用通用聊天模型进行初步的语义理解和推理，然后由微调的SQL模型生成最终的SQL查询。整个流程旨在提高SQL查询的准确性和可执行性。

关键创新：论文的关键创新在于：1) 提出了一个轻量级的NL2SQL框架，专门为SLMs设计，使其能够在资源有限的情况下也能达到较好的性能。2) 引入了1+1模型协作范式，将通用聊天模型和SQL专家模型结合起来，充分利用各自的优势，提高了NL2SQL的准确率。3) 提出了模式修剪和链接以及多路径候选生成等技术，进一步优化了SLMs在NL2SQL任务中的表现。

关键设计：模式修剪策略旨在过滤掉与当前问题无关的数据库表和列，减少模型的输入规模。模式链接则通过建立自然语言和数据库模式之间的对应关系，帮助模型更好地理解问题的语义。多路径候选生成通过不同的解码策略生成多个SQL查询，并选择最佳的查询。1+1模型协作范式中，通用聊天模型和SQL专家模型的选择和微调是关键，需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，Feather-SQL框架显著提升了小型语言模型在BIRD数据集上的NL2SQL性能。对于未经过微调的模型，性能提升约10%。通过1+1模型协作范式，SLMs的准确率上限提高到54.76%，表明该范式能够有效提升SLMs的NL2SQL能力。这些结果验证了Feather-SQL框架和1+1模型协作范式的有效性。

🎯 应用场景

Feather-SQL框架适用于资源受限的环境，例如边缘计算设备或移动设备，以及对数据隐私有严格要求的场景。该框架可以用于构建智能助手、数据分析工具等，帮助用户通过自然语言查询数据库，从而提高数据访问效率和用户体验。未来，该研究可以扩展到更复杂的数据库结构和查询类型，并与其他自然语言处理技术相结合，实现更智能化的数据管理和分析。

📄 摘要（原文）

Natural Language to SQL (NL2SQL) has seen significant advancements with large language models (LLMs). However, these models often depend on closed-source systems and high computational resources, posing challenges in data privacy and deployment. In contrast, small language models (SLMs) struggle with NL2SQL tasks, exhibiting poor performance and incompatibility with existing frameworks. To address these issues, we introduce Feather-SQL, a new lightweight framework tailored for SLMs. Feather-SQL improves SQL executability and accuracy through 1) schema pruning and linking, 2) multi-path and multi-candidate generation. Additionally, we introduce the 1+1 Model Collaboration Paradigm, which pairs a strong general-purpose chat model with a fine-tuned SQL specialist, combining strong analytical reasoning with high-precision SQL generation. Experimental results on BIRD demonstrate that Feather-SQL improves NL2SQL performance on SLMs, with around 10% boost for models without fine-tuning. The proposed paradigm raises the accuracy ceiling of SLMs to 54.76%, highlighting its effectiveness.