Think2SQL: Reinforce LLM Reasoning Capabilities for Text2SQL

📄 arXiv: 2504.15077v2 📥 PDF

作者: Simone Papicchio, Simone Rossi, Luca Cagliero, Paolo Papotti

分类: cs.LG, cs.DB

发布日期: 2025-04-21 (更新: 2025-04-27)

备注: 17 pages, work in progress

💡 一句话要点

Think2SQL：通过强化LLM推理能力提升Text2SQL性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Text2SQL 大型语言模型 强化学习 推理能力 监督微调

📋 核心要点

  1. 现有小型LLM在零样本Text2SQL任务中，难以处理多表和复杂SQL模式，监督微调也无法有效解决多跳推理问题。
  2. 论文探索了不同LLM训练策略对Text2SQL性能的影响，包括零样本推理、监督微调和强化学习，并设计了细粒度的奖励函数。
  3. 实验结果表明，通用推理在零样本学习中无效，小型LLM更受益于带有推理的监督微调，强化学习策略，特别是细粒度奖励，效果显著。

📝 摘要（中文）

大型语言模型（LLMs）在将关于关系数据库的自然语言问题转换为SQL查询方面表现出令人印象深刻的能力。尽管最近有所改进，但在零样本学习（ZSL）设置下，小型LLM难以处理涉及多个表和复杂SQL模式的问题。监督微调（SFT）部分弥补了预训练模型中的知识缺陷，但在处理涉及多跳推理的查询时仍然不足。为了弥合这一差距，已经提出了不同的LLM训练策略来加强推理能力，包括利用ZSL中的思维过程、在SFT中包含推理轨迹或采用强化学习（RL）策略。然而，推理对Text2SQL性能的影响在很大程度上仍未被探索。本文研究了LLM推理能力在多大程度上影响其在四个基准数据集上的Text2SQL性能。为此，它考虑了以下LLM设置：（1）ZSL，包括通用推理或不包括；（2）SFT，有和没有特定于任务的推理轨迹；（3）RL，探索使用不同的奖励函数，包括已建立的执行准确率（EX）以及与细粒度指标的混合，这些指标也考虑了部分正确答案的精确率、召回率和基数；（4）SFT+RL，即结合SFT和RL的两阶段方法。结果表明，ZSL下的通用推理在解决复杂的Text2SQL案例中被证明是无效的。小型LLM从带有推理的SFT中受益远大于大型LLM。RL通常对所有测试模型和数据集都有益。事实证明，使用细粒度指标是最有效的RL策略。由于RL和新的text2SQL奖励，7B Qwen-Coder-2.5模型在Bird数据集上的表现与400+ Billion的模型（包括gpt-4o）相当。

🔬 方法详解

问题定义：论文旨在解决小型LLM在Text2SQL任务中，尤其是在零样本和多跳推理场景下，性能不足的问题。现有方法，如监督微调，虽然能部分弥补知识缺陷，但在复杂推理方面效果有限。因此，如何有效提升LLM的推理能力，使其能够处理更复杂的Text2SQL查询，是本文要解决的核心问题。

核心思路：论文的核心思路是通过强化学习（RL）来提升LLM的推理能力，并结合监督微调（SFT）进一步优化模型。具体来说，论文探索了不同的奖励函数，包括传统的执行准确率（EX）以及细粒度的指标（精确率、召回率、基数），以更全面地评估和奖励模型的行为。这种设计旨在引导模型学习更准确、更完整的SQL查询生成策略。

技术框架：论文采用的整体框架包括以下几个主要阶段：1) 零样本学习（ZSL）：评估LLM在不进行任何训练的情况下，直接处理Text2SQL任务的能力。2) 监督微调（SFT）：使用带有或不带有推理轨迹的数据集对LLM进行微调。3) 强化学习（RL）：使用不同的奖励函数对LLM进行强化学习，以提升其推理和SQL生成能力。4) SFT+RL：结合SFT和RL，先进行监督微调，再进行强化学习，以进一步优化模型性能。

关键创新：论文最重要的技术创新点在于提出了细粒度的奖励函数，用于强化学习Text2SQL任务。传统的奖励函数通常只关注执行准确率，而忽略了部分正确答案的价值。论文提出的细粒度指标，包括精确率、召回率和基数，能够更全面地评估模型的行为，并引导模型学习更准确、更完整的SQL查询生成策略。这与现有方法只关注最终执行结果的奖励方式有本质区别。

关键设计：在强化学习阶段，论文探索了不同的奖励函数组合，包括：1) 仅使用执行准确率（EX）作为奖励；2) 将执行准确率与精确率、召回率和基数等细粒度指标进行加权组合。具体权重设置未知，但目标是平衡最终执行结果和中间步骤的正确性。此外，论文还探索了不同的LLM模型，包括Qwen-Coder-2.5 (7B) 和更大的模型，以评估不同模型在不同训练策略下的性能。

📊 实验亮点

实验结果表明，在Bird数据集上，通过强化学习和新的text2SQL奖励，7B Qwen-Coder-2.5模型的性能可以与400+ Billion参数的模型（包括gpt-4o）相媲美。这表明，通过有效的训练策略，小型LLM也可以在复杂的Text2SQL任务中取得优异的性能。

🎯 应用场景

该研究成果可应用于智能问答系统、数据库查询优化、自然语言接口等领域。通过提升LLM的Text2SQL能力，可以更方便地让用户通过自然语言与数据库进行交互，降低数据库使用的门槛，提高数据分析的效率。未来，该技术有望应用于更广泛的数据驱动型应用中。

📄 摘要（原文）

Large Language Models (LLMs) have shown impressive capabilities in transforming natural language questions about relational databases into SQL queries. Despite recent improvements, small LLMs struggle to handle questions involving multiple tables and complex SQL patterns under a Zero-Shot Learning (ZSL) setting. Supervised Fine-Tuning (SFT) partially compensates for the knowledge deficits in pretrained models but falls short while dealing with queries involving multi-hop reasoning. To bridge this gap, different LLM training strategies to reinforce reasoning capabilities have been proposed, ranging from leveraging a thinking process within ZSL, including reasoning traces in SFT, or adopt Reinforcement Learning (RL) strategies. However, the influence of reasoning on Text2SQL performance is still largely unexplored. This paper investigates to what extent LLM reasoning capabilities influence their Text2SQL performance on four benchmark datasets. To this end, it considers the following LLM settings: (1) ZSL, including general-purpose reasoning or not; (2) SFT, with and without task-specific reasoning traces; (3) RL, exploring the use of different rewarding functions, both the established EXecution accuracy (EX) and a mix with fine-grained ones that also account the precision, recall, and cardinality of partially correct answers; (4) SFT+RL, i.e, a two-stage approach that combines SFT and RL. The results show that general-purpose reasoning under ZSL proves to be ineffective in tackling complex Text2SQL cases. Small LLMs benefit from SFT with reasoning much more than larger ones. RL is generally beneficial across all tested models and datasets. The use of the fine-grained metrics turns out to be the most effective RL strategy. Thanks to RL and the novel text2SQL rewards, the 7B Qwen-Coder-2.5 model performs on par with 400+ Billion ones (including gpt-4o) on the Bird dataset.