Knowledge Distillation with Structured Chain-of-Thought for Text-to-SQL

📄 arXiv: 2512.17053v1 📥 PDF

作者: Khushboo Thaker, Yony Bresler

分类: cs.CL, cs.AI, cs.DB

发布日期: 2025-12-18

💡 一句话要点

提出Struct-SQL框架，利用结构化CoT蒸馏提升Text-to-SQL小模型的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Text-to-SQL 知识蒸馏 结构化推理 思维链 查询执行计划

📋 核心要点

  1. 现有Text-to-SQL系统在企业部署时面临成本、安全和性能的挑战，小型语言模型性能不足。
  2. Struct-SQL框架利用查询执行计划作为结构化CoT，为SLM提供更清晰的推理教学信号。
  3. 实验表明，使用结构化CoT蒸馏的SLM，在Text-to-SQL任务上性能显著提升，尤其在减少句法错误方面。

📝 摘要（中文）

在企业级部署精确的Text-to-SQL系统面临成本、安全和性能的三难困境。目前的解决方案迫使企业在昂贵的专有大型语言模型（LLM）和低性能的小型语言模型（SLM）之间做出选择。改进SLM的努力通常依赖于使用非结构化的思维链（CoT）轨迹从大型LLM中提取推理能力，但这个过程本质上是模糊的。我们假设形式化的、结构化的推理表示提供了一个更清晰、更可靠的教学信号，因为Text-to-SQL任务需要明确和精确的逻辑步骤。为了评估这个假设，我们提出了Struct-SQL，这是一个新颖的知识蒸馏（KD）框架，用于训练SLM来模仿强大的大型LLM。因此，我们采用查询执行计划作为正式的蓝图来推导出这种结构化的推理。我们的SLM，通过结构化的CoT进行蒸馏，比非结构化的CoT蒸馏基线实现了8.1%的绝对改进。详细的错误分析表明，这种提升的一个关键因素是句法错误的显著减少。这表明，使用结构化的逻辑蓝图来教导模型进行推理，有利于SLM中可靠的SQL生成。

🔬 方法详解

问题定义：Text-to-SQL系统需要在成本、安全和性能之间进行权衡。大型语言模型（LLM）虽然性能优越，但成本高昂且存在安全风险。小型语言模型（SLM）虽然成本较低，但性能不足以满足企业级应用的需求。现有的知识蒸馏方法，如使用非结构化的思维链（CoT），在将LLM的推理能力迁移到SLM时，存在信息模糊和不精确的问题，导致SLM难以学习到可靠的SQL生成能力。

核心思路：论文的核心思路是利用结构化的推理表示来改善知识蒸馏的效果。具体来说，论文采用查询执行计划作为结构化的思维链（CoT），因为查询执行计划明确地描述了SQL查询的逻辑步骤。通过将LLM生成的查询执行计划作为教学信号，可以更清晰、更准确地指导SLM学习SQL生成。这种结构化的CoT能够减少歧义，提高SLM学习的效率和可靠性。

技术框架：Struct-SQL框架包含以下主要步骤：1) 使用大型语言模型（LLM）生成SQL查询及其对应的查询执行计划。2) 将LLM生成的查询执行计划作为结构化的CoT。3) 使用知识蒸馏技术，训练小型语言模型（SLM）模仿LLM的SQL生成和查询执行计划生成能力。4) 在推理阶段，SLM首先生成查询执行计划，然后根据查询执行计划生成SQL查询。

关键创新：Struct-SQL的关键创新在于使用结构化的查询执行计划作为知识蒸馏的教学信号。与传统的非结构化CoT相比，结构化的查询执行计划能够提供更明确、更精确的推理信息，从而提高SLM的学习效率和SQL生成能力。此外，Struct-SQL框架还提出了一种新的知识蒸馏方法，用于训练SLM同时生成SQL查询和查询执行计划。

关键设计：Struct-SQL框架的关键设计包括：1) 如何将查询执行计划转换为适合SLM学习的表示形式。2) 如何设计损失函数，以鼓励SLM生成与LLM相似的查询执行计划和SQL查询。3) 如何平衡SLM在生成查询执行计划和SQL查询之间的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用Struct-SQL框架训练的SLM，在Text-to-SQL任务上比非结构化的CoT蒸馏基线实现了8.1%的绝对性能提升。错误分析显示，该框架显著减少了SLM生成的SQL查询中的句法错误，表明结构化推理对于提高SQL生成可靠性至关重要。

🎯 应用场景

该研究成果可应用于企业级Text-to-SQL系统，在保证安全和降低成本的同时，提升SQL生成精度。通过结构化知识蒸馏，可以训练出高性能的小型语言模型，从而在资源受限的环境中部署智能数据库查询系统。该方法还可推广到其他需要精确逻辑推理的任务中。

📄 摘要（原文）

Deploying accurate Text-to-SQL systems at the enterprise level faces a difficult trilemma involving cost, security and performance. Current solutions force enterprises to choose between expensive, proprietary Large Language Models (LLMs) and low-performing Small Language Models (SLMs). Efforts to improve SLMs often rely on distilling reasoning from large LLMs using unstructured Chain-of-Thought (CoT) traces, a process that remains inherently ambiguous. Instead, we hypothesize that a formal, structured reasoning representation provides a clearer, more reliable teaching signal, as the Text-to-SQL task requires explicit and precise logical steps. To evaluate this hypothesis, we propose Struct-SQL, a novel Knowledge Distillation (KD) framework that trains an SLM to emulate a powerful large LLM. Consequently, we adopt a query execution plan as a formal blueprint to derive this structured reasoning. Our SLM, distilled with structured CoT, achieves an absolute improvement of 8.1% over an unstructured CoT distillation baseline. A detailed error analysis reveals that a key factor in this gain is a marked reduction in syntactic errors. This demonstrates that teaching a model to reason using a structured logical blueprint is beneficial for reliable SQL generation in SLMs.