LIMIT: Less Is More for Instruction Tuning in Text-to-SQL

📄 arXiv: 2609.24186v1 📥 PDF

作者: Haoyuan Ma, Hengwei Liu, Linjuan Wu, Yongliang Shen, Weiming Lu

分类: cs.AI

发布日期: 2026-09-21

💡 一句话要点

提出LIMIT框架以优化Text-to-SQL指令调优数据需求

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Text-to-SQL 指令调优 数据选择 数据库推理 自然语言处理 机器学习 模型优化

📋 核心要点

  1. 现有Text-to-SQL方法依赖大量数据，导致数据准备和处理成本高，且未必能有效提升性能。
  2. LIMIT框架通过精心选择样本，展示了在极小训练集上实现有效指令调优的可能性，强调数据质量而非数量。
  3. 在BIRD和Spider基准上，LIMIT仅用796和863个样本实现69.1%和88.9%的执行准确率，超越传统方法。

📝 摘要（中文）

大型语言模型在Text-to-SQL任务上取得了显著进展，但现有方法主要依赖于大量指令语料，假设规模驱动性能。本文提出LIMIT（Less Is More for Instruction Tuning in Text-to-SQL），探讨有效的Text-to-SQL指令调优的最小数据需求。LIMIT通过四个阶段操作：困难感知过滤、思维链合成、多维质量评分和遗传算法优化，展示了在极小的训练集上也能实现强大的数据库推理能力。实验结果表明，LIMIT在BIRD和Spider基准上仅选择796和863个样本，达成100%表覆盖率，超越了使用20倍数据训练的方法，建立了开源方法的新状态。

🔬 方法详解

问题定义：现有Text-to-SQL方法通常依赖于大规模的指令语料库，导致数据准备复杂且效率低下。本文旨在探讨在最小数据需求下，如何有效进行指令调优。

核心思路：LIMIT框架的核心思想是通过战略性选择样本，证明即使在极小的训练集上也能实现强大的数据库推理能力，强调数据的质量和选择的重要性。

技术框架：LIMIT的整体架构包括四个主要阶段：困难感知过滤、思维链合成、多维质量评分和遗传算法优化。每个阶段都旨在提升样本的选择和训练效果。

关键创新：LIMIT的最大创新在于其数据中心的设计，通过困难感知过滤和遗传算法优化，显著减少了所需样本数量，同时保持了模型性能，突破了传统依赖大规模数据的思维。

关键设计：在样本选择中，LIMIT使用了基于一致性的选择机制和LLM作为评判的多维质量评分，确保所选样本在模型学习边界内，并通过遗传算法优化样本的质量和覆盖率。具体参数和损失函数的设计细节在论文中进行了详细阐述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LIMIT在BIRD和Spider基准上仅使用796和863个样本，分别实现69.1%和88.9%的执行准确率，且100%表覆盖率，超越了使用20倍数据的传统方法，确立了新的开源方法的性能标杆。

🎯 应用场景

LIMIT框架的研究成果在数据库查询、自然语言处理和智能助手等领域具有广泛的应用潜力。通过减少对大规模数据的依赖，能够降低开发成本，提高模型训练的效率，推动相关技术的普及与应用。

📄 摘要（原文）

Large language models have achieved remarkable progress on Text-to-SQL through reasoning-enhanced fine-tuning, yet existing approaches predominantly rely on massive instruction corpora under the assumption that scale drives performance. We challenge this paradigm by investigating a fundamental question: what is the minimal data requirement for effective Text-to-SQL instruction tuning? We propose LIMIT(Less Is More for Instruction Tuning in Text-to-SQL), a data-centric framework that demonstrates strong database reasoning can emerge from an extremely compact training set when examples are strategically selected. LIMIT operates through four stages: difficulty-aware filtering that identifies samples within the model's learning frontier, chain-of-thought synthesis with consistency-based selection, multi-dimensional quality scoring via LLM-as-judge, and genetic algorithm optimization that jointly maximizes schema coverage and sample quality. On the BIRD and Spider benchmark, LIMIT selects only 796 and 863 samples while achieving 100% table coverage, enabling Qwen3-8B to reach 69.1% and 88.9% execution accuracy.This result surpasses methods trained on 20 times more data and establishes a new state-of-the-art among open-source approaches. Our findings suggest that careful data curation, rather than scale, is the key to efficient Text-to-SQL learning.