PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems

📄 arXiv: 2610.22158v1 📥 PDF

作者: Shuo Lin, Jinzhe Li, Chenlu Guo, Yanhan Li, Yuan Wu, Yi Chang

分类: cs.CL

发布日期: 2026-10-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出PremiseSQL以解决NL2SQL系统中的前提缺陷问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到SQL 前提批判 自然语言处理 大型语言模型 模型评估 数据库查询 智能问答

📋 核心要点

  1. 现有NL2SQL系统假设用户查询有效，导致模型在处理有缺陷查询时生成误导性SQL。
  2. 本文引入前提批判能力，提出PremiseSQL基准以评估NL2SQL系统对有缺陷查询的识别和放弃能力。
  3. 实验结果显示，当前模型对前提信任度高，批判能力不足，改进提示能提高检测率但也增加错误判断。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的进步显著提升了文本到SQL（Text-to-SQL）系统的性能。然而，现有的NL2SQL系统通常假设用户查询是有效且可回答的，因此模型在面对有缺陷的前提时，仍然会生成可执行的SQL。为此，本文引入了前提批判能力，即识别有缺陷查询并避免生成误导性SQL的能力。我们提出了PremiseSQL基准，包含1800个有缺陷的NL2SQL查询及其对应的原始查询，并设计了评估框架以测量模型在不同提示设置下的前提意识行为。实验表明，当前模型默认对前提过于信任，批判能力不足，尽管更强的批判性提示能改善对有缺陷查询的检测和放弃，但也增加了错误判断的风险。

🔬 方法详解

问题定义：本文旨在解决现有NL2SQL系统在面对有缺陷用户查询时生成误导性SQL的问题。现有方法未能有效识别和处理这些有缺陷的前提，导致生成的SQL可能不准确或无效。

核心思路：论文提出了一种前提批判能力，旨在让NL2SQL模型能够识别查询中的缺陷并选择不生成SQL，从而避免误导用户。通过引入PremiseSQL基准，评估模型在处理有缺陷查询时的表现。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集包含1800个有缺陷的查询及其原始查询，模型通过不同的提示设置进行训练和评估。

关键创新：最重要的创新在于引入了前提批判能力，使得NL2SQL模型不仅仅依赖于用户查询的有效性，还能主动识别并放弃有缺陷的查询。这一能力与现有方法的本质区别在于其主动性和批判性。

关键设计：在模型训练中，采用了特定的损失函数来强化前提批判能力，并通过不同的提示策略来引导模型的行为。这些设计使得模型在面对有缺陷查询时能够做出更为合理的判断。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，当前模型对前提的信任度过高，批判能力不足。通过引入更强的批判性提示，模型在检测有缺陷查询的能力上有所提升，但同时也增加了错误判断的风险。这一发现为未来的NL2SQL系统设计提供了重要的指导。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、数据库查询生成和自然语言处理等。通过提升NL2SQL系统的前提批判能力，可以显著提高用户体验，减少误导性结果的生成，进而推动相关技术在实际应用中的广泛采用。

📄 摘要（原文）

Recent advances in large language models (LLMs) have substantially improved Text-to-SQL performance, yet existing NL2SQL systems largely assume that user queries are valid and answerable. As a result, models often generate executable SQL even for queries with flawed premises. We introduce premise critique ability in NL2SQL, namely the ability to recognize flawed queries and abstain from generating misleading SQL. To evaluate this capability, we propose PremiseSQL, a benchmark containing 1,800 flawed NL2SQL queries across four categories of premise failures, along with their 1,800 original queries. We further design an evaluation framework to measure intrinsic and prompt-induced premise-aware behavior across three prompting settings. Experiments on frontier LLMs show that current models are strongly premise-trusting by default and rarely critique flawed premises. Stronger critique-oriented prompting improves detection and abstention on flawed queries, but also increases false invalid judgments and suppresses SQL generation on originals. The code is available at https://github.com/vegeet/PremiseSQL.