NL2SQL with Iterative Self-Refinement

📄 arXiv: 2610.22968v1 📥 PDF

作者: Anjali Vemula, Akshat Dasula

分类: cs.DB, cs.AI

发布日期: 2026-10-16

💡 一句话要点

提出多代理驱动的NL2SQL框架以解决高精度数据访问问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: NL2SQL 大型语言模型 多代理系统 语法自修复 语义一致性检查 高风险环境 数据访问

📋 核心要点

  1. 现有的NL2SQL方法在处理复杂查询时常常无法准确捕捉用户意图，导致生成的SQL查询不可靠。
  2. 本文提出的框架通过多代理和角色驱动的方式，结合多个模块来提升查询的准确性和可靠性。
  3. 在实验中，该系统在60个查询上实现了90%的正确率，显著优于传统的LLM提示方法。

📝 摘要（中文）

在数据访问中，弥合人类意图与机器逻辑之间的差距仍然是一个关键挑战，尤其对于非技术用户而言。尽管大型语言模型（LLMs）在此领域有潜力，但它们常常会产生虚假模式元素、生成语法无效的查询或无法准确捕捉用户意图。本文提出了一种多代理、基于角色的NL2SQL框架，结合了领域相关性检测、基于模式的知识构建、关注KPI的SQL合成、基于sqlite执行反馈的语法自修复以及通过SQL到自然语言的逆向工程进行语义一致性检查。该系统显著减少了查询的虚假生成，并提高了语义的准确性。通过对60个查询的评估，该系统在七次协调的LLM调用中实现了90%的正确率，显示出在高风险环境中NL2SQL管道的可靠性显著提升。

🔬 方法详解

问题定义：本文旨在解决现有NL2SQL方法在高精度数据访问中的不足，特别是在保险等高风险领域，现有方法常常无法准确生成符合用户意图的SQL查询。

核心思路：通过引入多代理和角色驱动的框架，结合领域相关性检测和KPI意识的SQL合成，提升生成查询的准确性和可靠性。

技术框架：该框架包括五个主要模块：领域相关性检测、模式基础知识构建、KPI意识的SQL合成、基于sqlite的语法自修复和SQL到自然语言的语义一致性检查。

关键创新：最重要的创新在于引入了多代理协作机制和基于反馈的自修复过程，这与传统的单一LLM提示方法形成了鲜明对比。

关键设计：系统设计中采用了多轮协调的LLM调用策略，结合了语法修复和语义一致性检查的反馈机制，以确保生成的SQL查询在语法和语义上均符合预期。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，提出的系统在60个查询上实现了90%的正确率，相较于传统的LLM提示方法，显著减少了查询的虚假生成，提升了语义的准确性，展示了在高风险环境中NL2SQL管道的可靠性。

🎯 应用场景

该研究的潜在应用领域包括保险、金融和医疗等高风险行业，这些领域对数据查询的准确性和可靠性有着严格要求。通过提升NL2SQL的性能，能够帮助非技术用户更高效地访问和分析数据，从而提高决策的质量和速度。

📄 摘要（原文）

Bridging the gap between human intent and machine logic remains a critical challenge in data access for non-technical users, yet Large Language Models (LLMs) remain unreliable: they hallucinate schema elements, generate syntactically invalid queries, or fail to capture user intent. These limitations are especially critical in domains such as insurance, where KPIs, regulatory constraints, and legacy relational systems demand high precision. We introduce a multi-agent, persona-driven NL2SQL framework that combines (1) domain relevance detection, (2) schema-grounded knowledge construction, (3) KPI-aware SQL synthesis, (4) syntax-level self-repair using sqlite execution feedback, and (5) semantic consistency checking via SQL-to-NL reverse engineering. Our system significantly reduces query hallucination and improves semantic fidelity compared to direct LLM prompting. Evaluated on 60 queries (50 from a HuggingFace text-to-SQL dataset and 10 custom domain queries), the system achieves 90% correctness using Mistral across seven coordinated LLM calls showing that this approach can substantially increase the reliability of NL2SQL pipelines in high-stakes environments.