DualSQL: Text-to-SQL with Multi-Agent Reinforcement Learning

📄 arXiv: 2609.18135v1 📥 PDF

作者: Shijie Chen, Yu Gan, Yeounoh Chung, Jiani Zhang, Quannan Li, Sravan Babu Bodapati, Cody J. Greer, Yu Su, Fatma Ozcan

分类: cs.CL, cs.AI, cs.DB

发布日期: 2026-09-16

💡 一句话要点

提出DualSQL以解决Text-to-SQL系统中的任务协同问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Text-to-SQL 多代理强化学习 SQL生成 数据库访问 模型共享

📋 核心要点

  1. 现有的Text-to-SQL系统通常为模式链接和SQL生成任务训练独立模型，未能充分利用任务间的协同效应。
  2. 本文提出DualSQL，通过共享模型权重的两个代理实现任务的联合优化，采用多代理强化学习框架。
  3. DualSQL-4B在3755个样本上训练，达到了68.0%的执行准确率，DualSQL-8B进一步提升至71.1%，超越了现有的单模型解决方案。

📝 摘要（中文）

现有的Text-to-SQL系统通常采用多代理管道，围绕模式链接和SQL生成两个基本任务进行。然而，现有研究为每个任务训练独立模型，未能利用这些相关任务之间的协同作用。本文提出DualSQL，一个新的Text-to-SQL系统，由两个代理组成，基于单一模型骨干。代理共享相同的模型权重和代理框架，通过强大的多代理强化学习框架实现联合优化。我们设计了三种数据库访问工具，以促进有效的多步骤推理。为改善训练并避免模型崩溃，我们引入了一系列回滚保护机制，稳定多代理强化学习训练。DualSQL-4B在仅用3755个样本训练的情况下，在BIRD开发集上实现了68.0%的执行准确率，匹配了之前的7B模型，而DualSQL-8B进一步提升至71.1%，超越了之前的32B参数的单模型解决方案。这些结果展示了联合多代理强化学习在构建高性能Text-to-SQL管道中的优势。

🔬 方法详解

问题定义：本文旨在解决现有Text-to-SQL系统中任务协同不足的问题，现有方法通常为模式链接和SQL生成分别训练独立模型，导致效率低下和性能限制。

核心思路：DualSQL通过两个共享相同模型权重的代理实现任务的联合优化，利用多代理强化学习框架增强任务间的协同作用，从而提高整体性能。

技术框架：DualSQL的整体架构包括两个代理，采用共享的模型骨干，设计了三种数据库访问工具以支持多步骤推理，并引入回滚保护机制以稳定训练过程。

关键创新：最重要的创新在于通过共享模型权重的多代理设计，实现了任务间的协同优化，显著提高了执行准确率，与传统的独立模型训练方法形成鲜明对比。

关键设计：在训练过程中，采用了回滚保护机制以避免模型崩溃，并引入了新的SQL正确性度量标准——鲁棒执行匹配（REX），以更准确地评估SQL的正确性并分配奖励信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DualSQL-4B在3755个样本上训练，实现了68.0%的执行准确率，DualSQL-8B进一步提升至71.1%，超越了之前的32B参数单模型解决方案。这一结果展示了多代理强化学习在Text-to-SQL任务中的有效性，标志着该领域的重要进展。

🎯 应用场景

DualSQL的研究成果在数据库查询生成、自然语言处理和智能问答系统等领域具有广泛的应用潜力。通过提高SQL生成的准确性和效率，该系统能够为数据分析、商业智能和自动化决策提供更强大的支持，未来可能推动相关技术的进一步发展与普及。

📄 摘要（原文）

State-of-the-art Text-to-SQL systems are typically multi-agent pipelines centered around two fundamental tasks: schema linking and SQL generation. However, existing work trains separate models for each task, failing to leverage the synergy between these interrelated tasks. In this work, we propose DualSQL, a new Text-to-SQL system consisting of two agents powered by a single model backbone. The agents share the same model weights and agentic scaffold, enabling joint optimization through a robust multi-agent reinforcement learning (RL) framework. We design three database access tools to facilitate effective multi-step reasoning grounded to interactions with the databases. To improve training and avoid model collapse, we introduce a set of rollout guardrail mechanisms that stabilizes multi-agent RL training, supporting DualSQL to keep improving during training. We also introduce a new SQL correctness metric, robust execution match (REX), to more accurately judge SQL correctness and assign reward signals. Being trained on only 3755 examples, DualSQL-4B achieves an impressive 68.0% execution accuracy on the BIRD development set, matching previous 7B models. DualSQL-8B further improves to 71.1%, outperforming previous state-of-the-art single-model solutions with 32B parameters. These results demonstrate the strength of joint multi-agent reinforcement learning for building high performance Text-to-SQL pipelines.