BIRD-RL: Scaling Agentic Reinforcement Learning over Stateful Data-Centric Environments

📄 arXiv: 2610.29426v1 📥 PDF

作者: Ge Qu, Jinyang Li, Xiaohan Xu, Xiaolong Li, Bowen Qin, Nan Huo, Ziwei Tang, Chenhao Ma, Reynold Cheng

分类: cs.LG, cs.CL

发布日期: 2026-10-21

备注: Accepted to NeurIPS 2026 Main Track

💡 一句话要点

提出BIRD-RL以解决状态数据中心环境中的强化学习效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 代理强化学习 数据中心环境 SQL调试 轨迹管理 多轮交互 空间效率 小型语言模型 课程学习

📋 核心要点

  1. 现有的工具中心强化学习框架在处理状态数据中心任务时效率低下，导致轨迹污染和跨轨迹干扰。
  2. BIRD-RL通过四阶段课程设计，增强代理推理和轨迹自适应探索，解决了直接端到端学习的不稳定性问题。
  3. 在BIRD-CRITIC-SQLite基准上，BIRD-RL的7B和14B模型分别实现了44.40%和48.00%的成功率，显示出与强大代理模型的竞争力。

📝 摘要（中文）

尽管代理强化学习（RL）已成为训练小型语言模型（SLMs）的有前景的范式，但现有框架主要以工具为中心，难以应对数据中心环境。将工具中心框架应用于SQL调试等状态任务时，由于环境隔离的需求，导致空间效率低下。为了解决这些瓶颈，本文提出了BIRD-RL，一个新颖的四阶段代理RL课程，交替增强基础代理推理和轨迹自适应的在线探索。BIRD-RL通过轨迹范围持久执行基础设施支持课程，安全地重用数据库副本，同时保持轨迹隔离。实验证明，BIRD-RL在复杂数据中心任务中实现了12.8倍的空间效率提升，并在BIRD-CRITIC-SQLite基准上显示出竞争力的成功率。

🔬 方法详解

问题定义：本文旨在解决现有工具中心强化学习在状态数据中心环境中的低效问题，尤其是在SQL调试等多轮交互任务中，环境隔离不足导致的轨迹污染和不稳定性。

核心思路：BIRD-RL通过引入四阶段课程设计，交替提升基础代理推理能力和轨迹自适应在线探索，旨在减少直接端到端学习带来的不稳定性。

技术框架：BIRD-RL的整体架构包括四个主要阶段，分别是基础推理阶段、轨迹自适应探索阶段、环境隔离阶段和评估阶段。每个阶段都针对特定的学习目标进行优化。

关键创新：BIRD-RL的核心创新在于引入了轨迹范围持久执行基础设施，允许安全地重用数据库副本，同时保持轨迹隔离，从而显著提高空间效率。

关键设计：在设计中，BIRD-RL采用了特定的参数设置和损失函数，以确保在多轮交互中有效跟踪状态变化，并通过优化网络结构来提升模型的学习能力。具体细节包括对数据库副本的管理和轨迹的动态调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BIRD-RL在BIRD-CRITIC-SQLite基准测试中表现出色，7B和14B模型的成功率分别达到44.40%和48.00%，与强大的代理模型Claude-Opus-4.6 Agent（48.20%）相当。该方法在空间效率上实现了12.8倍的提升，展示了其在复杂数据中心任务中的强大能力。

🎯 应用场景

BIRD-RL的研究成果在多个领域具有潜在应用价值，特别是在需要处理复杂数据的任务中，如数据库管理、自然语言处理和多目标优化等。其高效的学习机制和轨迹管理能力能够为实际应用提供更为稳定和高效的解决方案，推动智能系统在真实世界中的应用。未来，BIRD-RL可能会影响更多领域的智能决策与自动化。

📄 摘要（原文）

While agentic reinforcement learning (RL) has emerged as a promising paradigm for training small language models (SLMs), existing frameworks are predominantly tool-centric and struggle with data-centric environments. Specifically, applying tool-centric frameworks to stateful tasks like SQL debugging introduces severe spatial inefficiencies since proper environment isolation typically requires a separate database container per rollout. Naively reusing databases without tracking evolving states across multi-turn interactions causes trajectory contamination and cross-trajectory interference, which severely destabilizes policy updates. To overcome these bottlenecks, we introduce BIRD-RL, a novel four-stage agentic RL curriculum that alternately enhances foundational agent reasoning and trajectory-adaptive on-policy exploration to circumvent the instability inherently associated with direct end-to-end learning. Crucially, to support this curriculum, BIRD-RL is driven by a Trajectory-scoped Persistent Execution Infrastructure, which enables safe database replica reuse while preserving trajectory isolation. This design improves spatial RL efficiency by 12.8x, successfully enabling scalable agentic RL for complex data-centric tasks without needs of Kubernettes. Empirical evaluations on the BIRD-CRITIC-SQLite benchmark demonstrate that our 7B and 14B models achieve Success Rates of 44.40% and 48.00%, respectively, showing competitive performance against strong proprietary model-based agents such as Claude-Opus-4.6 Agent (48.20%). Furthermore, BIRD-RL successfully trains unified SLMs capable of both advanced SQL debugging and generation, highlighting its broader potential for multi-objective optimization across heterogeneous, real-world data-centric tasks.