AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning

📄 arXiv: 2509.08755v1 📥 PDF

作者: Zhiheng Xi, Jixuan Huang, Chenyang Liao, Baodai Huang, Honglin Guo, Jiaqi Liu, Rui Zheng, Junjie Ye, Jiazheng Zhang, Wenxiang Chen, Wei He, Yiwen Ding, Guanyu Li, Zehui Chen, Zhengyin Du, Xuesong Yao, Yufei Xu, Jiecao Chen, Tao Gui, Zuxuan Wu, Qi Zhang, Xuanjing Huang, Yu-Gang Jiang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-09-10

备注: preprint, 39 pages, 16 figures. Project: https://AgentGym-RL.github.io/. Framework and Code: https://github.com/woooodyy/AgentGym, https://github.com/woooodyy/AgentGym-RL

💡 一句话要点

AgentGym-RL：通过多轮强化学习训练LLM智能体，解决长程决策问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: LLM智能体 强化学习 长程决策 多轮交互 探索与利用

📋 核心要点

  1. 现有方法缺乏统一的交互式强化学习框架，难以从零开始训练LLM智能体，尤其是在多样且真实的环境中。
  2. AgentGym-RL框架通过模块化设计和ScalingInter-RL训练方法，平衡探索与利用，实现LLM智能体在长程决策中的有效训练。
  3. 实验结果表明，该框架训练的智能体在27个任务上达到或超过了商业模型的性能，验证了框架的稳定性和有效性。

📝 摘要（中文）

本文提出了AgentGym-RL，一个用于训练LLM智能体进行多轮交互式决策的强化学习框架。该框架具有模块化和解耦的架构，保证了高度的灵活性和可扩展性。它包含各种真实世界的场景，并支持主流的强化学习算法。此外，本文还提出了一种名为ScalingInter-RL的训练方法，旨在平衡探索与利用，并实现稳定的强化学习优化。该方法在早期阶段通过限制交互次数来强调利用，并逐渐转向具有更长视野的探索，以鼓励多样化的解决问题策略。通过这种方式，智能体可以发展出更多样化的行为，并且在长视野下不易崩溃。大量的实验验证了AgentGym-RL框架和ScalingInter-RL方法的稳定性和有效性。在各种环境中的27个任务上，本文的智能体匹配或超过了商业模型。本文提供了关键的见解，并将开源完整的AgentGym-RL框架（包括代码和数据集），以赋能研究界开发下一代智能体。

🔬 方法详解

问题定义：现有方法在训练LLM智能体进行长程决策时，缺乏一个统一且灵活的强化学习框架。以往的方法通常依赖于监督微调（SFT），难以从零开始训练智能体，并且在复杂、真实的环境中表现不佳。痛点在于缺乏有效的探索机制和稳定的优化方法，导致智能体容易陷入局部最优或在长视野下崩溃。

核心思路：本文的核心思路是构建一个模块化、可扩展的强化学习框架AgentGym-RL，并提出一种新的训练方法ScalingInter-RL，以平衡探索与利用。通过逐步增加交互的视野长度，鼓励智能体在早期阶段进行充分的利用，并在后期进行更广泛的探索，从而学习到多样化的解决问题策略。这种设计旨在克服传统强化学习方法在训练LLM智能体时遇到的探索不足和优化不稳定的问题。

技术框架：AgentGym-RL框架采用模块化和解耦的架构，主要包含以下几个模块：环境接口模块（负责与各种真实世界环境交互）、智能体模块（包含LLM智能体及其策略）、奖励函数模块（定义任务目标和奖励信号）、强化学习算法模块（支持主流的RL算法，如PPO、DQN等）。训练流程如下：智能体与环境交互，根据环境状态采取行动，环境返回奖励和新的状态，强化学习算法根据奖励更新智能体的策略。ScalingInter-RL方法则是在此基础上，动态调整交互的视野长度，实现探索与利用的平衡。

关键创新：最重要的技术创新点在于ScalingInter-RL训练方法。与传统的强化学习方法不同，ScalingInter-RL不是一开始就让智能体进行长程交互，而是逐步增加交互的视野长度。这种方法可以有效地避免智能体在早期阶段因探索不足而陷入局部最优，并在后期鼓励智能体进行更广泛的探索，从而学习到更鲁棒和多样化的策略。

关键设计：ScalingInter-RL的关键设计在于动态调整交互视野长度的策略。具体来说，在训练的早期阶段，限制智能体与环境的交互次数，鼓励智能体充分利用已有的知识，学习到基本的策略。随着训练的进行，逐步增加交互的视野长度，允许智能体进行更长时间的探索，发现新的解决问题的方法。此外，奖励函数的设计也至关重要，需要能够准确地反映任务目标，并提供有效的奖励信号，引导智能体学习到期望的行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用AgentGym-RL框架和ScalingInter-RL方法训练的智能体在27个不同的任务上达到了与商业模型相当甚至更好的性能。具体来说，在某些任务上，智能体的性能提升超过了10%。这些结果验证了AgentGym-RL框架的有效性和ScalingInter-RL方法的优越性，表明该框架能够有效地训练LLM智能体，使其具备解决复杂、真实世界问题的能力。

🎯 应用场景

该研究成果可广泛应用于各种需要智能体进行长程决策的领域，例如：自动化客服、智能家居控制、游戏AI、机器人导航、供应链管理等。通过AgentGym-RL框架，可以更有效地训练LLM智能体，使其能够更好地理解环境、做出合理的决策，并完成复杂的任务。未来，该框架有望推动智能体技术的发展，并为各行各业带来更智能、更高效的解决方案。

📄 摘要（原文）

Developing autonomous LLM agents capable of making a series of intelligent decisions to solve complex, real-world tasks is a fast-evolving frontier. Like human cognitive development, agents are expected to acquire knowledge and skills through exploration and interaction with the environment. Despite advances, the community still lacks a unified, interactive reinforcement learning (RL) framework that can effectively train such agents from scratch -- without relying on supervised fine-tuning (SFT) -- across diverse and realistic environments. To bridge this gap, we introduce AgentGym-RL, a new framework to train LLM agents for multi-turn interactive decision-making through RL. The framework features a modular and decoupled architecture, ensuring high flexibility and extensibility. It encompasses a wide variety of real-world scenarios, and supports mainstream RL algorithms. Furthermore, we propose ScalingInter-RL, a training approach designed for exploration-exploitation balance and stable RL optimization. In early stages, it emphasizes exploitation by restricting the number of interactions, and gradually shifts towards exploration with larger horizons to encourage diverse problem-solving strategies. In this way, the agent develops more diverse behaviors and is less prone to collapse under long horizons. We perform extensive experiments to validate the stability and effectiveness of both the AgentGym-RL framework and the ScalingInter-RL approach. Our agents match or surpass commercial models on 27 tasks across diverse environments. We offer key insights and will open-source the complete AgentGym-RL framework -- including code and datasets -- to empower the research community in developing the next generation of intelligent agents.