Environments as Scaffold: Enriching Feedback to Bootstrap Self-Evolving Agents in Long-Horizon Tasks

📄 arXiv: 2609.08404v1 📥 PDF

作者: Hongbang Yuan, Zhuoran Jin, Yixin Cao

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-09-08

备注: 21 Pages, 6 Figures, 7 Tables,

💡 一句话要点

提出环境侧适应以解决长时间任务中的奖励稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 自主代理 反馈丰富环境 长时间任务 奖励稀疏 环境适应 模型训练

📋 核心要点

  1. 现有方法在长时间任务中面临奖励稀疏的问题，导致自主代理的训练效果不佳。
  2. 论文提出通过构建反馈丰富环境（FEEs）来进行环境侧适应，重塑环境设计以增强观察信息。
  3. 实验结果显示，FEEs在多个基准测试中均表现出稳定的训练动态和显著的性能提升。

📝 摘要（中文）

大型语言模型在静态推理方面表现出色，但在通过强化学习（RL）训练自主代理以完成长时间任务时，常常受到奖励稀疏的严重阻碍。虽然传统的代理侧预热方法可以缓解这一问题，但受限于数据稀缺和探索受限。为此，本文提出了一种环境侧适应的新范式，通过构建反馈丰富环境（FEEs）来解决这一挑战。实验表明，FEEs在SciWorld和BFCL基准上使用不同的Qwen3模型规模和RL算法（如GRPO、GSPO和DAPO）时，均能显著提升性能。

🔬 方法详解

问题定义：本文旨在解决在长时间任务中，强化学习代理因奖励稀疏而导致的训练困难。现有的代理侧预热方法受限于数据稀缺和探索能力不足，难以有效提升训练效果。

核心思路：论文提出了一种新的环境侧适应方法，通过构建反馈丰富环境（FEEs），在环境设计中引入观察信息的增强，旨在改善代理的学习过程和效果。

技术框架：整体架构包括环境重塑的反馈设计策略，分为两个阶段：一是内部探索阶段，二是跨回合演化阶段。在后期阶段，重点从动作指导转向观察丰富。

关键创新：最重要的创新在于引入反馈丰富环境（FEEs），与传统方法相比，FEEs不仅提高了训练的稳定性，还促进了状态空间的主动探索。

关键设计：在设计中，采用了多种RL算法（如GRPO、GSPO、DAPO），并通过大规模实验验证了FEEs在不同模型规模下的有效性，关键参数设置和损失函数的设计也经过精心调整以优化训练效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用FEEs的训练方法在SciWorld和BFCL基准上均显著优于标准设置，具体表现为训练动态的稳定性提高，奖励稀疏问题得到有效缓解，且在复杂任务中的状态空间探索能力增强，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等长时间任务的自主学习场景。通过改善代理在复杂环境中的学习能力，FEEs有助于提升智能体的自主决策和适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models demonstrate remarkable proficiency in static reasoning, yet training them as autonomous agents through Reinforcement Learning (RL) for long-horizon tasks is often hindered by severe reward sparsity. While conventional \textit{agent-side warming} up via supervised fine-tuning (SFT) can alleviate this, it is frequently limited by data scarcity and constrained exploration. To address this, we propose a paradigm shift to \textit{environment-side adaptation} by constructing \textbf{F}eedback-\textbf{E}nriched \textbf{E}nvironments (\textbf{FEEs}). Through a pilot study, we establish a feedback design strategy that reformulates environments by transitioning from action guidance to observation enrichment during the later stages of both intra-episode exploration and inter-episode evolution. Large-scale experiments on SciWorld and BFCL benchmarks using various Qwen3 model scales and RL algorithms such as GRPO, GSPO, and DAPO demonstrate that FEEs consistently yield performance improvements over standard settings. Furthermore, our analysis reveals that training with FEEs \textbf{(1)} stabilizes training dynamics by reducing entropy volatility, \textbf{(2)} facilitates proactive state-space exploration in difficult tasks, \textbf{(3) }ensures the internalization of environmental guidance into policy weights rather than acting as a mere inference-time prior, and \textbf{(4) }identifies intra-group feedback consistency as a critical boundary for stable optimization.