TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training

📄 arXiv: 2610.17726v1 📥 PDF

作者: Yuqian Fu, Kaiwen Jiang, Zijun Song, Jiawei Wang, Yuanheng Zhu, Dongbin Zhao

分类: cs.LG, cs.AI

发布日期: 2026-10-13

💡 一句话要点

提出TSRL框架以解决持续学习中的灾难性遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 强化学习 监督微调 灾难性遗忘 大型语言模型 自适应学习 智能代理

📋 核心要点

  1. 现有的持续学习方法在学习新技能时容易导致先前能力的遗忘，尤其是在大型语言模型中表现明显。
  2. 本文提出的TSRL框架通过在策略失败时选择性地应用监督微调，结合了强化学习的优势，旨在减少遗忘现象。
  3. 实验结果显示，TSRL在多个基准测试中表现优异，相较于传统方法，能力保持提升达9.6点，同时在目标任务上性能匹配或超越基线。

📝 摘要（中文）

大型语言模型（LLM）代理在复杂的多步骤任务中表现出色，但在持续学习中容易遭遇灾难性遗忘，即学习新技能时往往会降低先前掌握的能力。现有的后训练范式面临基本的权衡：监督微调（SFT）样本效率高但容易遗忘，而强化学习（RL）能够保留先前能力但收敛速度慢。为了解决这一问题，本文提出了基于触发的监督强化学习（TSRL）框架，通过自适应的状态依赖专家监督机制，结合了两者的优势。TSRL将RL作为优化基础，仅在策略失败的“困难状态”上激活SFT。理论上，我们证明了将监督限制在失败状态上可以推导出累积参数更新的上界，从而减少遗忘。实验结果表明，TSRL在三个代理基准（ALFWorld、WebShop和Deep Search）上均取得了一致的提升，尤其在持续学习场景中，相较于SFT->RL基线，保持了高达9.6的能力提升，同时在目标任务性能上也表现优异。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在持续学习中遭遇的灾难性遗忘问题。现有方法如监督微调（SFT）在样本效率上表现良好，但容易遗忘先前技能；而强化学习（RL）虽然能够保留能力，但收敛速度较慢。

核心思路：论文提出的TSRL框架通过自适应的状态依赖专家监督机制，将RL与SFT结合。具体而言，TSRL在策略失败的“困难状态”上激活SFT，从而提高学习效率并减少遗忘。

技术框架：TSRL的整体架构包括两个主要模块：首先是强化学习模块，作为优化的基础；其次是监督微调模块，仅在特定的困难状态下激活。该框架通过动态选择需要监督的状态来优化学习过程。

关键创新：TSRL的核心创新在于将监督限制在失败状态上，这一设计不仅减少了遗忘，还推导出了累积参数更新的上界，与传统的全监督微调方法相比，显著提高了学习效率。

关键设计：在技术细节上，TSRL采用了特定的损失函数来平衡RL和SFT的影响，并设计了状态选择机制，以确保在最需要的时刻进行监督。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，TSRL在ALFWorld、WebShop和Deep Search三个基准测试中均取得了显著提升。在持续学习场景中，相较于SFT->RL基线，TSRL保持了高达9.6的能力提升，同时在目标任务性能上表现匹配或超越基线，显示出其优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人控制等需要持续学习和适应新环境的场景。通过减少灾难性遗忘，TSRL能够提升系统的长期学习能力和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language model (LLM) agents excel at complex, multi-step tasks but suffer from catastrophic forgetting during continual learning--acquiring new skills often degrades previously mastered capabilities. Existing post-training paradigms face a fundamental trade-off: Supervised Fine-Tuning (SFT) is sample-efficient but prone to severe forgetting, while Reinforcement Learning (RL) preserves prior capabilities but converges slowly without expert guidance. To bridge this gap, we introduce Trigger-based Supervised Reinforcement Learning (TSRL), a framework that integrates the strengths of both paradigms through an adaptive, state-dependent expert supervision mechanism. TSRL employs RL as the optimization backbone, activating SFT selectively on "hard states" where the policy fails. Theoretically, we show that restricting supervision to failure states derives an upper bound on the cumulative parameter updates, thereby reducing forgetting compared to full SFT. Empirically, TSRL achieves consistent gains across three agent benchmarks (ALFWorld, WebShop, and Deep Search) at both 7B and 32B scales. In continual learning scenarios, our method retains up to 9.6 points more capability on prior tasks than SFT->RL baselines, while matching or exceeding target-task performance.