Agent-Reflex: Teaching Language Agents to Act Reflectively

📄 arXiv: 2610.17953v1 📥 PDF

作者: Guanting Dong, Xinyu Yang, Jiajie Jin, Yuyang Hu, Xiaoshuai Song, Yifei Chen, Xiaoxi Li, Jiejun Tan, Yutao Zhu, Tat-Seng Chua, Ji-Rong Wen, Zhicheng Dou

分类: cs.CL

发布日期: 2026-10-13

备注: Working in progress

🔗 代码/项目: GITHUB

💡 一句话要点

提出Agent-Reflex以解决语言代理反思学习不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 反思学习 语言代理 强化学习 自我反思 工具使用 鲁棒性 长时间推理

📋 核心要点

  1. 现有方法在反思学习和失败恢复方面提供的监督有限，导致代理在面对噪声反馈时表现不佳。
  2. 提出的Agent-Reflex框架通过三个阶段促进代理的主动反思，增强其在复杂环境中的适应能力。
  3. 实验结果显示，Agent-Reflex在多个基准测试中表现优异，显著提高了代理的鲁棒性和训练稳定性。

📝 摘要（中文）

大型语言模型已从单轮聊天机器人演变为能够进行长时间推理的交互代理。在实际部署中，MCP工具服务可能返回噪声反馈，用户也可能干预以纠正代理，但现有方法对反思学习和失败恢复的监督有限。为了解决这一问题，本文提出了Agent-Reflex，一个激励代理主动反思的通用训练框架。该框架包括三个阶段：环境反思技能发现、反思监督微调和基于策略的反思策略优化。实验结果表明，Agent-Reflex在五个长时间工具使用基准上达到了58.6的整体得分，并在AgentNoiseBench上达到了29.1，超越了强基线。

🔬 方法详解

问题定义：本文旨在解决现有语言代理在面对噪声反馈时反思学习和失败恢复的不足。现有方法缺乏有效的监督机制，导致代理在复杂环境中表现不佳。

核心思路：Agent-Reflex框架通过引入环境反思技能发现、反思监督微调和基于策略的反思策略优化，激励代理主动进行反思，从而提升其在动态环境中的表现。

技术框架：该框架分为三个主要阶段：第一阶段是环境反思技能发现（RSD），通过引入工具反馈扰动和样本多样性挖掘成功与失败的配对；第二阶段是反思监督微调（ReSFT），将技能转化为自我反思和用户纠正的监督；第三阶段是基于策略的反思策略优化（ORPO），结合强化学习与反思指导的策略蒸馏。

关键创新：Agent-Reflex的创新在于其综合了反思学习与强化学习的优势，能够在噪声交互中有效引导代理进行自我反思，显著提升了代理的适应能力。

关键设计：在设计中，Agent-Reflex利用了多样化的LLM池和可重用的反思元技能，采用了特定的损失函数来优化反思行为，并确保训练过程的稳定性。通过这些设计，Agent-Reflex能够在复杂环境中保持高效的学习动态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Agent-Reflex在五个长时间工具使用基准上达到了58.6的整体得分，并在AgentNoiseBench上达到了29.1，超越了多个强基线，显示出其在噪声环境下的优越性能和稳定的训练动态。

🎯 应用场景

Agent-Reflex的研究成果具有广泛的应用潜力，尤其是在需要长时间推理和复杂决策的领域，如智能客服、自动驾驶和机器人控制等。通过提升代理的反思能力，该框架能够显著改善用户体验和系统的鲁棒性，未来可能推动更智能的交互系统的发展。

📄 摘要（原文）

Large language models have evolved from single-turn chatbots into interactive agents capable of long-horizon reasoning. In real deployments, MCP tool services can return noisy feedback and users may intervene to correct the agent, but existing methods provide limited supervision for reflection learning and failure recovery. To bridge this gap, we propose Agent-Reflex, a general training framework for incentivizing proactive reflection in agents. Specifically, Agent-Reflex comprises three stages. First, Environment Reflection Skill Discovery (RSD) injects grounded tool-feedback perturbations into environment scaling, samples a capability-diverse LLM pool, mines matched success-failure pairs, and summarizes reusable reflection meta-skills. Building on this skill library, we then apply Reflective Supervised Fine-Tuning (ReSFT) that converts each skill into supervision for self-reflection, skill recovery, and user-centric correction, strengthening complementary reflective behaviors. Finally, we propose On-Policy Reflective Policy Optimization (ORPO) to combine agentic reinforcement learning under noisy interactions with reflection-guided on-policy distillation to further elicit proactive reflection. Built on Qwen3-8B, Agent-Reflex reaches 58.6 overall on five long-horizon tool-use benchmarks and 29.1 on AgentNoiseBench, surpassing strong environment-scaling and reflection baselines. Experiments on six challenging agent benchmark suites demonstrate the effectiveness of Agent-Reflex. Further analyses show that Agent-Reflex improves agents' robustness to noise while maintaining stable training dynamics, supporting scalable agent training. Our code is available at https://github.com/RUC-NLPIR/Agent-Reflex.