My FAULT: Self-Diagnosis as Credit Assignment in Self-Evolving Agentic Reinforcement Learning

📄 arXiv: 2610.01161v1 📥 PDF

作者: Yihua Zhu, Qianying Liu, Weixu Qiao, Xuan Ren, Weiwei Xu, Wenbo Li, Wei Wang, Ruijia Chen, Xinmiao Luan, Yin Luo, Hao Huang, Xiang Zheng, Hidetoshi Shimodaira

分类: cs.CL

发布日期: 2026-10-01

备注: Preprint

💡 一句话要点

提出FAULT以解决长时程强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代理强化学习 信用分配 自我诊断 长时程任务 动态更新

📋 核心要点

  1. 现有的代理强化学习方法在长时程任务中面临信用分配问题，尤其是终端奖励无法提供足够的学习信号。
  2. 本文提出FAULT方法，通过将诊断错误转化为步骤级信用，解决了自然语言诊断的局限性。
  3. 在ALFWorld等任务中，FAULT实现了95%的信号覆盖率，相较于其他方法有显著提升，且更好地定位了错误步骤。

📝 摘要（中文）

代理强化学习（RL）作为一种强大的训练大型语言模型代理的方法，在多步任务中表现出色。然而，依赖终端结果奖励导致了两个信用分配问题，尤其是在长时程任务中。现有方法通过轨迹分析补充终端奖励的信息，但自然语言诊断难以直接用于信用分配。本文提出自我诊断引导的终端信用重分配（FAULT），将诊断错误转化为明确的步骤级信用，并通过任务结果学习相对错误成本。在ALFWorld上，FAULT显著提高了学习信号的覆盖率，并在长时程任务中表现出强劲的改进。

🔬 方法详解

问题定义：本文旨在解决长时程代理强化学习中的信用分配问题，现有方法在终端奖励的使用上存在信号不足和反馈不明确的痛点。

核心思路：FAULT方法通过将诊断错误转化为明确的步骤级信用，结合终端结果进行动态调整，从而提高学习效率和准确性。

技术框架：FAULT的整体架构包括自我诊断模块和策略学习模块，二者共同进化，实时更新错误成本并优化学习信号。

关键创新：FAULT的主要创新在于将自然语言诊断转化为量化的步骤级信用分配，解决了传统方法中反馈不可靠的问题。

关键设计：在设计上，FAULT采用了动态更新的错误成本机制，结合损失函数和网络结构的优化，以确保学习过程的高效性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，FAULT在ALFWorld任务中实现了95%的信号覆盖率，相较于GRPO的41%和GiGPO的72%有显著提升。此外，FAULT在长时程任务中表现出强劲的改进，同时在短时程任务中也保持了竞争力。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化决策系统和长时程任务的强化学习。通过提高信用分配的准确性，FAULT可以在复杂环境中实现更高效的学习和决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Agentic reinforcement learning (RL) has emerged as a powerful approach for training large language model agents on multi-step tasks, yet reliance on terminal outcome rewards creates two credit-assignment problems, particularly in long-horizon tasks. First, same-outcome rollout groups provide no learning signal from terminal rewards. Second, terminal rewards provide only trajectory-wide feedback, making it difficult to identify which decisions caused a failure. Recent work supplements terminal rewards with finer-grained information from trajectory analysis, such as natural-language reflections on intermediate decisions and errors. However, natural-language diagnoses are difficult to use directly for credit assignment: their error claims may be unreliable, and they do not quantify how much each error should affect learning. We propose Self-Diagnosis-guided Terminal Credit Redistribution (FAULT), which turns diagnosed errors into explicit step-level credit anchored by terminal outcomes. FAULT checks diagnostic evidence and learns relative error costs from task outcomes. During training, the policy and self-diagnoser co-evolve, while error costs are updated online from recent outcomes. On ALFWorld, FAULT recovers learning signals from same-outcome groups, reaching 95% signal coverage versus 41% for GRPO and 72% for GiGPO, while better localizing credit to specific error steps. Across two model scales, FAULT delivers strong. improvements on the long-horizon ALFWorld and WebShop tasks while remaining competitive on short-horizon Search-based QA.