ReflectPO: Reflection-Guided Policy Optimization for Long-Horizon LLM Agents

📄 arXiv: 2610.30933v1 📥 PDF

作者: Rumei Li, Xunliang Cai

分类: cs.CL

发布日期: 2026-10-22

💡 一句话要点

提出ReflectPO以解决长时间任务中的错误恢复问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间任务 错误恢复 强化学习 大型语言模型 策略优化 智能体

📋 核心要点

  1. 现有方法在处理长时间任务时，早期的执行错误会导致后续决策受到影响，难以恢复。
  2. 本文提出反思引导的策略优化（ReflectPO），通过反思引导采样和树结构信用分配来实现自主错误恢复。
  3. 实验结果显示，ReflectPO在两个长时间工具使用基准上表现优异，显著提升了智能体的错误识别和恢复能力。

📝 摘要（中文）

随着外部工具的使用，大型语言模型（LLMs）能够通过持续的环境交互来处理复杂任务。LLM驱动的智能体越来越多地被用于解决现实环境中的复杂长时间任务。然而，这些任务涉及到顺序、相互依赖的决策和环境状态的变化。早期的执行错误会影响后续的交互历史和环境状态，并沿着决策链累积。为了解决这一挑战，本文提出了反思引导的策略优化（ReflectPO），这是一个用于长时间任务的自主错误恢复的强化学习框架。ReflectPO包含两个核心组件：反思引导采样和树结构信用分配。实验表明，ReflectPO在大多数领域超越了多个现有基线，并在平均性能上表现最佳。

🔬 方法详解

问题定义：本文旨在解决长时间任务中因早期执行错误导致的决策链累积问题。现有方法在面对复杂的环境交互时，难以有效恢复错误，影响任务完成。

核心思路：ReflectPO的核心思路是通过反思引导的采样和树结构的信用分配来帮助智能体识别和恢复错误。通过构建交互轨迹的提示，智能体能够更好地理解自身的偏差并进行纠正。

技术框架：ReflectPO的整体架构包括两个主要模块：反思引导采样和树结构信用分配。反思引导采样利用分支差异和重复访问来构建错误恢复的提示，而树结构信用分配则通过父子奖励差异和恢复收益来分配行动级别的信用。

关键创新：ReflectPO的创新点在于其结合了反思引导的采样和树结构的信用分配机制，这与传统的强化学习方法不同，能够更有效地处理长时间任务中的错误恢复问题。

关键设计：在设计中，ReflectPO采用了基于树的结构来组织采样轨迹，并通过奖励差异来进行信用分配，确保智能体能够准确识别和调整其决策过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ReflectPO在两个长时间工具使用基准上超越了多个现有基线，在大多数领域表现优异，平均性能最佳，显著提升了智能体的错误识别和恢复能力。

🎯 应用场景

该研究的潜在应用领域包括复杂的自动化任务、智能助手和机器人控制等。通过提高智能体在长时间任务中的错误恢复能力，ReflectPO能够在实际应用中显著提升任务完成率和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

With external tools, large language models (LLMs) can tackle complex tasks through sustained environmental interaction. LLM-based agents are therefore increasingly used to tackle complex long-horizon tasks in real-world environments. However, these tasks involve sequential, interdependent decisions and changes in environmental states. Early execution errors affect subsequent interaction histories and environmental states, and their effects accumulate along the decision chain. To address this challenge, we propose Reflection-Guided Policy Optimization (ReflectPO), a reinforcement learning framework for autonomous error recovery in long-horizon tasks. ReflectPO comprises two core components. The first is Reflection-Guided Sampling. We use branch differences and repeated visits in interaction trajectories to construct hints for error recovery. The second is Tree-Structured Credit Assignment. We organize sampled trajectories into trees and assign action-level credit using parent--child reward differences and recovery gains. Experiments over two long-horizon tool-use benchmarks show that ReflectPO outperforms multiple existing baselines in most domains. It also achieves the best overall performance on average. Further analyses show that ReflectPO effectively improves agents' ability to recognize their own deviations, recover from erroneous states, and continue making progress toward task completion.