Travel Back To Move Forward: Retrospective Exploration and Evolving for Long Horizon Agents

📄 arXiv: 2610.13058v1 📥 PDF

作者: Ziang Ye, Wentao Shi, Lei Chen, Zhengzhou Cai, Yu Wang, Zhiyuan Yao, Zihan Wang, Xierui Song, Fuli Feng, Yixin Cao

分类: cs.AI, cs.CL

发布日期: 2026-10-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReTRAIL框架以解决长时间任务中的探索与回溯问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间任务 环境回溯 经验重用 智能体决策 探索策略

📋 核心要点

  1. 现有方法在长时间任务中容易因早期错误导致代理陷入无效状态，缺乏有效的恢复机制。
  2. ReTRAIL框架允许代理回溯到早期状态，同时保留有效进展和从放弃探索中获得的知识。
  3. 实验结果表明，ReTRAIL显著提升了代理在多个基准任务中的表现，尤其是在复杂环境中。

📝 摘要（中文）

随着大型语言模型代理在长时间环境中的应用，早期错误可能导致连锁失败，使代理陷入死胡同。因此，代理需要能够主动从这些状态中恢复，并将探索经验转化为后续决策的指导。本文提出了ReTRAIL框架，使代理能够在保留有效进展的同时，将环境回溯到早期状态，并将从放弃的探索中获得的知识继续向前传递。ReTRAIL通过两种互补信号训练共享策略，分别是状态锚定的GRPO和分支推进奖励。实验表明，简单添加回溯原语的效果有限，甚至可能降低性能，而ReTRAIL则使代理能够从无效状态回溯，并利用放弃分支的见解指导后续探索。

🔬 方法详解

问题定义：本文旨在解决长时间任务中代理因早期错误导致的无效状态问题。现有方法在面对这些挑战时，缺乏有效的回溯和恢复机制，导致性能下降。

核心思路：ReTRAIL框架的核心思路是允许代理在保留有效进展的同时回溯到早期环境状态，并利用从放弃的探索中获得的知识来指导后续决策。这样设计的目的是为了提高代理在复杂环境中的适应能力和决策质量。

技术框架：ReTRAIL的整体架构包括两个主要模块：状态锚定的GRPO和分支推进奖励。前者用于比较从回溯状态的不同继续路径，后者则引导代理反思后续探索的进展。

关键创新：ReTRAIL的最大创新在于将环境回溯与经验重用相结合，形成了一种新的探索策略。这与现有方法的本质区别在于，现有方法通常无法有效利用放弃的探索经验。

关键设计：在ReTRAIL中，状态锚定的GRPO通过对比不同路径的执行效果来优化策略，而分支推进奖励则通过奖励机制引导代理反思和调整探索策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ReTRAIL在四个基准任务（MineSweeper、Sokoban、ALFWorld和ScienceWorld）中表现优异，相较于简单的回溯原语，ReTRAIL显著提升了代理的决策质量和任务完成率，证明了其在长时间任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、游戏智能体和复杂系统的决策支持等。通过提高代理在长时间任务中的适应能力，ReTRAIL框架可以显著提升智能体在动态环境中的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language model agents increasingly operate in long-horizon environments where early mistakes can trigger cascading failures and trap agents in dead-end trajectories. Agents must therefore be able to proactively recover from such states and turn their exploratory experience into guidance for subsequent decisions. We introduce ReTRAIL, a framework that enables agents to rewind the environment to earlier states while preserving valid progress and carrying forward knowledge learned from abandoned exploration. The environment state moves backward while the agent's knowledge continues to move forward. ReTRAIL trains a shared policy with two complementary signals: State-Anchored GRPO compares alternative continuations from revisited states to improve execution, while a branch-advancement reward guides reflection through the progress of subsequent exploration. Experiments across four interactive benchmark MineSweeper, Sokoban, ALFWorld and ScienceWorld show that simply adding a rewind primitive provides limited benefit and can even degrade performance. In contrast, ReTRAIL enables agents to rewind from unproductive states and use insights from abandoned branches to guide subsequent exploration. These results demonstrate the value of coupling environment rewinding with experience reuse within an ongoing task for long-horizon task solving. The code is available at https://github.com/whi497/ReTRAIL.