TrajEvolve: Trajectory Evolution for Reinforcement Learning with Hindsight Credit Assignment

📄 arXiv: 2610.28060v1 📥 PDF

作者: Yi Wen, Hao Chen, Wanyu Wang, Maolin Wang, Pengyue Jia, Derong Xu, Huize Tan, Yingyi Zhang, Wenlin Zhang, Weihong Luo, Xiku Du, Xiangyu Zhao

分类: cs.AI

发布日期: 2026-10-20

备注: NeurIPS 2026 accepted paper

💡 一句话要点

提出TrajEvolve以解决长时间任务中的轨迹优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 轨迹优化 演化轨迹 信用分配 长时间任务

📋 核心要点

  1. 现有强化学习方法在长时间任务中面临成功轨迹采样不足和稀疏奖励更新的挑战，导致性能受限。
  2. 本文提出TrajEvolve，通过优化历史轨迹中的低质量步骤生成演化轨迹，提升策略质量。
  3. 在两个数据集上的实验结果表明，TrajEvolve显著优于现有方法，展示了其有效性和实用性。

📝 摘要（中文）

强化学习（RL）在提升大型语言模型（LLM）的推理能力方面取得了显著成功。然而，在长时间任务中，RL面临高任务复杂性导致的成功轨迹采样不足和稀疏奖励更新的挑战。为了解决这些问题，本文提出了一种新的轨迹演化范式TrajEvolve，该方法不仅依赖模型推断的轨迹，还通过优化历史轨迹中的低质量步骤生成“演化轨迹”，从而提高策略的质量。此外，TrajEvolve将步骤级的连续信用分配重新构造为二分类任务，简化了学习难度，并通过反事实验证获得步骤标签，精确识别冗余步骤。大量实验表明，该方法具有优越性。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在长时间任务中由于高复杂性导致的成功轨迹采样不足和稀疏奖励更新的问题。这些问题限制了模型的收敛速度和性能。

核心思路：TrajEvolve的核心思路是通过优化历史轨迹中的低质量步骤，生成新的“演化轨迹”，从而提高策略的质量。此外，将步骤级的信用分配转化为二分类任务，简化了学习过程。

技术框架：TrajEvolve的整体架构包括两个主要模块：轨迹生成模块和信用分配模块。轨迹生成模块负责从历史轨迹中提取低质量步骤并进行优化，而信用分配模块则通过反事实验证来识别每个步骤的必要性。

关键创新：TrajEvolve的主要创新在于引入了演化轨迹的概念和将步骤级信用分配转化为二分类任务的设计。这与传统方法依赖于模型推理能力的方式有本质区别。

关键设计：在参数设置上，TrajEvolve采用了特定的损失函数来优化演化轨迹的生成，并设计了适合二分类任务的网络结构，以提高步骤标签的准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TrajEvolve在两个数据集上均显著优于基线方法，具体提升幅度达到20%以上，验证了其在长时间任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能等长时间决策任务。通过优化轨迹生成和信用分配，TrajEvolve能够提升这些领域中的智能体性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

The Reinforcement Learning (RL) paradigm has achieved remarkable success in enhancing the reasoning capabilities of Large Language Models (LLMs). However, when applied to long-horizon tasks, it faces severe challenges: i) Due to the high task complexity, the model struggles to sample enough successful trajectories, resulting in slow convergence. ii) Relying solely on sparse final rewards causes all steps to be updated indiscriminately, encouraging redundant step generation. When both the quantity and quality of successful trajectories become difficult to guarantee, the performance is severely constrained. This dilemma stems from the limitations: existing RL paradigms rely entirely on the reasoning capability of base models, lacking the ability to actively optimize trajectories. To address the above issues, we propose a novel trajectory evolution paradigm with hindsight credit assignment, termed TrajEvolve. TrajEvolve not only relies on the trajectory inferred by the model but also generates ``evolutionary trajectories'' by refining low-quality steps in historical trajectories, thereby exposing the policy to high-quality compositions that lie within the base model's support but are rarely sampled within practical training budgets. Furthermore, TrajEvolve reformulates step-level continuous credit assignment as a binary classification task, whether each step is necessary for task completion. This simplification not only reduces the learning difficulty but also enables step labels to be obtained through counterfactual verification, achieving precise identification of redundant steps. Extensive experiments on two datasets demonstrate the superiority of the proposed method.