Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning

📄 arXiv: 2610.23181v1 📥 PDF

作者: Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu, Chenglin Li, Weijie Liu, Saiyong Yang, Xiangyang Ji

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-16

💡 一句话要点

提出TreeOPSD以解决长时间交互中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间交互 信用分配 强化学习 自蒸馏 树状结构 智能体训练 模型优化

📋 核心要点

  1. 现有方法在长时间交互中面临信用分配稀疏和策略陈旧的问题，影响训练效果。
  2. 论文提出TreeOPSD框架，通过将每个交互视为树节点，递归备份奖励以实现更密集的信用分配。
  3. 实验表明，TreeOPSD在多个基准测试中提升了智能体能力，尤其在长时间任务中表现显著，平均准确率提高4.97分。

📝 摘要（中文）

具有可验证奖励的强化学习已成为大型语言模型的可扩展后训练范式。然而，在长时间交互中训练智能体面临两个挑战：仅使用终端奖励导致转级信用分配稀疏且高方差，而固定回放批次上的顺序小批量更新引入了策略陈旧。现有方法通过学习的评论家、处理奖励模型或在线蒸馏获得更密集的信用，但依赖于价值网络、逐步注释或更强的外部教师，增加了训练复杂性。本研究提出TreeOPSD，一种无评论家的树状后验自蒸馏框架，旨在解决长时间智能体强化学习中的这些问题。通过将每个交互回合视为树节点，TreeOPSD从共享前缀分支出替代延续，并递归地将终端奖励备份到隐式转级信用中。通过最小化教师与学生策略之间的散度，恢复了策略梯度方向，并在顺序小批量中限制更新朝向有限目标的偏移。

🔬 方法详解

问题定义：本论文旨在解决长时间交互中的信用分配稀疏和策略陈旧问题。现有方法依赖于价值网络和外部教师，增加了训练复杂性。

核心思路：提出TreeOPSD框架，将每个交互回合视为树节点，利用递归备份终端奖励来实现隐式转级信用分配，避免了对评论家的依赖。

技术框架：TreeOPSD的整体架构包括树状结构的交互建模、奖励备份机制和教师分布映射。每个交互回合的奖励通过树结构进行处理，形成更密集的信用分配。

关键创新：TreeOPSD的主要创新在于无评论家的设计，通过树状结构实现了更有效的信用分配，与现有依赖价值网络的方法本质不同。

关键设计：在设计中，使用了基于行为策略的似然比来参数化教师分布，并通过最小化教师与学生策略之间的散度来限制更新，确保训练的稳定性。具体的损失函数和参数设置在实验中进行了优化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TreeOPSD在多个竞争基准上显著提升了智能体的能力，尤其在长时间任务中，Qwen3-30B-A3B-Thinking-2507的平均准确率比GRPO提高了4.97分，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能体训练、游戏AI、自动驾驶等需要长时间决策的场景。通过提高智能体在复杂任务中的表现，TreeOPSD有望推动强化学习在实际应用中的落地，提升智能体的自主决策能力。

📄 摘要（原文）

Reinforcement learning with verifiable rewards has become a scalable post-training paradigm for large language models. However, training agents over long-horizon interactions presents two challenges: using only terminal rewards makes turn-level credit assignment sparse and high-variance, while sequential mini-batch updates on a fixed rollout batch introduce policy staleness as the current policy drifts from the behavior policy. Existing approaches obtain denser credit via learned critics, process reward models, or on-policy distillation, but they rely on a value network, step-level annotations, or a stronger external teacher that increase training complexity. Meanwhile, importance sampling and clipping mitigate policy drift, but they do not specify a finite target that stops sequential updates from overshooting. In this work, we introduce TreeOPSD, a critic-free, tree-aware posterior self-distillation framework for long-horizon agentic reinforcement learning. Treating each interaction turn as a tree node, TreeOPSD branches alternative continuations from shared prefixes and recursively backs up terminal rewards into implicit turn-level credit. It then maps each credit to a closed-form, bounded teacher distribution parameterized by the likelihood ratio relative to the frozen behavior policy. Minimizing the divergence between this teacher and the student policy recovers the policy-gradient direction as the tangent at the behavior policy while bounding updates toward a finite target across sequential mini-batches. Empirically, TreeOPSD improves agentic capabilities across several competitive benchmarks and model scales, especially for long-horizon tasks, e.g., raising the average accuracy of Qwen3-30B-A3B-Thinking-2507 by 4.97 points over GRPO on the Deep Research setting.