ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning

📄 arXiv: 2609.35215v1 📥 PDF

作者: Yang Li, Jinhan Yang, hai liu, Di Wan, Xiyu Chen, Zongsi Xu, Tuo Zhou, Sheng Zhong, Sergey Volkov, Ye Luo, Hao Sun

分类: cs.AI

发布日期: 2026-09-28

备注: 27 pages, 9 figures, 19 tables

💡 一句话要点

提出ASCT框架以解决代理强化学习中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 代理强化学习 信用分配 反事实树 多步搜索 策略学习 PPO算法 HotpotQA 智能体

📋 核心要点

  1. 现有的强化学习方法在代理工作流中难以有效分配决策信用，导致学习效率低下。
  2. 论文提出的ASCT框架通过反事实树结构实现了多步搜索与局部行动信用的结合，提升了学习的准确性。
  3. 实验结果表明，ASCT-AgentUCT在HotpotQA任务中达到了0.6187的效用，相比于VinePPO有显著提升。

📝 摘要（中文）

终端效用评估完整的代理工作流，但学习需要对其中的决策进行信用分配。我们提出了基于反事实树的注意力搜索框架（ASCT），将训练时的多步搜索转化为局部行动信用。在代理访问的状态下，辅助树评估来自相同可恢复前缀的替代合法动作。其动作价值表以冻结的代理概率为中心，为PPO提供信用，适用于代理采样的轨迹。该协议将反事实评估与策略学习连接起来，同时仅部署代理。通过均匀、UCT和成本感知的AgentUCT实现该框架。在HotpotQA代理检索增强生成任务中，三者均提高了相较于轨迹返回PPO和工作流适应的VinePPO的平均保留效用。在三个种子下，ASCT-AgentUCT达到了0.6187的效用，相较于VinePPO的0.5939，且在答案F1和执行成本上均有提升，同时记录的辅助Qwen令牌减少了50.3%。转移和组件描述研究考察了学习到的策略在训练设置之外的表现。

🔬 方法详解

问题定义：本论文旨在解决代理强化学习中信用分配不均的问题，现有方法在多步决策中难以有效评估各个决策的贡献，导致学习效率低下。

核心思路：ASCT框架通过引入反事实树结构，将训练过程中的多步搜索转化为局部行动信用评估，从而提高了策略学习的有效性和准确性。

技术框架：ASCT框架主要包括三个模块：1) 反事实树的构建，用于评估替代动作；2) 动作价值表的生成，以冻结的代理概率为中心；3) 通过PPO算法进行策略学习，利用评估结果进行信用分配。

关键创新：ASCT的核心创新在于将反事实评估与策略学习相结合，使得在仅部署代理的情况下也能有效进行信用分配，这与传统方法的设计思路有本质区别。

关键设计：在ASCT中，关键参数包括反事实树的深度和宽度，损失函数设计为结合动作价值和代理概率的加权和，同时采用了均匀、UCT和成本感知的AgentUCT策略进行实现。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，ASCT-AgentUCT在HotpotQA任务中达到了0.6187的效用，相较于VinePPO的0.5939有显著提升。此外，ASCT还在答案F1和执行成本上表现出优势，记录的辅助Qwen令牌减少了50.3%。

🎯 应用场景

该研究在代理强化学习领域具有广泛的应用潜力，特别是在需要高效决策和信用分配的复杂任务中，如智能机器人、自动驾驶和自然语言处理等。未来，ASCT框架有望推动更高效的学习算法的发展，提升智能体在动态环境中的表现。

📄 摘要（原文）

Terminal utility evaluates a complete agentic workflow, but learning requires credit for the decisions within it. We introduce Attentive Search over Counterfactual Trees (ASCT), a framework that turns training-time multi-step search into local action credit. At actor-visited states, an auxiliary tree evaluates alternative legal actions from the same recoverable prefix. Its action-value table is centered by the frozen actor's probabilities and supplies credit for PPO on actor-sampled trajectories. This protocol connects counterfactual evaluation to policy learning while deploying the actor alone. Uniform, UCT, and cost-aware AgentUCT instantiate the framework. On HotpotQA agentic retrieval-augmented generation, all three improve mean held-out utility over trajectory-return PPO and workflow-adapted VinePPO. Across three seeds, ASCT-AgentUCT reaches 0.6187 utility versus 0.5939 for VinePPO, with gains in answer F1 and execution cost, and uses 50.3% fewer recorded auxiliary Qwen tokens. Transfer and component-description studies examine the learned policies beyond the training setting.