SCAD: Structured Credit Assignment and Distillation for Long-Horizon Agents
作者: Shangyang Wu, Shuai Zhao, Ziyue Zhu, Jinyang Wu, Anh Tuan Luu, Haoran Luo
分类: cs.LG
发布日期: 2026-10-02
备注: 32 pages
💡 一句话要点
提出SCAD以解决长时间代理的信用分配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间代理 信用分配 蒸馏训练 复杂任务 多模态学习
📋 核心要点
- 现有方法在长时间代理的训练中面临稀疏奖励和信息丢失的问题，导致中间步骤的贡献难以评估。
- SCAD通过将交互组织为规划和子任务执行，结合教师指导的蒸馏，优化了信用分配过程。
- 实验结果表明，SCAD在文本和多模态任务上分别提高了4.48和4.19个百分点，显著提升了模型性能。
📝 摘要（中文）
训练长时间代理以解决复杂任务需要对延长交互序列进行有效监督。然而，稀疏的终端奖励使得中间贡献变得模糊，而基于策略的蒸馏在学生生成的历史增长时可能失去有价值的教师指导。为了解决这一问题，我们提出了SCAD，它将交互组织为规划和有界子任务执行，在局部上下文中蒸馏执行，并通过交叉回滚子任务前缀树来细化规划信用，其中规划获得完整的终端信用，执行获得正的终端信用和教师指导。在所有评估基准中，SCAD在文本任务上比最强训练基线提高了4.48个百分点，在多模态任务上提高了4.19个百分点。SCAD有效结合了基于结果的信用分配与教师指导的蒸馏，以改善长时间代理的规划和执行。
🔬 方法详解
问题定义：本论文旨在解决长时间代理在复杂任务中面临的信用分配和蒸馏指导不足的问题。现有方法在处理稀疏奖励时，难以有效评估中间步骤的贡献，导致训练效果不佳。
核心思路：SCAD的核心思路是将交互过程分为规划和有界子任务执行，通过局部上下文中的蒸馏和交叉回滚子任务前缀树来优化信用分配，从而提高代理的学习效率和效果。
技术框架：SCAD的整体架构包括三个主要模块：规划模块负责生成任务执行计划，子任务执行模块负责具体的任务执行，蒸馏模块则用于从教师模型中提取指导信息。通过这些模块的协同工作，SCAD实现了高效的信用分配和学习。
关键创新：SCAD的主要创新在于引入了交叉回滚子任务前缀树的概念，使得规划能够获得完整的终端信用，而执行则获得正的终端信用和教师指导。这一设计有效解决了现有方法中信息丢失的问题。
关键设计：在参数设置上，SCAD采用了多层次的损失函数来平衡规划和执行的信用分配，同时在网络结构上引入了注意力机制，以增强模型对重要信息的捕捉能力。
🖼️ 关键图片
📊 实验亮点
SCAD在各项基准测试中表现出色，文本任务的宏观平均准确率比最强训练基线提高了4.48个百分点，而多模态任务则提高了4.19个百分点。这些结果表明SCAD在长时间代理训练中的有效性和优越性。
🎯 应用场景
SCAD的研究成果在多个领域具有广泛的应用潜力，尤其是在需要长时间决策的复杂任务中，如机器人控制、自动驾驶和智能助手等。通过优化信用分配和蒸馏过程，SCAD能够提升这些系统的学习效率和决策能力，推动智能代理技术的发展。
📄 摘要（原文）
Training long-horizon agents to solve complex tasks requires effective supervision over extended interaction sequences. However, sparse terminal rewards obscure intermediate contributions, while on-policy distillation can lose informative teacher guidance as student-generated histories grow. To address this problem, we introduce SCAD, which organizes interactions into planning and bounded subtask execution, distills execution in local contexts, and refines planning credit through cross-rollout subtask prefix trees, with planning receiving full terminal credit and execution receiving positive terminal credit and teacher guidance. Across all evaluated benchmarks, SCAD improves macro-average accuracy over the strongest training baseline by 4.48 percentage points for text tasks and 4.19 points for multimodal tasks. SCAD effectively combines outcome-based credit assignment with teacher-guided distillation to improve planning and execution in long-horizon agents.