Trace2Tower: Transition-Aware EigenTrace Induction of Multi-Level Skills for LLM Agents
作者: Jiazheng Sun, Boyu Yang, Binhao Yuan, Mingxuan Li, Xin Peng
分类: cs.AI, cs.SE
发布日期: 2026-09-04
备注: 13 pages, 9 figures
💡 一句话要点
提出Trace2Tower以解决LLM代理技能层次化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 技能层次化 执行轨迹 图构建 对比谱分解 智能代理 动态环境
📋 核心要点
- 现有方法在复杂任务中面临浅层轨迹检索和技能总结的瓶颈，忽视了时间依赖性和结果条件。
- Trace2Tower通过过渡感知的EigenTrace框架，将原始轨迹提炼为稳健的技能层次，构建统一图。
- 在ALFWorld和WebShop基准测试中，Trace2Tower显著提高了成功率和经验重用效率。
📝 摘要（中文）
大型语言模型代理越来越依赖执行轨迹来掌握复杂的互动任务。然而，现有方法受限于浅层轨迹检索和平面技能总结，基本忽视了代理行为的时间依赖性和结果条件拓扑。本文提出Trace2Tower，一个过渡感知的EigenTrace框架，将原始轨迹提炼为稳健的技能层次结构。Trace2Tower将逐步交互抽象为规范事件，构建一个由语义兼容性、过渡动态和结果证据主导的统一图。通过新颖的对比谱分解，它隔离了稳定的、与成功对齐的行为模式，同时严格抑制失败倾向的捷径。在ALFWorld上，Trace2Tower实现了87.31%的成功率，仅需10.35步和0.26个无效动作；在WebShop上，达到50.67%的精确成功率。在这两个基准上，Trace2Tower在任务掌握和上下文高效经验重用方面显著优于现有基线。
🔬 方法详解
问题定义：本文旨在解决大型语言模型代理在复杂任务中对执行轨迹的依赖，现有方法未能有效捕捉时间依赖性和结果条件拓扑，导致技能层次化不足。
核心思路：Trace2Tower通过将原始轨迹提炼为规范事件，构建一个基于语义兼容性和过渡动态的统一图，从而形成稳健的技能层次结构。
技术框架：整体架构包括轨迹抽象、图构建和对比谱分解三个主要模块。轨迹抽象将逐步交互转化为规范事件，图构建则依据语义和动态关系形成统一图。对比谱分解用于隔离成功对齐的行为模式。
关键创新：Trace2Tower的创新在于其过渡感知的EigenTrace框架，通过对比谱分解有效抑制失败倾向的捷径，形成动态技能塔，与现有方法相比，提供了更深层次的技能层次化。
关键设计：在设计中，采用了特定的损失函数来优化成功对齐的行为模式，并通过验证者引导反馈不断精炼技能塔的结构和内容。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在ALFWorld基准测试中，Trace2Tower实现了87.31%的成功率，仅需10.35步和0.26个无效动作；在WebShop上，成功率达到50.67%。这些结果显示出Trace2Tower在任务掌握和上下文高效经验重用方面的显著优势，超越了现有基线。
🎯 应用场景
Trace2Tower的研究成果在多个领域具有潜在应用价值，尤其是在复杂任务的自动化执行、智能代理系统的技能学习和优化等方面。通过建立稳健的技能层次结构，可以提升智能代理在动态环境中的适应能力和任务执行效率，未来可能推动更高效的智能系统发展。
📄 摘要（原文）
Large language model agents increasingly rely on execution traces to master complex interactive tasks. However, current paradigms are bottlenecked by shallow trajectory retrieval and flat skill summarization, fundamentally ignoring the temporal dependencies and outcome-conditioned topology of agent behavior. We introduce Trace2Tower, a transition-aware EigenTrace framework that distills raw trajectories into a robust skill hierarchy. Trace2Tower abstracts step-level interactions into canonical events, constructing a unified graph governed by semantic compatibility, transition dynamics, and outcome evidence. Through a novel contrastive spectral decomposition, it isolates stable, success-aligned behavioral modes while rigorously suppressing failure-prone shortcuts. These modes organically populate a dynamic skill tower of action templates, procedural routines, and overarching task strategies, continuously refined via verifier-guided feedback. On ALFWorld, Trace2Tower achieves 87.31% success requiring only 10.35 steps and 0.26 invalid actions; on WebShop, it reaches 50.67% exact success. Across both benchmarks, Trace2Tower significantly outperforms existing baselines in task mastery and context-efficient experience reuse.