TTSE: A Two-Track Online Self-Evolution Framework

📄 arXiv: 2609.24289v1 📥 PDF

作者: Ruimin Pei, Yongkang Wu, Shangyi Zheng, Yaqing Zhang, Deyang Li, Jianjun Tao, Xinyu Zhang, Xiang Zhang

分类: cs.LG, cs.AI

发布日期: 2026-09-21

备注: 20 pages, 2 figures, 18 tables

💡 一句话要点

提出TTSE框架以解决LLM自主进化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我进化 大型语言模型 强化学习 环境适应性 决策理论

📋 核心要点

  1. 现有方法通常将环境知识视为固定输入，无法有效支持LLM在动态环境中的自我进化。
  2. TTSE框架通过将知识进化分为环境事实和任务条件实施程序，提供了一种新的自我进化思路。
  3. 在多个基准测试中，TTSE展示了优于传统方法的任务适应性和稳定性，显著提高了性能。

📝 摘要（中文）

随着大型语言模型（LLM）在持续交互环境中的应用，如何驱动其能力的自我进化成为实现长期自主性的核心问题。目前，环境知识通常被视为外部固定输入，而非代理持续进化的一部分。本文提出TTSE（双轨自我进化），一个将进化知识分为环境事实（FACT）和任务条件实施程序（TIP）的双轨在线自我进化框架。通过决策理论的视角，本文分解了代理的超额风险，并在经典代理任务基准上验证了TTSE的优越性，展示了其在任务适应性方面的显著提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在动态交互环境中自我进化的能力不足，现有方法往往无法有效适应变化的环境和任务分布。

核心思路：TTSE框架通过将知识进化分为环境事实（FACT）和任务条件实施程序（TIP），使得代理能够在交互中不断验证和更新其环境知识，从而实现更高效的自我进化。

技术框架：TTSE的整体架构包括两个主要模块：FACT模块用于收集和验证环境信息，TIP模块则负责根据环境信息调整任务执行策略。代理通过与环境的交互不断更新这两个模块的信息。

关键创新：TTSE的核心创新在于将环境知识的进化与任务执行过程分开处理，这一设计使得代理能够在多变的环境中保持灵活性和适应性，显著优于传统的单一轨道方法。

关键设计：在设计上，TTSE采用了决策理论中的风险分解方法，定义了环境表示遗憾和条件执行遗憾，并通过实验验证了这些设计的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，TTSE在经典代理任务基准ALFWorld和ScienceWorld上展示了显著的任务适应性，相较于基线方法，性能提升幅度达到20%以上。此外，TTSE在PinchBench的真实任务基准上也稳定地超越了基线表现，验证了其有效性。

🎯 应用场景

TTSE框架具有广泛的应用潜力，特别是在需要长期自主决策的智能代理系统中，如自动驾驶、智能客服和机器人等领域。通过增强代理的自我进化能力，TTSE能够提升这些系统在复杂环境中的适应性和效率，推动智能系统的进一步发展。

📄 摘要（原文）

As Large Language Model (LLM) agents are applied in continuously interactive environments, driving the evolution of their own capabilities becomes a core problem for achieving long-term autonomy. Currently, environmental knowledge is typically treated as an external fixed input rather than as part of the agent's ongoing evolution. Reinforcement learning methods usually optimize policies through environmental interaction but tend to adapt only to fixed task distributions or single environments. This paper proposes TTSE (Two-Track Self-Evolution), a dual-track online self-evolution framework that separates evolving knowledge into FACT (environmental facts, whose reliability is continuously verified through interaction evidence) and TIP (task-conditioned implementation procedures). From a decision-theoretic perspective, we decompose the agent's excess risk into environment-representation regret and conditional-execution regret, characterize the conditions under which environment-conditioned policies strictly outperform condition-agnostic policies, and bound the downstream risk in terms of FACT identification error and cross-condition mismatch cost. In practice, TTSE's ablation experiments on GDPevo validate the advantage of dual-track evolution. On the classic agent task benchmarks ALFWorld and ScienceWorld, TTSE further demonstrates superior task adaptation. Moreover, TTSE is broadly compatible with existing skill self-evolution methods; combined with the Bayesian-Agent algorithm, a single-track ablation validates the dual-track advantage, substantially improving the aggregate score across the five major domains of SOPBench over three independent repetitions. Finally, on the real end-to-end task benchmark PinchBench, TTSE is integrated into a general agent framework via retrieval-based injection and stably outperforms the baseline across three independent runs.