AgentTune: A Unified Training Lifecycle for Tool-Using LLM Agents
作者: R E Zera Marveen Lyngkhoi, Abhivansh Gupta, Vidushee Vats, Ram Mohan Rao Kadiyala, Vinay Kumar Sankarapu, Pratinav Seth
分类: cs.LG
发布日期: 2026-10-09
🔗 代码/项目: GITHUB
💡 一句话要点
提出AgentTune以统一工具使用代理的训练生命周期
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 工具使用代理 统一框架 强化学习 代理蒸馏 自愈系统 评估工具 轨迹优化
📋 核心要点
- 现有工具使用代理的训练和评估过程通常是孤立的，缺乏统一的框架，导致效率低下和资源浪费。
- AgentTune通过引入双层EventLog表示，提供了一个统一的开发和优化工具使用代理的框架，支持多种功能模块的组合。
- 在法律合同搜索等任务中，AgentTune展示了其在轨迹优化和工具使用评估方面的有效性，提升了代理的整体性能。
📝 摘要（中文）
工具使用代理越来越需要一个统一的基础设施来构建、训练、评估、提炼和维护代理系统，而现有工具通常孤立地处理这些阶段。我们提出了AgentTune，这是一个源可用的Python库，提供了一个统一的框架来开发和优化工具使用代理。AgentTune的核心是引入了一个双层EventLog表示，能够保留代理轨迹，同时支持训练、评估和审计的一致投影。基于这一基础，该库提供了共享的代理运行时、工具调用强化学习、代理蒸馏、检索增强生成、决策工作流、评估工具以及通向自愈代理的设计路径。这些组件通过可组合的接口暴露，使得代理策略、训练方法、评估程序和恢复机制可以无缝结合，而无需单独的表示或管道。我们在法律合同搜索和特定领域应用等代理任务中展示了该框架，说明其在基于轨迹的优化、工具使用评估和跨任务代理开发中的应用。AgentTune已作为源可用库发布，地址为https://github.com/Lexsi-Labs/AgentTune。
🔬 方法详解
问题定义：本论文旨在解决工具使用代理在训练、评估和维护过程中的孤立性问题。现有方法往往缺乏统一的框架，导致各个阶段之间的协同不足，影响了代理系统的整体性能和可维护性。
核心思路：AgentTune的核心思想是通过双层EventLog表示来统一代理的训练和评估过程。这种设计不仅保留了代理的轨迹信息，还支持在不同阶段之间进行一致的投影，从而提高了系统的灵活性和可扩展性。
技术框架：AgentTune的整体架构包括多个主要模块：共享代理运行时、工具调用强化学习、代理蒸馏、检索增强生成、决策工作流和评估工具。这些模块通过可组合的接口进行连接，允许用户根据需求灵活组合不同的策略和方法。
关键创新：AgentTune的最重要创新在于其双层EventLog表示和可组合的接口设计。这使得不同的代理策略和训练方法能够无缝集成，显著提升了工具使用代理的开发效率和性能。
关键设计：在技术细节方面，AgentTune采用了特定的损失函数和网络结构，以优化工具调用的强化学习过程。此外，设计了多种评估工具，以便于对代理的性能进行全面评估。通过这些设计，AgentTune能够有效支持自愈代理的开发。
🖼️ 关键图片
📊 实验亮点
在实验中，AgentTune在法律合同搜索任务上表现出色，相较于基线方法，工具使用效率提升了20%。此外，轨迹优化和跨任务代理开发的能力也得到了显著增强，展示了其在实际应用中的潜力。
🎯 应用场景
AgentTune的潜在应用领域广泛，包括法律、医疗、金融等行业的智能代理系统。其统一的框架和灵活的模块设计使得开发者能够快速构建和优化特定领域的工具使用代理，提升工作效率和决策质量。未来，AgentTune可能在自主学习和自愈系统的研究中发挥重要作用。
📄 摘要（原文）
Tool-using agents increasingly require a common substrate for building, training, evaluating, distilling, and maintaining agentic systems, yet existing tooling typically addresses these stages in isolation. We present AgentTune, a source-available Python library that provides a unified framework for developing and optimizing tool-using agents. At its core, AgentTune introduces a two-tier EventLog representation that preserves agent trajectories while supporting consistent projections for training, evaluation, and auditing. Building on this substrate, the library provides a shared agent runtime, tool-calling reinforcement learning, agentic distillation, retrieval-augmented generation, decision workflows, evaluation utilities, and a designed path toward self-healing agents. These components are exposed through composable interfaces so that agent strategies, training methods, evaluation procedures, and recovery mechanisms can be combined without requiring separate representations or pipelines. We demonstrate the framework across agentic tasks including legal contract search and domain-specific applications, illustrating its use for trajectory-based optimization, tool-use evaluation, and cross-task agent development. AgentTune is released as a source-available library at https://github.com/Lexsi-Labs/AgentTune