ATLaS: Agent Tuning via Learning Critical Steps

📄 arXiv: 2503.02197v2 📥 PDF

作者: Zhixun Chen, Ming Li, Yuxuan Huang, Yali Du, Meng Fang, Tianyi Zhou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-03-04 (更新: 2025-06-05)

备注: ACL2025, Camera-ready

💡 一句话要点

ATLaS：通过学习关键步骤进行Agent调优，提升LLM Agent泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agent调优 大型语言模型 关键步骤学习 泛化能力 监督微调

📋 核心要点

  1. 现有Agent调优方法在完整专家轨迹上进行监督微调，易引入专家偏差，降低泛化能力。
  2. ATLaS通过识别专家轨迹中的关键步骤，仅在这些步骤上进行LLM微调，降低成本并提升泛化性。
  3. 实验表明，仅在30%关键步骤上微调的LLM，性能优于在所有步骤上微调的LLM和开源Agent。

📝 摘要（中文）

大型语言模型(LLM) Agent在多领域任务中展现了卓越的泛化能力。现有的Agent调优方法通常采用在完整专家轨迹上进行监督微调。然而，对完整轨迹的行为克隆可能会引入专家偏差，并削弱对专家数据未覆盖状态的泛化能力。此外，诸如规划、中间子任务的复杂推理以及战略决策等关键步骤对于Agent任务的成功至关重要，因此学习这些步骤是改进LLM Agent的关键。为了更有效和高效地进行Agent调优，我们提出了ATLaS，它识别专家轨迹中的关键步骤，并仅在这些步骤上以降低的成本对LLM进行微调。通过将训练的重点转移到少数关键步骤上，我们的方法降低了过度拟合整个轨迹的风险，并促进了跨不同环境和任务的泛化。在广泛的实验中，一个仅在ATLaS选择的30%关键步骤上进行微调的LLM，优于在所有步骤上进行微调的LLM和最近的开源LLM Agent。ATLaS保持并提高了基础LLM作为与各种环境交互的通用Agent的技能。

🔬 方法详解

问题定义：现有Agent调优方法依赖于在完整专家轨迹上进行监督微调，这会导致两个主要问题：一是专家偏差，即模型过度拟合专家数据，难以泛化到新的状态；二是效率低下，因为并非所有步骤都同等重要，对所有步骤进行训练会浪费计算资源。因此，需要一种更有效的方法来识别和学习专家轨迹中的关键步骤，从而提高Agent的性能和泛化能力。

核心思路：ATLaS的核心思路是，并非专家轨迹中的所有步骤都对Agent的成功至关重要，关键步骤（如规划、复杂推理和战略决策）才是决定性因素。因此，ATLaS旨在识别这些关键步骤，并仅在这些步骤上对LLM进行微调，从而降低训练成本，并避免过度拟合整个轨迹。通过专注于学习关键步骤，ATLaS能够更好地利用专家数据，并提高Agent在不同环境和任务中的泛化能力。

技术框架：ATLaS包含以下主要模块：1) 关键步骤识别模块：该模块负责从专家轨迹中识别出关键步骤。具体方法未知，但推测可能基于某种重要性评分机制，例如奖励信号、状态变化或模型预测差异。2) 微调模块：该模块使用识别出的关键步骤对LLM进行微调。微调的目标是使LLM能够模仿专家在关键步骤中的行为，从而提高Agent的整体性能。3) 评估模块：该模块用于评估微调后的Agent在各种任务和环境中的性能。评估结果用于验证ATLaS的有效性，并指导关键步骤识别模块的改进。

关键创新：ATLaS的关键创新在于其选择性学习策略，即仅在专家轨迹中的关键步骤上进行微调。这与传统的在完整轨迹上进行微调的方法不同，后者容易引入专家偏差并降低泛化能力。通过专注于学习关键步骤，ATLaS能够更有效地利用专家数据，并提高Agent在不同环境和任务中的泛化能力。此外，ATLaS还降低了训练成本，因为只需要对一小部分步骤进行微调。

关键设计：论文中未明确给出关键步骤识别模块的具体实现细节，例如重要性评分函数的具体形式。微调过程可能采用标准的监督学习方法，例如交叉熵损失函数。具体的网络结构取决于所使用的LLM。关键步骤的选择比例是一个重要的超参数，论文中提到30%的关键步骤取得了较好的效果。具体如何确定这30%的关键步骤，以及如何平衡关键步骤的数量和质量，是未来研究的一个方向。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ATLaS能够有效地识别专家轨迹中的关键步骤，并利用这些步骤对LLM进行微调，从而显著提高Agent的性能。具体而言，仅在ATLaS选择的30%关键步骤上进行微调的LLM，优于在所有步骤上进行微调的LLM和最近的开源LLM Agent。这表明ATLaS能够有效地降低训练成本，并提高Agent的泛化能力。

🎯 应用场景

ATLaS具有广泛的应用前景，可用于各种需要LLM Agent进行决策和控制的任务，例如游戏AI、机器人控制、自动驾驶、智能客服等。通过学习专家经验中的关键步骤，ATLaS可以显著提高Agent的性能和泛化能力，使其能够更好地适应复杂和动态的环境。此外，ATLaS还可以降低训练成本，使其更易于部署到实际应用中。

📄 摘要（原文）

Large Language Model (LLM) agents have demonstrated remarkable generalization capabilities across multi-domain tasks. Existing agent tuning approaches typically employ supervised finetuning on entire expert trajectories. However, behavior-cloning of full trajectories can introduce expert bias and weaken generalization to states not covered by the expert data. Additionally, critical steps, such as planning, complex reasoning for intermediate subtasks, and strategic decision-making, are essential to success in agent tasks, so learning these steps is the key to improving LLM agents. For more effective and efficient agent tuning, we propose ATLaS that identifies the critical steps in expert trajectories and finetunes LLMs solely on these steps with reduced costs. By steering the training's focus to a few critical steps, our method mitigates the risk of overfitting entire trajectories and promotes generalization across different environments and tasks. In extensive experiments, an LLM finetuned on only 30% critical steps selected by ATLaS outperforms the LLM finetuned on all steps and recent open-source LLM agents. ATLaS maintains and improves base LLM skills as generalist agents interacting with diverse environments.