Beyond Corrected Actions: Training LLM Agents on Textual Critiques

📄 arXiv: 2610.19367v1 📥 PDF

作者: Thomas Zeng, Zelei Cheng, Mingyang Zhou, Sambit Sahu, William Campbell, Genta Indra Winata

分类: cs.CL, cs.AI

发布日期: 2026-10-14

💡 一句话要点

提出CAFT框架以增强LLM代理的监督学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 监督学习 文本批评 微调 强化学习 多轮交互 代理模型

📋 核心要点

  1. 现有的LLM代理训练方法主要依赖于专家模型的行为克隆或纠正，缺乏对错误原因的深入理解。
  2. 本文提出的CAFT框架通过专家生成的文本批评来增强学生模型的训练，提供更丰富的监督信息。
  3. 在多个实验中，加入文本批评的训练方式使得模型性能平均提升了8%，并在强化学习中表现出更好的预热效果。

📝 摘要（中文）

大型语言模型（LLMs）在多轮交互任务中越来越受到重视。现有方法主要依赖专家模型的行为克隆或纠正生成的动作。然而，专家模型不仅可以提供动作纠正，还能生成文本批评，解释特定动作的错误。本文提出了批评增强代理微调（CAFT）框架，通过专家的文本反馈来训练学生模型。实验表明，在多个代理领域中，加入批评的监督方式使得性能平均提升了8%。此外，CAFT检查点在强化学习中的预热效果也优于传统的专家轨迹蒸馏。

🔬 方法详解

问题定义：本文旨在解决现有LLM代理训练中仅依赖动作纠正的不足，缺乏对错误原因的解释，导致模型学习效果不佳。

核心思路：CAFT框架通过专家生成的文本批评，提供对学生模型生成轨迹的深入反馈，帮助模型理解错误并改进决策。

技术框架：CAFT的整体架构包括两个主要模块：专家反馈生成模块和学生模型微调模块。专家根据学生生成的轨迹提供纠正动作和文本批评，后者作为微调的目标。

关键创新：最重要的创新在于引入文本批评作为监督信号，与传统的动作纠正方法相比，文本批评提供了更丰富的上下文信息，增强了模型的学习能力。

关键设计：在参数设置上，CAFT框架使用了特定的损失函数来平衡动作纠正和文本批评的影响，确保模型能够同时学习到正确的动作和错误的解释。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，CAFT框架在多个代理领域中，模型性能平均提升了8%。此外，CAFT检查点在强化学习任务中的预热效果优于传统的专家轨迹蒸馏，表明文本批评的引入显著增强了模型的学习能力。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和教育技术等。通过增强LLM代理的学习能力，能够提升其在复杂交互场景中的表现，进而改善用户体验和任务完成效率。未来，该方法可能推动更智能的对话系统和自适应学习平台的发展。

📄 摘要（原文）

Large language models (LLMs) are increasingly used for multi-turn agentic tasks that require interactions with users and environments over extended sequences of actions. A common approach to improving LLM agents is to use more capable expert models to provide training supervision, either by behavior cloning the expert's trajectories or by using the expert to correct the actions in trajectories generated by the weaker student model. However, expert LLMs can provide richer supervision than actions alone: they can directly generate textual critique that explain why specific actions are incorrect. We study whether training on such feedback benefits LLM agents and propose Critique-Augmented Agentic Fine-Tuning (CAFT), a framework that elicits textual expert feedback on student-generated trajectories. For each incorrect action, the expert yields both a corrected action and a textual critique explaining the student's mistake--which we then use as the training target for fine-tuning. Across four student models from the Nemotron 3 and Gemma 4 families on the agentic domains $τ^2$-Bench Airline+Retail and WebShop, adding critiques to action-level supervision improves performance by 8% on average over action-only distillation. Additionally, CAFT checkpoints can also provide a better warm start for reinforcement learning than expert-trajectory distillation. Our results demonstrate that textual critiques can strengthen supervision for multi-turn LLM agents.