The Lighthouse of Language: Enhancing LLM Agents via Critique-Guided Improvement

📄 arXiv: 2503.16024v2 📥 PDF

作者: Ruihan Yang, Fanghua Ye, Jian Li, Siyu Yuan, Yikai Zhang, Zhaopeng Tu, Xiaolong Li, Deqing Yang

分类: cs.CL, cs.AI

发布日期: 2025-03-20 (更新: 2025-10-24)

备注: NeurIPS 2025

💡 一句话要点

提出基于评论指导改进（CGI）框架，提升LLM Agent在交互环境中的决策能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 自然语言反馈 Agent 评论指导改进 交互环境 决策能力

📋 核心要点

  1. 现有LLM Agent依赖数值奖励或验证器，缺乏细粒度的上下文指导，限制了其探索能力。
  2. CGI框架通过训练Critic模型生成自然语言反馈，指导Actor模型迭代改进策略，从而提升决策能力。
  3. 实验表明，CGI在多个交互环境中显著优于现有基线，且小型Critic模型反馈质量超越GPT-4。

📝 摘要（中文）

大型语言模型（LLMs）已经从基于文本的助手转变为能够进行规划、推理和迭代改进其行为的自主Agent。虽然数值奖励信号和验证器可以有效地对候选行为进行排序，但它们通常提供的上下文指导有限。相比之下，自然语言反馈更好地与LLMs的生成能力相一致，提供了更丰富和更可操作的建议。然而，解析和实施这种反馈对于基于LLM的Agent来说可能具有挑战性。本文介绍了一种新颖的双人框架——评论指导改进（CGI），它包含一个探索环境的Actor模型和一个生成详细自然语言反馈的Critic模型。通过训练Critic产生细粒度的评估和可操作的修改建议，并训练Actor利用这些评论，我们的方法促进了对替代策略的更稳健的探索，同时避免了局部最优。在三个交互环境中的实验表明，CGI显著优于现有的基线。值得注意的是，即使是一个小型Critic模型在反馈质量上也超过了GPT-4。由此产生的Actor实现了最先进的性能，证明了显式迭代指导在增强基于LLM的Agent决策能力方面的强大作用。

🔬 方法详解

问题定义：现有基于LLM的Agent在交互环境中进行决策时，依赖于数值奖励或验证器来评估和改进行为。这些方法提供的指导信息有限，缺乏细粒度的上下文，难以充分利用LLM的生成能力，导致探索效率低下，容易陷入局部最优。

核心思路：论文的核心思路是引入一个Critic模型，利用其强大的自然语言生成能力，为Actor模型提供详细的、可操作的反馈。通过迭代地进行评论和改进，Actor模型可以更有效地探索策略空间，从而提升决策能力。这种方法借鉴了人类学习过程中的指导和反馈机制。

技术框架：CGI框架是一个双人博弈框架，包含Actor模型和Critic模型。Actor模型负责在环境中执行动作并观察环境状态，Critic模型则根据Actor的行为和环境状态生成自然语言反馈，包括对Actor行为的评估和改进建议。Actor模型接收Critic的反馈后，调整其策略，并在下一轮交互中尝试改进后的行为。这个过程迭代进行，直到Actor模型达到满意的性能。

关键创新：CGI的关键创新在于利用自然语言反馈作为指导信号，这与传统的数值奖励或验证器方法不同。自然语言反馈能够提供更丰富、更细粒度的信息，更好地与LLM的生成能力相匹配。此外，CGI框架通过训练Critic模型生成高质量的反馈，并训练Actor模型有效地利用这些反馈，从而实现了更有效的策略探索和改进。

关键设计：Critic模型的设计至关重要，需要能够生成准确、详细且可操作的反馈。论文可能采用了特定的损失函数来训练Critic模型，例如，鼓励Critic模型生成与人类专家反馈相似的反馈。Actor模型的设计也需要考虑如何有效地利用Critic的反馈，例如，可以通过将反馈作为输入，调整Actor模型的策略。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CGI在三个交互环境中显著优于现有基线。值得注意的是，即使是一个小型Critic模型在反馈质量上也超过了GPT-4，表明CGI框架在利用自然语言反馈方面的有效性。由此产生的Actor实现了最先进的性能，证明了显式迭代指导在增强基于LLM的Agent决策能力方面的强大作用。具体的性能提升幅度在论文中有详细数据（未知）。

🎯 应用场景

CGI框架具有广泛的应用前景，可以应用于各种需要智能体与环境进行交互的场景，例如游戏AI、机器人控制、自动驾驶、对话系统等。通过利用自然语言反馈，CGI可以显著提升智能体的决策能力和学习效率，使其能够更好地适应复杂多变的环境。

📄 摘要（原文）

Large language models (LLMs) have recently transformed from text-based assistants to autonomous agents capable of planning, reasoning, and iteratively improving their actions. While numerical reward signals and verifiers can effectively rank candidate actions, they often provide limited contextual guidance. In contrast, natural language feedback better aligns with the generative capabilities of LLMs, providing richer and more actionable suggestions. However, parsing and implementing this feedback effectively can be challenging for LLM-based agents. In this work, we introduce Critique-Guided Improvement (CGI), a novel two-player framework, comprising an actor model that explores an environment and a critic model that generates detailed nature language feedback. By training the critic to produce fine-grained assessments and actionable revisions, and the actor to utilize these critiques, our approach promotes more robust exploration of alternative strategies while avoiding local optima. Experiments in three interactive environments show that CGI outperforms existing baselines by a substantial margin. Notably, even a small critic model surpasses GPT-4 in feedback quality. The resulting actor achieves state-of-the-art performance, demonstrating the power of explicit iterative guidance to enhance decision-making in LLM-based agents.