Requesting Expert Reasoning: Augmenting LLM Agents with Learned Collaborative Intervention

📄 arXiv: 2602.22546 📥 PDF

作者: Zhiming Wang, Jinwei He, Feng Lu

分类: cs.AI

发布日期: 2026-02-28

💡 一句话要点

提出AHCE框架，通过学习策略请求专家知识，提升LLM Agent在复杂任务中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 人机协作 专家知识 强化学习 Minecraft 主动学习

📋 核心要点

  1. LLM Agent在专业领域面临长尾知识不足的挑战，导致复杂任务失败。
  2. AHCE框架通过学习策略，将人类专家作为交互式推理工具，按需提供知识。
  3. 实验表明，AHCE显著提升了Agent在Minecraft中的任务成功率，尤其是在高难度任务中。

📝 摘要（中文）

基于大型语言模型（LLM）的Agent在通用推理方面表现出色，但在专业领域中常常失败，因为这些领域依赖于训练数据中缺乏的长尾知识。虽然人类专家可以提供这些缺失的知识，但他们的指导往往是非结构化和不可靠的，使得直接将其整合到Agent的计划中存在问题。为了解决这个问题，我们引入了AHCE（主动人类增强挑战参与）框架，用于按需进行人机协作。其核心是人类反馈模块（HFM），该模块采用学习策略将人类专家视为交互式推理工具。在Minecraft中的大量实验表明了该框架的有效性，在正常难度任务中成功率提高了32%，在极高难度任务中成功率提高了近70%，且只需最少的人工干预。我们的工作表明，成功增强Agent需要学习如何请求专家推理，而不仅仅是简单的请求帮助。

🔬 方法详解

问题定义：论文旨在解决LLM Agent在专业领域，特别是需要长尾知识的任务中表现不佳的问题。现有方法直接将人类专家的指导整合到Agent的计划中，但专家指导往往是非结构化的，可靠性也难以保证，导致Agent难以有效利用这些知识。

核心思路：论文的核心思路是将人类专家视为一个交互式的推理工具，Agent通过学习一个策略来决定何时以及如何向专家请求帮助。这种方法不是简单地请求帮助，而是学习如何有效地利用专家的知识来指导Agent的行动。

技术框架：AHCE框架包含以下主要模块：Agent、Human Feedback Module (HFM) 和环境。Agent负责执行任务，HFM负责与人类专家交互，环境提供任务反馈。HFM的核心是一个学习策略，该策略决定何时向人类专家请求帮助，以及如何利用专家提供的反馈来更新Agent的计划。整个流程是一个迭代过程，Agent根据环境反馈和专家指导不断改进其策略。

关键创新：最重要的技术创新点在于HFM中的学习策略，它允许Agent主动地、有选择性地向人类专家请求帮助。与传统的被动接受专家指导的方法不同，AHCE框架通过学习来优化人机协作过程，从而更有效地利用专家的知识。

关键设计：HFM的学习策略可以使用强化学习或模仿学习等方法进行训练。具体的参数设置、损失函数和网络结构取决于所选择的学习方法。一个关键的设计是定义合适的奖励函数，以鼓励Agent在需要时向专家请求帮助，并有效地利用专家提供的反馈。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AHCE框架在Minecraft游戏中显著提高了Agent的任务成功率。在正常难度任务中，成功率提高了32%，而在极高难度任务中，成功率提高了近70%。这些提升是在最小化人工干预的情况下实现的，表明AHCE框架能够有效地利用人类专家的知识。

🎯 应用场景

该研究成果可应用于各种需要专业知识的Agent任务，例如医疗诊断、金融分析、法律咨询等。通过学习如何有效地与人类专家协作，Agent可以更好地解决复杂问题，提高工作效率和准确性。未来，该框架可以扩展到支持多个专家，并实现更智能的人机协作。

📄 摘要（原文）

Large Language Model (LLM) based agents excel at general reasoning but often fail in specialized domains where success hinges on long-tail knowledge absent from their training data. While human experts can provide this missing knowledge, their guidance is often unstructured and unreliable, making its direct integration into an agent's plan problematic. To address this, we introduce AHCE (Active Human-Augmented Challenge Engagement), a framework for on-demand Human-AI collaboration. At its core, the Human Feedback Module (HFM) employs a learned policy to treat the human expert as an interactive reasoning tool. Extensive experiments in Minecraft demonstrate the framework's effectiveness, increasing task success rates by 32% on normal difficulty tasks and nearly 70% on highly difficult tasks, all with minimal human intervention. Our work demonstrates that successfully augmenting agents requires learning how to request expert reasoning, moving beyond simple requests for help.