Synergistic Multi-Agent Framework with Trajectory Learning for Knowledge-Intensive Tasks

📄 arXiv: 2407.09893v3 📥 PDF

作者: Shengbin Yue, Siyuan Wang, Wei Chen, Xuanjing Huang, Zhongyu Wei

分类: cs.CL

发布日期: 2024-07-13 (更新: 2025-01-02)

备注: Accepted by AAAI2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出SMART多智能体框架，利用轨迹学习解决知识密集型任务中LLM的事实一致性问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 知识密集型任务 大型语言模型 轨迹学习 事实一致性

📋 核心要点

  1. 现有LLM在知识密集型任务中面临幻觉、长尾知识获取难和记忆容量有限等挑战，导致生成的事实一致性较差。
  2. SMART框架通过引入多个专业智能体协同工作，并利用外部知识，增强LLM生成结果的可解释性和事实一致性。
  3. 实验结果表明，SMART在多个知识密集型任务上优于现有的知识内化和知识增强方法，展现了其优越的性能。

📝 摘要（中文）

大型语言模型（LLM）的最新进展在各种自然语言处理任务中取得了显著突破。然而，由于幻觉、难以获取长尾知识以及有限的记忆扩展等问题，在知识密集型场景中生成事实一致的响应仍然是一个挑战。本文介绍了一种新颖的多智能体框架SMART，该框架利用外部知识来增强LLM生成响应的可解释性和事实一致性。SMART包含四个专门的智能体，每个智能体执行特定的子轨迹动作，以应对复杂的知识密集型任务。我们提出了一种多智能体协同训练范式，即长短轨迹学习，以确保智能体之间的协同合作，同时保持每个智能体的细粒度执行。在五个知识密集型任务上的大量实验表明，与广泛采用的知识内化和知识增强方法相比，SMART具有卓越的性能。我们的框架可以扩展到知识密集型任务之外的更复杂场景。代码已开源。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在知识密集型任务中生成回复时，容易出现事实性错误（hallucination）的问题。现有方法，如知识内化和知识增强，在处理长尾知识和扩展记忆方面存在局限性，导致LLM难以生成准确且一致的回复。

核心思路：论文的核心思路是将复杂的知识密集型任务分解为多个子任务，并为每个子任务设计一个专门的智能体。这些智能体通过协同工作，共同完成整个任务。同时，利用外部知识库来增强LLM的知识储备，从而提高生成回复的事实一致性。这种多智能体协同和外部知识利用的结合，旨在克服现有方法的局限性。

技术框架：SMART框架包含四个主要智能体，每个智能体负责一个特定的子轨迹动作。整体流程如下：1) 任务分解：将知识密集型任务分解为多个子任务。2) 智能体分配：为每个子任务分配一个专门的智能体。3) 知识检索：每个智能体从外部知识库中检索相关知识。4) 协同推理：智能体之间协同推理，生成最终回复。5) 轨迹学习：通过长短轨迹学习，优化智能体之间的协同策略。

关键创新：论文的关键创新在于提出了SMART多智能体框架和长短轨迹学习方法。SMART框架通过将复杂任务分解为多个子任务，并利用多个智能体协同工作，提高了任务的执行效率和准确性。长短轨迹学习方法则通过优化智能体之间的协同策略，进一步提高了任务的性能。与现有方法相比，SMART框架能够更好地利用外部知识，并生成更准确、更一致的回复。

关键设计：长短轨迹学习是SMART框架的关键设计。它包含两个部分：1) 短轨迹学习：针对每个智能体，学习其在特定子任务中的最优行为策略。2) 长轨迹学习：学习智能体之间的协同策略，以实现整体任务的最优性能。损失函数的设计旨在平衡智能体之间的协同和个体性能。具体的参数设置和网络结构细节在论文中进行了详细描述（具体数值未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMART框架在五个知识密集型任务上取得了显著的性能提升，优于现有的知识内化和知识增强方法。具体性能数据和提升幅度在论文中进行了详细报告（具体数值未知）。这些实验结果验证了SMART框架的有效性和优越性。

🎯 应用场景

SMART框架具有广泛的应用前景，可应用于问答系统、对话生成、知识图谱推理等领域。该框架能够提高LLM在知识密集型任务中的性能，生成更准确、更可靠的回复，具有重要的实际应用价值。未来，该框架可以扩展到更复杂的场景，如医疗诊断、金融分析等，为各行业提供更智能化的解决方案。

📄 摘要（原文）

Recent advancements in Large Language Models (LLMs) have led to significant breakthroughs in various natural language processing tasks. However, generating factually consistent responses in knowledge-intensive scenarios remains a challenge due to issues such as hallucination, difficulty in acquiring long-tailed knowledge, and limited memory expansion. This paper introduces SMART, a novel multi-agent framework that leverages external knowledge to enhance the interpretability and factual consistency of LLM-generated responses. SMART comprises four specialized agents, each performing a specific sub-trajectory action to navigate complex knowledge-intensive tasks. We propose a multi-agent co-training paradigm, Long-Short Trajectory Learning, which ensures synergistic collaboration among agents while maintaining fine-grained execution by each agent. Extensive experiments on five knowledge-intensive tasks demonstrate SMART's superior performance compared to widely adopted knowledge internalization and knowledge enhancement methods. Our framework can extend beyond knowledge-intensive tasks to more complex scenarios. Our code is available at https://github.com/yueshengbin/SMART.