LLM-Based Human-Agent Collaboration and Interaction Systems: A Survey

📄 arXiv: 2505.00753v4 📥 PDF

作者: Henry Peng Zou, Wei-Chieh Huang, Yaozu Wu, Yankai Chen, Chunyu Miao, Hoang Nguyen, Yue Zhou, Weizhi Zhang, Liancheng Fang, Langzhou He, Yangning Li, Dongyuan Li, Renhe Jiang, Xue Liu, Philip S. Yu

分类: cs.CL, cs.LG

发布日期: 2025-05-01 (更新: 2025-06-26)

备注: Paper lists and resources are available at https://github.com/HenryPengZou/Awesome-Human-Agent-Collaboration-Interaction-Systems

🔗 代码/项目: GITHUB

💡 一句话要点

首个LLM驱动的人机协作与交互系统综述，提升智能体可靠性与安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 大型语言模型 自主智能体 人机交互 智能体系统 反馈学习 系统综述

📋 核心要点

  1. 完全自主的LLM智能体面临可靠性、复杂任务处理和安全伦理等挑战，限制了其在实际应用中的可行性。
  2. LLM-HAS通过整合人类信息、反馈和控制，增强智能体系统的性能、可靠性和安全性，实现人机优势互补。
  3. 该综述系统性地介绍了LLM-HAS的核心组件、新兴应用，并探讨了人机协作带来的挑战与机遇，促进领域研究。

📝 摘要（中文）

大型语言模型（LLM）的最新进展激发了人们对构建完全自主智能体的兴趣。然而，基于LLM的完全自主智能体仍然面临着重大挑战，包括由于幻觉导致的有限可靠性、处理复杂任务的困难以及巨大的安全和伦理风险，所有这些都限制了它们在实际应用中的可行性和可信度。为了克服这些限制，基于LLM的人机系统（LLM-HAS）将人提供的的信息、反馈或控制融入到智能体系统中，以提高系统性能、可靠性和安全性。这些人类-智能体协作系统通过利用彼此的互补优势，使人类和基于LLM的智能体能够有效地协作。本文提供了第一个全面且结构化的LLM-HAS综述，阐明了基本概念，系统地介绍了构成这些系统的核心组件，包括环境与剖析、人类反馈、交互类型、编排和通信，探讨了新兴应用，并讨论了人机协作带来的独特挑战和机遇。通过整合当前的知识并提供结构化的概述，旨在促进这个快速发展的跨学科领域的进一步研究和创新。论文列表和资源可在https://github.com/HenryPengZou/Awesome-Human-Agent-Collaboration-Interaction-Systems上找到。

🔬 方法详解

问题定义：现有基于LLM的自主智能体存在可靠性不足（幻觉问题）、难以处理复杂任务以及潜在的安全和伦理风险。这些问题阻碍了LLM智能体在实际场景中的广泛应用，需要更安全、可靠和可控的解决方案。

核心思路：论文的核心思路是引入人类的参与，构建人机协作系统（LLM-HAS）。通过让人类提供信息、反馈或控制，可以有效地弥补LLM智能体的不足，提高系统的整体性能、可靠性和安全性。这种协作模式充分利用了人类的认知能力和LLM的强大语言处理能力。

技术框架：LLM-HAS的技术框架主要包括以下几个核心组件：1) 环境与剖析：定义智能体所处的环境，并对人类用户进行画像分析。2) 人类反馈：收集人类提供的各种形式的反馈，例如纠正、建议或偏好。3) 交互类型：设计合适的交互方式，例如自然语言对话、图形界面操作等。4) 编排与通信：协调人类和智能体之间的任务分配和信息传递。这些组件共同作用，实现有效的人机协作。

关键创新：该论文的关键创新在于对LLM-HAS进行了全面且结构化的综述，首次系统性地整理了该领域的研究进展。它不仅阐明了LLM-HAS的基本概念和核心组件，还探讨了新兴应用和未来发展方向。与以往的研究相比，该综述更具系统性和前瞻性，为该领域的研究人员提供了有价值的参考。

关键设计：论文本身是一篇综述，因此没有涉及具体的参数设置、损失函数或网络结构等技术细节。但是，论文对LLM-HAS的各个组成部分进行了深入的分析，并提出了若干关键的设计考虑因素，例如如何有效地收集和利用人类反馈，如何设计合适的交互方式，以及如何协调人类和智能体之间的任务分配。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该论文是一篇综述性文章，没有具体的实验结果。其亮点在于对LLM-HAS领域进行了系统性的梳理和总结，为研究人员提供了一个全面的了解该领域的入口。论文整理了大量的相关文献，并对未来的研究方向进行了展望，具有重要的参考价值。

🎯 应用场景

LLM-HAS在医疗诊断、金融分析、教育辅导、客户服务等领域具有广泛的应用前景。通过人机协作，可以提高决策的准确性和效率，降低风险，并提供个性化的服务。未来，随着LLM技术的不断发展，LLM-HAS将在更多领域发挥重要作用，例如智能制造、自动驾驶等。

📄 摘要（原文）

Recent advances in large language models (LLMs) have sparked growing interest in building fully autonomous agents. However, fully autonomous LLM-based agents still face significant challenges, including limited reliability due to hallucinations, difficulty in handling complex tasks, and substantial safety and ethical risks, all of which limit their feasibility and trustworthiness in real-world applications. To overcome these limitations, LLM-based human-agent systems (LLM-HAS) incorporate human-provided information, feedback, or control into the agent system to enhance system performance, reliability and safety. These human-agent collaboration systems enable humans and LLM-based agents to collaborate effectively by leveraging their complementary strengths. This paper provides the first comprehensive and structured survey of LLM-HAS. It clarifies fundamental concepts, systematically presents core components shaping these systems, including environment & profiling, human feedback, interaction types, orchestration and communication, explores emerging applications, and discusses unique challenges and opportunities arising from human-AI collaboration. By consolidating current knowledge and offering a structured overview, we aim to foster further research and innovation in this rapidly evolving interdisciplinary field. Paper lists and resources are available at https://github.com/HenryPengZou/Awesome-Human-Agent-Collaboration-Interaction-Systems.