Human-Robot Interaction in GenAI Architectures via the Agent-Client Protocol

📄 arXiv: 2607.14919v1 📥 PDF

作者: Jesus Moncada-Ramirez, Jose-Raul Ruiz-Sarmiento, Javier Gonzalez-Jimenez

分类: cs.RO

发布日期: 2026-07-16

备注: 8 pages, 5 figures, 1 table. Submitted to IEEE Robotics and Automation Letters (RA-L)

💡 一句话要点

提出Agent-Client协议以解决人机交互碎片化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 生成性人工智能 代理-客户端协议 机器人系统 实时协作 模型上下文协议 解耦架构

📋 核心要点

  1. 现有的人机交互层因专有接口而显得支离破碎，阻碍了实时协作的实现。
  2. 本文提出Agent-Client协议作为统一通信标准，结合模型上下文协议构建解耦三层架构。
  3. 实验结果表明，该架构在三个异构用户接口间实现了互操作性，延迟开销极小。

📝 摘要（中文）

近年来，生成性人工智能（GenAI）特别是大型语言模型（LLMs）的进展，推动了机器人架构向基于代理的高层次编排发展，使自然语言指令能够转化为上下文感知的动作序列。然而，尽管通过模型上下文协议（MCP）在代理和机器人能力的整合上趋于标准化，上层的人机交互（HRI）层仍因专有的、临时的接口而显得支离破碎，阻碍了实时的人机协作。为了解决这一问题，本文提出采用最初为软件工程中的编码代理引入的Agent-Client协议（ACP），作为基于代理的机器人系统中HRI层的统一通信标准。通过在接口-代理链接中结合ACP和在代理-执行链接中结合MCP，我们构建了一个完全解耦的三层架构，分离了人机交互、深思熟虑的编排和物理执行。该拓扑结构消除了刚性架构依赖，使异构用户接口能够连接到同一机器人系统，并允许在不需要特定客户端集成更改的情况下更换底层机器人平台。此外，它原生支持实时可观察性、明确的人类授权和即时任务中断等协作HRI能力。我们在物理移动机器人上对所提架构进行了实验评估，展示了在三个异构用户接口之间的互操作性，并验证了实时人机协作工作流的可行性，延迟开销微乎其微。

🔬 方法详解

问题定义：本文旨在解决当前人机交互层的碎片化问题，现有方法因专有接口导致实时协作受限。

核心思路：提出Agent-Client协议（ACP）作为统一通信标准，结合模型上下文协议（MCP），实现人机交互、编排和执行的解耦。

技术框架：整体架构分为三层：人机交互层、代理编排层和物理执行层，分别处理用户输入、决策制定和机器人动作。

关键创新：最重要的创新在于引入ACP作为HRI层的标准，消除架构依赖，使不同用户接口能够无缝连接到同一机器人系统。

关键设计：设计中关注于接口的灵活性和可替换性，确保在不改变客户端集成的情况下，底层机器人平台可以被替换。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提架构在三个异构用户接口之间实现了良好的互操作性，验证了实时人机协作工作流的有效性，延迟开销几乎可以忽略不计，表明该方法在实际应用中的可行性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、医疗辅助机器人和工业自动化等。通过提供统一的通信标准，能够提升人机协作的效率和灵活性，未来可能推动更广泛的机器人应用场景。

📄 摘要（原文）

Recent advances in Generative Artificial Intelligence (GenAI), particularly Large Language Models (LLMs), are driving robotic architectures toward agent-based high-level orchestration, in which natural-language instructions can be translated into context-aware action sequences. While the integration of these agents and robotic capabilities is increasingly converging toward standardization through the Model Context Protocol (MCP), the upper Human-Robot Interaction (HRI) layer remains fragmented by proprietary, ad hoc interfaces that hinder real-time human-in-the-loop collaboration. To address this fragmentation, this paper proposes the adoption of the Agent-Client Protocol (ACP) -- a communication standard originally introduced for coding agents in software engineering -- as a unified communication contract for the HRI layer in agent-based robotic systems. By combining ACP at the interface-agent link and MCP at the agent-execution link, we formulate a fully decoupled three-layer architecture that separates human interaction, deliberative orchestration, and physical execution. This topology removes rigid architectural dependencies, enabling heterogeneous user interfaces to connect to the same robotic system and allowing the underlying robotic platform to be replaced without requiring client-specific integration changes. Moreover, it provides native support for collaborative HRI capabilities such as real-time observability, explicit human authorization, and immediate task interruption. We experimentally evaluate the proposed architecture on a physical mobile robot, demonstrating interoperability across three heterogeneous user interfaces and validating real-time human-in-the-loop workflows with negligible latency overhead.