ProAgent: Harnessing On-Demand Sensory Contexts for Proactive LLM Agent Systems
作者: Bufang Yang, Lilin Xu, Liekang Zeng, Yunqi Guo, Siyang Jiang, Wenrui Lu, Kaiwei Liu, Hancheng Xiang, Xiaofan Jiang, Guoliang Xing, Zhenyu Yan
分类: cs.AI, cs.CL, cs.HC
发布日期: 2025-12-07
💡 一句话要点
ProAgent：利用按需感知上下文实现主动式LLM Agent系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动式Agent 大型语言模型 感知上下文 按需感知 增强现实 人机交互 情境感知
📋 核心要点
- 现有LLM Agent依赖用户明确指令启动服务，增加了用户负担，缺乏主动性。
- ProAgent通过按需分层感知提取环境上下文，并利用LLM推理预测用户需求，提供主动协助。
- 实验表明，ProAgent在主动预测准确率、工具调用F1分数和用户满意度方面均优于现有方法。
📝 摘要（中文）
大型语言模型（LLM）Agent正在改变日常生活。然而，现有的LLM Agent主要遵循被动模式，依赖于明确的用户指令来启动服务，这增加了身体和认知负担。本文提出了ProAgent，这是第一个端到端的主动式Agent系统，它利用大量的感知上下文和LLM推理来提供主动协助。ProAgent首先采用面向主动性的上下文提取方法，通过按需分层感知持续感知环境，并推导出包含感知和角色线索的分层上下文。然后，ProAgent采用上下文感知的主动推理器，将这些上下文映射到用户需求和工具调用，从而提供主动协助。我们在配备边缘服务器的增强现实（AR）眼镜上实现了ProAgent，并在真实测试平台、公共数据集和用户研究中对其进行了广泛评估。结果表明，ProAgent实现了高达33.4%的主动预测准确率提升，16.8%的工具调用F1分数提升，以及用户满意度的显著提高，标志着朝着主动式助手迈出了重要一步。
🔬 方法详解
问题定义：现有的大型语言模型Agent主要采用被动响应模式，即只有在接收到明确的用户指令后才会启动服务。这种模式增加了用户的认知和操作负担，限制了Agent在实际应用中的效率和可用性。因此，需要一种能够主动感知环境并预测用户需求的Agent系统，从而提供更加自然和便捷的服务。
核心思路：ProAgent的核心思路是利用大量的感知上下文信息和LLM的推理能力，实现主动式的Agent行为。通过持续感知环境，提取相关的上下文信息，并利用LLM对这些信息进行推理，预测用户的潜在需求，从而主动提供服务。这种方法旨在将Agent从被动响应转变为主动协助，减少用户干预，提高用户体验。
技术框架：ProAgent的整体架构包括三个主要模块：1) 按需分层感知模块：负责持续感知环境，并提取包含感知和角色线索的分层上下文信息。2) 上下文感知的主动推理器：利用LLM对提取的上下文信息进行推理，预测用户的需求，并确定需要调用的工具。3) 执行模块：根据推理结果，调用相应的工具，并向用户提供主动协助。整个流程是一个循环迭代的过程，Agent不断感知环境、推理需求、执行动作，并根据用户的反馈进行调整。
关键创新：ProAgent的关键创新在于其主动性的设计，它能够根据环境上下文和用户角色，主动预测用户需求并提供服务，而无需用户显式指令。此外，ProAgent还采用了按需分层感知的方法，能够根据不同的任务需求，动态调整感知的粒度和范围，从而提高感知效率和准确性。
关键设计：ProAgent的关键设计包括：1) 主动性上下文提取：设计了面向主动性的上下文提取方法，能够有效地提取与用户需求相关的上下文信息。2) 上下文感知推理器：利用LLM的强大推理能力，将上下文信息映射到用户需求和工具调用。3) 分层感知策略：采用分层感知策略，根据任务需求动态调整感知粒度，提高感知效率。具体参数设置和网络结构细节在论文中未明确给出，属于未知信息。
🖼️ 关键图片
📊 实验亮点
ProAgent在真实测试平台、公共数据集和用户研究中进行了广泛评估。实验结果表明，ProAgent在主动预测准确率方面比现有方法提高了33.4%，在工具调用F1分数方面提高了16.8%，并且用户满意度也得到了显著提高。这些结果表明，ProAgent在实现主动式Agent系统方面取得了显著进展。
🎯 应用场景
ProAgent具有广泛的应用前景，例如智能家居、工业自动化、医疗辅助等领域。在智能家居中，ProAgent可以根据用户的日常习惯和环境状态，主动调节灯光、温度等设备，提供更加舒适和便捷的生活体验。在工业自动化中，ProAgent可以辅助工人进行设备维护和故障排除，提高生产效率和安全性。在医疗辅助领域，ProAgent可以帮助医生进行诊断和治疗，提高医疗质量和服务水平。
📄 摘要（原文）
Large Language Model (LLM) agents are emerging to transform daily life. However, existing LLM agents primarily follow a reactive paradigm, relying on explicit user instructions to initiate services, which increases both physical and cognitive workload. In this paper, we propose ProAgent, the first end-to-end proactive agent system that harnesses massive sensory contexts and LLM reasoning to deliver proactive assistance. ProAgent first employs a proactive-oriented context extraction approach with on-demand tiered perception to continuously sense the environment and derive hierarchical contexts that incorporate both sensory and persona cues. ProAgent then adopts a context-aware proactive reasoner to map these contexts to user needs and tool calls, providing proactive assistance. We implement ProAgent on Augmented Reality (AR) glasses with an edge server and extensively evaluate it on a real-world testbed, a public dataset, and through a user study. Results show that ProAgent achieves up to 33.4% higher proactive prediction accuracy, 16.8% higher tool-calling F1 score, and notable improvements in user satisfaction over state-of-the-art baselines, marking a significant step toward proactive assistants. A video demonstration of ProAgent is available at https://youtu.be/pRXZuzvrcVs.