An Agentic Framework for Proactive Robots with Procedural Assistance Memory
作者: Dohyun Lee, Minho Park, Jeonghoon Park, Dongyoon Hwang, Junha Hyung, Sungwon Hwang, Byungkun Lee, Jaegul Choo
分类: cs.RO
发布日期: 2026-10-15
备注: Conference on Robot Learning (CoRL) 2026. Project page: https://davian-robotics.github.io/PAM/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于程序辅助记忆的主动机器人框架以提升用户协助体验
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动机器人 程序辅助记忆 用户需求预测 有限状态机 动态适应 智能家居 服务机器人
📋 核心要点
- 现有方法在推断用户需求时存在模糊性，可能导致不必要的帮助。
- 提出的框架结合程序辅助记忆（PAM），通过学习日常活动模式来优化主动决策。
- 实验结果显示，系统在五天内持续提升性能，首次响应延迟显著降低。
📝 摘要（中文）
主动机器人应当能够预见用户需求，并在未被明确要求之前提供帮助。传统方法通过常识知识推断人类意图，但相同的行为可能在不同用户中暗示不同的需求，导致不必要的帮助。本文提出了一种基于记忆的主动框架，利用程序辅助记忆（PAM）来学习日常活动的模式，从而减少主动决策中的模糊性。通过对五天的桌面协助评估，系统在经验积累中持续改进，显著提高了精确度、召回率和F1分数，同时将首次响应延迟从第一天的约5秒减少到第五天的1秒。
🔬 方法详解
问题定义：本文旨在解决主动机器人在推断用户需求时的模糊性问题。现有方法往往依赖于常识推断，导致不同用户的相同行为可能引发不必要的帮助。
核心思路：提出了一种基于记忆的主动框架，通过程序辅助记忆（PAM）来学习和识别日常活动的模式，从而提高主动决策的准确性和效率。
技术框架：整体架构包括一个任务预测器和一个执行器。任务预测器利用PAM和当前观察来决定何时提供帮助以及执行何种任务，而执行器则负责执行预测的任务。PAM被设计为有限状态机，包含活动阶段、每个状态的辅助规则和事件驱动的转换。
关键创新：最重要的创新在于通过记忆反思机制，系统能够在不进行权重更新或重训练的情况下，基于每日的交互轨迹动态修正PAM。这种设计使得系统能够适应用户日常活动的变化。
关键设计：PAM的结构设计为有限状态机，包含多个状态和相应的辅助规则，事件驱动的状态转换机制确保了系统的灵活性和响应速度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，系统在五天的评估中，精确度、召回率和F1分数均显著提高，同时首次响应延迟从第一天的约5秒减少到第五天的1秒，显示出系统在经验积累中的持续改进能力。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和个人助理等场景。通过提升机器人对用户需求的预见能力，能够显著改善用户体验，减少用户的主动干预需求，未来可能在家庭、办公和医疗等多个领域产生深远影响。
📄 摘要（原文）
Proactive robots should anticipate user needs and provide assistance before being explicitly asked. A straightforward approach is to infer human intentions from commonsense knowledge, but the same observed behavior can imply different needs across users, potentially leading to unwanted assistance. We observe that everyday routines in the real world exhibit recurring patterns, so learning these patterns can reduce ambiguity in proactive decisions. Based on this, we propose a memory-based agentic framework in which a VLM task predictor reads a Procedural Assistance Memory (PAM) alongside the current observation to decide when to assist and what task to perform, and a VLA executor performs the predicted task. PAM is structured as a finite-state machine over activity phases, per-state assistance rules, and event-driven transitions; a reflection VLM revises PAM from each day's interaction trace without weight updates or retraining. In our 5-day desk-assistance evaluation, memory-free baselines remain conservative, with limited recall on proactive tasks. Our system improves consistently with accumulated experience, achieving the highest precision, recall, and F1 and reducing first-fire delay from approximately 5 seconds on Day 1 to 1 second by Day 5. Our approach also adapts to changes in the user's routine through continued memory reflection, recovering from memory--routine misalignment after a single memory update. The project page is available at https://davian-robotics.github.io/PAM/