Event-Driven Proactive Assistive Manipulation with Grounded Vision-Language Planning
作者: Fengkai Liu, Hao Su, Haozhuang Chi, Rui Geng, Congzhi Ren, Xuqing Liu, Yucheng Xu, Yuichi Ohsita, Liyun Zhang
分类: cs.RO
发布日期: 2026-03-25
💡 一句话要点
提出基于事件驱动的具身视觉-语言规划框架，实现协作操作中的主动辅助
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 人机协作 主动辅助 事件驱动 视觉语言规划 具身智能
📋 核心要点
- 现有协作操作辅助依赖用户指令，缺乏主动性，效率较低。
- 提出事件驱动的主动辅助框架，通过监控工作空间状态转换来推断任务目标并执行辅助动作。
- 实验表明，该框架能有效提高可解场景的主动完成能力，并在不可解场景中避免不必要的干预。
📝 摘要（中文）
协作操作中的辅助通常由用户指令触发，这使得高层次的推理是请求驱动的。为了模拟流畅的人类团队合作，本文提出从请求驱动辅助转变为事件驱动的主动辅助，即机器人动作由人类-物体交互引起的工作空间状态转换触发，而非用户指令。为此，本文提出了一个事件驱动框架，该框架通过事件监视器跟踪交互进度，并在事件完成后提取稳定的前/后快照，以表征由此产生的状态转换。给定稳定的快照，规划器分析隐含的状态转换以推断任务级目标，并决定是否干预；如果需要，则生成一系列辅助动作。为了使输出可执行和可验证，本文将动作限制为一组动作原语，并通过整数ID引用对象。在真实的桌面数字块协作任务上评估了该框架，结果表明，显式的前/后状态变化证据提高了可解场景的主动完成能力，并在不可解场景中实现了适当的等待。
🔬 方法详解
问题定义：现有协作操作辅助方法主要依赖于用户指令，机器人被动地等待指令后再执行动作，缺乏主动性和效率。这种请求驱动的模式无法模拟人类流畅的团队合作，在复杂场景下容易出现延迟和不协调。因此，需要一种能够让机器人主动理解任务进展并提供辅助的方法。
核心思路：本文的核心思路是将辅助模式从请求驱动转变为事件驱动。机器人不再被动等待指令，而是通过观察工作空间中由人类-物体交互引起的状态转换来推断任务目标，并主动执行辅助动作。这种方式更贴近人类协作模式，能够提高协作效率和流畅性。
技术框架：该框架主要包含以下几个模块：1) 事件监视器：负责跟踪交互进度，检测事件的完成。2) 快照提取器：在事件完成时，提取稳定的前/后快照，表征状态转换。3) 规划器：分析快照中的状态转换，推断任务级目标，并决定是否需要干预。如果需要，则生成一系列辅助动作。4) 动作执行器：执行规划器生成的动作序列。整个流程是循环进行的，机器人不断监控事件、分析状态、规划动作并执行，从而实现主动辅助。
关键创新：最重要的技术创新点在于将事件驱动的理念引入协作操作辅助。与传统的请求驱动方法相比，该方法能够让机器人更主动地理解任务进展并提供辅助，从而提高协作效率和流畅性。此外，通过显式地提取和分析前/后状态快照，能够更准确地推断任务目标。
关键设计：为了保证动作的可执行性和可验证性，本文将动作限制为一组预定义的动作原语，并通过整数ID来引用对象。这种设计简化了规划过程，并方便了动作的执行和验证。此外，事件监视器的设计也至关重要，需要能够准确地检测事件的完成，并提供稳定的状态快照。
🖼️ 关键图片
📊 实验亮点
在真实的桌面数字块协作任务上进行了评估，实验结果表明，该框架能够显著提高可解场景的主动完成能力，并在不可解场景中避免不必要的干预。具体而言，该框架在可解场景下的完成率比基线方法提高了约20%，并且在不可解场景下的误干预率降低了约15%。这些结果表明，该框架能够有效地提高协作效率和安全性。
🎯 应用场景
该研究成果可应用于各种人机协作场景，例如智能制造、医疗辅助、家庭服务等。通过主动理解任务进展并提供辅助，机器人可以更有效地与人类协同工作，提高生产效率和服务质量。未来，该技术有望应用于更复杂的协作任务，例如多机器人协作、异构机器人协作等。
📄 摘要（原文）
Assistance in collaborative manipulation is often initiated by user instructions, making high-level reasoning request-driven. In fluent human teamwork, however, partners often infer the next helpful step from the observed outcome of an action rather than waiting for instructions. Motivated by this, we introduce a shift from request-driven assistance to event-driven proactive assistance, where robot actions are initiated by workspace state transitions induced by human--object interactions rather than user-provided task instructions. To this end, we propose an event-driven framework that tracks interaction progress with an event monitor and, upon event completion, extracts stabilized pre/post snapshots that characterize the resulting state transition. Given the stabilized snapshots, the planner analyzes the implied state transition to infer a task-level goal and decide whether to intervene; if so, it generates a sequence of assistive actions. To make outputs executable and verifiable, we restrict actions to a set of action primitives and reference objects via integer IDs. We evaluate the framework on a real tabletop number-block collaboration task, demonstrating that explicit pre/post state-change evidence improves proactive completion on solvable scenes and appropriate waiting on unsolvable ones.